Bridge to Omniverse / Isaac Sim

Отправляйте модель из веб-приложения Meshy прямо в вашу сцену NVIDIA Omniverse или Isaac Sim, с применением физики и семантических меток в процессе импорта.


Прежде чем начать

  • Вам понадобится план Pro или выше. На планах Free и Starter нажатие на Send to OV/Isaac открывает варианты обновления плана.

  • Вам понадобится веб-приложение Meshy на Windows. На других операционных системах Send to OV/Isaac недоступна.

  • Установите расширение Meshy Bridge в Isaac Sim или в вашем приложении Omniverse Kit. Инструкции см. в разделе Meshy for Omniverse / Isaac Sim.

Запуск моста

Расширение запускает мост, пока оно включено, поэтому запускать что-либо ещё не требуется.

Чтобы подготовить приложение, выполните следующие шаги:

  1. Откройте Isaac Sim или ваше приложение Omniverse Kit.

  2. Нажмите Window > Extensions и убедитесь, что MESHY BRIDGE включён.

    Окно Extensions с включённым MESHY BRIDGE и выбранными ENABLED и AUTOLOAD

  3. Откройте или создайте сцену USD. Чтобы создать её, нажмите File > New.

Держите приложение открытым, пока вы отправляете модели из Meshy.

Отправка модели

Чтобы отправить модель в Omniverse или Isaac Sim, выполните следующие шаги:

  1. В веб-приложении Meshy на Windows откройте готовую модель в средстве просмотра.

  2. На панели инструментов средства просмотра нажмите DCC Bridge (значок вилки).

    Средство просмотра веб-приложения Meshy со стрелкой, указывающей на значок DCC Bridge на панели инструментов

  3. Нажмите Send to OV/Isaac. Meshy проверяет, что мост запущен, а затем открывает диалоговое окно Sim-Ready Properties.

    Меню DCC Bridge в веб-приложении Meshy со стрелкой, указывающей на Send to OV/Isaac

  4. Необязательно: измените настройки Sim-Ready. Подробнее о каждой настройке см. в разделе Настройки Sim-Ready.

  5. В диалоговом окне Sim-Ready Properties нажмите Send to OV/Isaac. Чтобы отменить отправку, нажмите Cancel.

Meshy отправляет модель в виде файла USDZ с именем модели и вашими настройками Sim-Ready. Расширение загружает файл и добавляет модель в открытую сцену в /World, в prim, названный по имени модели. Оно также приводит ось «вверх» и единицы измерения модели в соответствие со сценой.

Настройки Sim-Ready

Диалоговое окно Sim-Ready Properties задаёт, как модель ведёт себя в физической симуляции и как она маркируется. Вы можете отправить модель, не меняя ни одной настройки.

Диалоговое окно Sim-Ready Properties с Semantic Class, установленным в table, выбранными Dynamic и Auto, Convex Hull и ползунками трения

В диалоговом окне есть следующие настройки:

  • Semantic Class: Необязательно. Метка класса, например chair, table или robot. Расширение записывает её как семантическую метку, а также как устаревшую (Legacy) метку класса для более старых версий Isaac Sim.
  • Wikidata QCode: Необязательно. Идентификатор Wikidata, например Q15026. Он начинается с Q, за которой следует число, не начинающееся с 0.
  • Height (m): Необязательно. Реальная высота модели в метрах. Если оставить поле пустым, расширение масштабирует модель по единицам измерения файла и сцены.
  • Body Type: Dynamic (значение по умолчанию), Kinematic или Static.
  • Mass (kg): Auto (значение по умолчанию), Mass или Density. Auto не задаёт массу или плотность, поэтому физический движок использует свои значения по умолчанию и форму коллайдера. Mass задаёт массу в килограммах. Density задаёт плотность в кг/м³, и метка меняется на Density (kg/m³). У тела Static нет настройки массы.
  • Collision Approximation: Convex Hull (значение по умолчанию), Convex Decomposition, Mesh Simplification, Bounding Cube, Bounding Sphere или Triangle Mesh. Для тела Dynamic список не включает Mesh Simplification и Triangle Mesh. Столкновение по SDF недоступно.
  • Static Friction, Dynamic Friction и Restitution: значения физического материала от 0 до 1 для коллайдеров модели. Значения по умолчанию — 0.50, 0.50 и 0.00.

Проверка импорта

После того как Meshy покажет «Model sent to omniverse», модель появится в открытой сцене в /World.

Сцена Isaac Sim с импортированной моделью woodland и её prim и сеткой Meshy, перечисленными на панели Stage

Расширение добавляет UsdPhysics.CollisionAPI и UsdPhysics.MeshCollisionAPI к каждой сетке в модели. Для динамического или кинематического тела оно также добавляет UsdPhysics.RigidBodyAPI и UsdPhysics.MassAPI к prim модели.

Чтобы проверить физику, нажмите Play в Isaac Sim. Динамическое тело движется вместе с симуляцией, а статическое остаётся на месте. Кинематическое тело движется только по анимации или скрипту, при этом другие тела всё равно сталкиваются с ним.

Отправка анимированной модели

Вы отправляете анимированную модель так же, как статическую. Meshy отправляет риг персонажа с выбранной анимацией. У моделей Smart Rig нет DCC Bridge, поэтому их нельзя отправить.

Анимированный римский солдат, импортированный в Isaac Sim, с его арматурой и сеткой, перечисленными на панели Stage

Устранение неполадок

В следующей таблице перечислены распространённые проблемы, их причины и способы решения.

ПроблемаПричинаРешение
Meshy показывает «Failed to send model to omniverse» до открытия диалогового окна Sim-Ready PropertiesIsaac Sim или ваше приложение Kit не открыто, либо расширение выключено.Откройте приложение и включите MESHY BRIDGE в Window > Extensions. Затем отправьте модель снова.
Диалоговое окно открывается, но отправка не удаётся, а http://127.0.0.1:5331/status в вашем браузере не показывает "dcc": "omniverse"Другое приложение использует порт 5331, поэтому расширение не может запустить свой мост.Закройте другое приложение, а затем выключите и снова включите MESHY BRIDGE в Window > Extensions. Убедитесь, что страница состояния показывает "dcc": "omniverse".
Meshy показывает «Failed to send model to omniverse» после нажатия Send to OV/Isaac в диалоговом окне, а страница состояния показывает "dcc": "omniverse"Не открыта ни одна сцена USD. В Console приложения отображается no active USD stage.Откройте или создайте сцену с помощью File > New, а затем отправьте модель снова.
Send to OV/Isaac в диалоговом окне недоступнаWikidata QCode, Height (m) или значение массы либо плотности некорректны.Введите QCode в формате Q15026, а также высоту, массу или плотность больше 0.
Send to OV/Isaac в меню DCC Bridge недоступнаВы используете веб-приложение Meshy на macOS или Linux.Используйте веб-приложение Meshy на Windows.

Дальнейшие шаги

  • Чтобы добавить анимацию персонажу перед отправкой, см. раздел Анимация.