Bridge to Omniverse / Isaac Sim

将模型从 Meshy 网页端直接发送到你的 NVIDIA Omniverse 或 Isaac Sim stage,并在导入时应用物理属性和语义标签。


开始之前

  • 你需要 Pro 或更高套餐。在 Free 和 Starter 套餐下,点击 发送到 OV/Isaac 会打开升级选项。

  • 你需要在 Windows 上使用 Meshy 网页端。在其他操作系统上,发送到 OV/Isaac 不可用。

  • 在 Isaac Sim 或你的 Omniverse Kit 应用中安装 Meshy Bridge 扩展。具体步骤请参阅 Meshy for Omniverse / Isaac Sim。

启动 Bridge

扩展启用期间会自动运行 bridge,因此不需要另外启动任何程序。

要让应用准备就绪,请按以下步骤操作:

  1. 打开 Isaac Sim 或你的 Omniverse Kit 应用。

  2. 点击 Window > Extensions,确认 MESHY BRIDGE 已打开。

    Extensions 窗口中 MESHY BRIDGE 已打开,并勾选了 ENABLED 和 AUTOLOAD

  3. 打开或新建一个 USD stage。要新建,点击 File > New。

从 Meshy 发送模型期间,请保持应用处于打开状态。

发送模型

要将模型发送到 Omniverse 或 Isaac Sim,请按以下步骤操作:

  1. 在 Windows 上的 Meshy 网页端中,在查看器里打开一个已完成的模型。

  2. 在查看器工具栏中,点击 DCC 桥(插头图标)。

    Meshy 网页端查看器,箭头指向工具栏中的 DCC 桥图标

  3. 点击 发送到 OV/Isaac。Meshy 会检查 bridge 是否在运行,然后打开 Sim 就绪属性 对话框。

    Meshy 网页端中的 DCC 桥菜单,箭头指向发送到 OV/Isaac

  4. 可选:修改 Sim-Ready 设置。各项设置的作用请参阅 Sim-Ready 设置。

  5. 在 Sim 就绪属性 对话框中,点击 发送到 OV/Isaac。要取消发送,点击 取消。

Meshy 会将模型作为 USDZ 文件发送,并附带模型名称和你的 Sim-Ready 设置。扩展会下载该文件,并将模型添加到当前打开的 stage 中 /World 下一个以模型命名的 prim 里。它还会让模型的向上轴和单位与 stage 保持一致。

Sim-Ready 设置

Sim 就绪属性 对话框用于设置模型在物理模拟中的行为以及它的标签。你也可以不修改任何设置直接发送。

Sim 就绪属性对话框,Semantic Class 设为 table,选中 Dynamic 和 Auto、Convex Hull,并带有摩擦力滑块

对话框包含以下设置:

  • Semantic Class:可选。类别标签,例如 chair、table 或 robot。扩展会将它写入为语义标签,同时为旧版 Isaac Sim 写入旧式类别标签。
  • Wikidata QCode:可选。Wikidata ID,例如 Q15026。以 Q 开头,后面跟一个不以 0 开头的数字。
  • Height (m):可选。模型在真实世界中的高度,单位为米。如果留空,扩展会按文件和 stage 的单位缩放模型。
  • Body Type:Dynamic(默认)、Kinematic 或 Static。
  • Mass (kg):Auto(默认)、Mass 或 Density。Auto 不设置质量或密度,物理引擎会使用其默认值和碰撞体形状。Mass 以千克为单位设置质量。Density 以 kg/m³ 为单位设置密度,此时标签会变为 Density (kg/m³)。Static 刚体没有质量设置。
  • Collision Approximation:Convex Hull(默认)、Convex Decomposition、Mesh Simplification、Bounding Cube、Bounding Sphere 或 Triangle Mesh。对于 Dynamic 刚体,列表中不包含 Mesh Simplification 和 Triangle Mesh。不支持 SDF 碰撞。
  • Static Friction、Dynamic Friction 和 Restitution:模型碰撞体的物理材质值,范围为 0 到 1。默认值分别为 0.50、0.50 和 0.00。

检查导入结果

Meshy 显示「Model sent to omniverse」后,模型会出现在当前打开的 stage 中 /World 下。

Isaac Sim stage 中导入的林地模型,Stage 面板中列出了它的 Meshy prim 和网格

扩展会为模型中的每个网格添加 UsdPhysics.CollisionAPI 和 UsdPhysics.MeshCollisionAPI。对于 dynamic 或 kinematic 刚体,还会为模型的 prim 添加 UsdPhysics.RigidBodyAPI 和 UsdPhysics.MassAPI。

要测试物理效果,在 Isaac Sim 中点击 Play。dynamic 刚体会随模拟运动,static 刚体保持不动。kinematic 刚体只能由动画或脚本驱动运动,其他刚体仍会与它发生碰撞。

发送动画模型

发送动画模型的方式与静态模型相同。Meshy 会发送带有所选动画的已绑定骨骼角色。Smart Rig 模型没有 DCC 桥,因此无法发送。

导入 Isaac Sim 的动画罗马士兵,Stage 面板中列出了它的骨架和网格

故障排查

下表列出了常见问题、原因及解决方法。

问题原因解决方法
在 Sim 就绪属性 对话框打开之前,Meshy 显示「Failed to send model to omniverse」Isaac Sim 或你的 Kit 应用未打开,或扩展已关闭。打开应用,并在 Window > Extensions 中打开 MESHY BRIDGE。然后重新发送模型。
对话框已打开但发送失败,并且在浏览器中访问 http://127.0.0.1:5331/status 没有显示 "dcc": "omniverse"有其他应用占用了 5331 端口,导致扩展无法启动 bridge。关闭该应用,然后在 Window > Extensions 中将 MESHY BRIDGE 关闭再打开。确认状态页显示 "dcc": "omniverse"。
在对话框中点击 发送到 OV/Isaac 后,Meshy 显示「Failed to send model to omniverse」,而状态页显示 "dcc": "omniverse"没有打开 USD stage。应用的 Console 显示 no active USD stage。通过 File > New 打开或新建一个 stage,然后重新发送模型。
对话框中的 发送到 OV/Isaac 不可用Wikidata QCode、Height (m) 或质量、密度的值无效。按 Q15026 的格式输入 QCode,并输入大于 0 的高度、质量或密度。
DCC 桥 菜单中的 发送到 OV/Isaac 不可用你在 macOS 或 Linux 上使用 Meshy 网页端。在 Windows 上使用 Meshy 网页端。

后续步骤

  • 要在发送前为角色添加动画,请参阅 动画。