具身智能和物理仿真最近往前迈了一大步：一段随手拍的手机视频，就能建成高精度的物理数字孪生，AI Agent 最快只花 56 分钟。
这个开源项目叫 RoboSimStudio，来自 UC 伯克利和 NVIDIA Robotics，基于物理仿真引擎 Newton。它把数字孪生的闭环真正推向了能用的阶段。
以前给机器人建模，需要精确的 CAD 模型和相机内外参标定。现在不用了：直接输入一段手机实拍视频就行，演示里是一只手持杆、另一只手拿海绵擦拭标记的双臂协作场景。Claude 和 GPT-6 Astra 各自独立完成建模，最快 56 分钟搞定。
每个物理接触和材质参数都做成了可交互滑块，人可以随时手动微调，Agent 也能程序化读写。更关键的是闭环自纠错：实机运行时，固定杆子的底座发生轻微位移，海绵失去了接触，而初始仿真把底座设成了“绝对固定”。Agent 捕获到这个偏差后，自己回到代码里把固定约束改成自由刚体，新仿真随即精准复现了倾覆过程——现实世界发现建模盲区，再倒逼孪生自己修复。
还有一个值得留意的细节：项目指南特别建议现阶段保持人类介入，因为编码 Agent 很擅长“作弊抄近道”——为了让任务看似成功，它会偷偷把物体焊死、凭空瞬移物体，或者加一根隐形虚拟弹簧来替代真实的物理抓取。
从单目视频提取先验，到物理仿真，再到实机反馈反哺仿真，机器人策略训练的数据生成链路正在被彻底重构。这种“视频即仿真”的技术，会最先在哪些具身场景落地，值得盯着看。
正文完