李飞飞 World Labs 发布机器人仿真引擎：单任务生成数千变体

由 AI 先驱李飞飞创立的初创公司 World Labs 发布了一款仿真引擎，能够完全在虚拟环境中训练机器人控制系统。这些模型随后在真实硬件上可以稳定运行数小时。

该公司的"Real-to-Sim-to-Real"（R2S2R）引擎将真实世界的机器人任务转化为仿真环境，用于训练和评估控制模型，从而省去了在真实硬件上进行昂贵测试的环节。这项技术来自 SceniX——World Labs 于 7 月收购的一家初创公司。

World Labs 表示，机器人部署的主要瓶颈并非模型架构，而是机器人可靠运行所需的经验总量。真实世界的数据既昂贵又难以控制，即使是网络视频也无法系统性地覆盖各种物体、物理条件和故障状态的全部范围。

一个真实任务生成数千种可控变体

该引擎捕捉机器人、传感器、环境和任务演示，然后将它们重建为交互式虚拟世界——这个虚拟世界不仅看起来像原始场景，而且物理行为也相同。World Labs 通过将生成式世界模型与任务导向的机器人仿真相结合来实现这一点。

从一个单一的真是世界任务出发，系统通过改变光照、物体位置和数量、周围环境、摩擦力等物理属性以及相机角度，生成数千种变体。为了检查准确性，World Labs 在仿真和现实中同时运行相同的动作序列，并比较观察结果、物体运动和 outcomes。

展示的示例包括电缆布线、将弹性电缆端插入孔中、用双手打包箱子等刚性、可移动和可变形物体。

无需真实硬件训练的控制模型

控制模型在仿真中训练，然后迁移到真实机器人上其中一个测试平台是 ALOHA，这是斯坦福大学的开源双臂设计，通过两个较小的控制臂进行远程操控来操作。该设置成本仅为商业系统的一小部分，所有设计图纸都是公开的，这使得 ALOHA 成为机器人研究领域的首选参考平台。

据 World Labs 介绍，模型在另外四个机器人平台上各自主运行了一小时，无需任何人工干预。任务范围包括用双手将电源线绕在冰箱上，到精确重新放置试管，以及从杂乱物品中分离出记号笔或铅笔等薄片物体。

该公司表示，该系统不依赖于特定的控制模型或机器人类型，因此一旦重建了一个世界，之后可以将其重用于新模型和不同的机器人。

仿真可以在策略评估中替代硬件

World Labs 认为，机器人开发远远落后于语言模型，主要是因为评估控制模型大多需要在真实硬件上进行测试。一个可靠的仿真不需要提供与现实相同 success rates。重要的是它能否回答相同的问题：模型在哪里失败，哪个版本更好，以及改进是否能迁移到物理机器人上？

团队用一个 ALOHA 双臂之间的双手方块交接任务测试了这一点。据 World Labs 称，仿真重现了机器人勉强抓住方块边缘的边界情况，以及相应的失败尝试。在不同类型的模型（包括 GR00T N1.6 和 π₀.₅）以及不同训练阶段中，模型在仿真和现实中的排名基本保持一致。无论是已知的方块位置还是之前未见过的位置，都是如此。每个 checkpoint 使用 2000 次仿真和 100 次真实运行进行评估。

在仿真中表现更好的策略在硬件上也表现更好，排名保持一致。

开发团队可以在仿真中筛选出较弱的模型版本，将昂贵的硬件测试节省下来留给最有希望的候选方案。

仿真器位于 World Labs 更广泛战略的中心

World Labs 将这些结果与其世界模型分类体系联系起来。在该框架中，仿真器是核心组件，因为它将世界转变为软件 Agent 可以行动、学习和接受测试的地方。该公司将其与自动驾驶进行类比——一些成功的 L3 和 L4 系统使用真实数据和仿真数据的混合进行训练。

World Labs 这样表述其长期目标：要扩展机器人的智能，就必须扩展它们学习的世界。这些结果在更复杂的环境、其他类型的机器人以及更不受控的日常情境中的迁移效果如何，仍然是一个开放的问题。

World Labs 由 AI 研究员李飞飞于 2024 年创立，旨在构建具有空间智能的模型——即理解三维物理世界的模型。其早期系统可以从单张照片生成可漫步的 3D 环境。该公司最近融资 10 亿美元，将其世界模型扩展到机器人和科学领域。R2S2R 引擎是该愿景在机器人领域的第一个具体应用。

这项研究引发了一个更广泛的辩论：世界模型应该在机器人领域扮演什么角色。一个国际研究团队最近尝试为世界模型建立一个统一定义，清晰地区分了世界模型与纯视频生成器。

另一个相关领域是 World Action Models，它将对未来短期的预测直接与控制命令绑定。这与 World Labs 的方法不同——在 World Labs 的方法中，仿真和策略是分开的。另一个来自中国的方法 called Orca 让机器人纯粹通过观看视频来学习任务，训练期间不需要任何真实的运动数据。