李飞飞 World Labs 开始训练机器人模型

李飞飞老师的 World Labs，补了块关键拼图。

刚刚，借助新收购的机器人公司 SceniX 之力，World Labs 发布了全新的机器人策略训练与评估引擎——

Real-to-sim-to-real（R2S2R）。

这套引擎将 World Labs 空间智能的版图，从生成可交互的虚拟世界，进一步延伸到了真实机器人的训练、评估与部署，并首次打通了从仿真训练到真实运行的闭环。

拆开来看，R2S2R 包含 Real-to-Sim 和 Sim-to-Real 两个部分。

其中，Real-to-Sim 负责把现实中的机器人、传感器、物体以及交互过程搬进仿真，构建与真实任务对齐的虚拟环境。

Sim-to-Real 则让机器人在这些虚拟环境中完成训练和评估，再将策略直接部署回真实世界。

李飞飞老师在 X 上表示，基于这套方法训练出来的策略，即使完全没用过真实世界数据，也已经能够连续自主运行 1 小时，无需人工干预。

不仅如此，R2S2R 还让机器人策略的评估变得更容易规模化。

通过对齐策略在仿真与现实中的运行过程，真实世界里的成功、失败及其触发条件，都可以在虚拟世界中被复现和分析。

可以说，R2S2R 不仅打通了世界模型从生成世界，到训练、评估和部署真实机器人的闭环，也推进了李飞飞此前提出的世界模型三分法中最关键的一块——

在她的经典划分中，世界模型可以承担三种功能：渲染器负责生成观察，仿真器负责模拟世界状态，规划器则负责输出行动。

而 R2S2R 所做的，正是让 World Labs 生成的世界从“看起来真实”，进一步变成机器人真正能够进入、交互和学习的训练场。

那么，为什么要扩展机器人的学习环境，而且还非得在仿真里？

当前机器人发展的主要瓶颈，已经不只是模型架构，而是缺少能够规模化获取的经验和评估。

一方面，真实世界中的物体位置、光照、物理属性和交互过程都在不断变化。

要让机器人真正走出实验室，就必须提前覆盖足够丰富的场景，并反复测试它在什么情况下会成功、又会在哪里失败。

另一方面，与训练大模型的互联网数据不同，机器人的每一条经验都需要真实发生。

每轮实验都要占用硬件，人工重置物体、恢复失败并维护系统。即便拥有海量人类视频，也很难系统覆盖不同环境、物体属性、机器人状态和失败条件。

因此，仿真最大的价值，并不只是“省下采集数据的钱”，而是可以主动制造现实中昂贵、危险或难以重复的情况，让机器人反复经历成功与失败。

它不仅需要为每项真实任务单独搭建环境，成本高、速度慢，而且仿真与现实之间往往存在视觉、几何和物理动态上的差距。

更重要的是，机器人在仿真中学会的策略，到了真实世界未必依然有效；仿真中的测试结果，也未必能反映真实表现。

基于上述背景，World Labs 推出了从现实到仿真再到现实训练（R2S2R）的仿真引擎，用于训练和评估机器人策略。

其中，Real-to-Sim 负责把现实中的机器人、传感器、物体和交互过程重建成与任务对齐的虚拟世界。不仅要还原世界的外观，还要尽可能保留机器人与物体交互时的运动和物理反馈。

Sim-to-Real 则利用这些世界完成策略训练与评估，找到模型容易失败的状态，并判断仿真中的表现能否迁移到真实硬件。

从现实中提取任务，在仿真中规模化生成经验、训练和寻找失败，再把策略部署回现实；现实中的新结果，又会继续修正世界模型、训练数据和机器人策略。

也就是说，R2S2R 不是简单地用仿真替代真实数据，而是把一个真实任务扩展成大量可控制、可复用的学习世界，让机器人能够以更低的成本反复训练、评估和迭代。

具体来说，这套方法首先从 Real-to-Sim 开始。

团队先采集机器人、传感器、环境、物体和任务演示等信息，再通过生成式世界建模系统，将其重建为一个可交互的虚拟世界。

这个世界不仅要还原外观和几何结构，还要尽可能复现物体的物理和动力学特性。

比如，在下面的双机械臂装箱任务中，仿真和现实环境会执行相同的动作序列，从而产生高度一致的观察结果、物体运动情况以及最终效果。

这里的难点在于，真实环境并不会提供一套准确参数。

物体的重量、摩擦力可能难以测量，机器人和摄像头也可能与标称规格存在偏差，电缆、包装等柔性物体的形变更难用简单模型描述。

因此，R2S2R 会根据不同任务的需要，组合使用不同的表示和建模方法。

完成重建后，团队会让机器人在现实与仿真中执行相同动作，直接比较视觉观测、物体反应和最终结果，从而验证两边是否真正对齐。

而在 Sim-to-Real 阶段，对齐后的仿真世界会进一步变成一套可扩展的训练与评估引擎。

具体来说，机器人先在仿真中学习新策略，评估系统再主动寻找它容易失败的状态，并围绕这些弱点生成新的交互经验，形成“发现问题—补充数据—改进策略”的闭环，最后再部署回真实硬件。

此外，相比现实数据采集，仿真可以系统调整物体位置、机器人状态、视角、外观、物理属性和任务难度，让策略反复经历现实中成本高、难复现甚至不安全的情况，并获得物体状态、接触、受力等硬件上难以采集的监督信号。

而且，一个重建好的任务并不只服务于某个模型或某款机器人。同一套仿真环境可以继续适配不同策略、传感器和机器人平台，从一次性实验变成可复用的训练基础设施。

报告中显示，在没有真实世界数据参与、只在仿真里训练的策略，可以直接迁移到 ALOHA、RB-Y1、YAM、Flexiv 和 xArm 等机器人平台，完成装箱、绕线、试管转移和杂乱环境中的单件抓取等任务。

其中，电源线绕行、线缆插拔、试管转移，以及马克笔和铅笔抓取等任务，均连续自主运行 1 小时，期间没有失败，也没有人工接管。

这说明，对齐后的仿真未来可能不只是现实数据的补充，而会成为机器人训练经验的重要来源。

由于机器人受制于物理世界的运行速度，每测试一个 checkpoint，都要重新布置场景、运行机器人并处理失败，成本高，能够覆盖的情况也十分有限。

相比之下，R2S2R 则可以先在数千种受控条件下主动寻找失败，提前筛掉表现不佳的 checkpoint，只把最有希望的策略留给真实硬件测试。

这里的关键，并不是要求仿真与现实的成功率完全一致，而是两边能够得出相同的判断：

哪些策略更好、它们在哪里成功或失败，以及训练中的提升能否真正迁移到硬件。

在 ALOHA 双臂方块交接任务中，团队测试了 GR00T N1.6 和 π₀.₅ 两种策略架构，以及不同训练配置、ID 和 OOD 场景。每个 checkpoint 分别进行了 2000 次仿真试验和 100 次真机试验。

结果显示，仿真中表现更好的 checkpoint，在真机上通常也表现更好。仿真不仅保持了不同策略之间的相对排名，也呈现出与现实相似的成功和失败分布。

更重要的是，这种对齐不只是让仿真画面看起来像现实。

团队会让机器人在仿真和现实中执行完全相同的动作，再比较两边看到的画面、物体的反应和最终结果是否一致。

即使是在线缆、关节物体等很难模拟的任务中，也要尽可能复现真实的物理变化。

以方块交接为例，当方块放在机器人不太熟悉的位置时，机械臂会抓得更靠近边缘，差一点就失手。这种“险些失败”的过程，不仅出现在真机上，也在仿真中被复现了出来。

也就是说，仿真还原的不只是机器人最后成功了还是失败了，还能还原它为什么会走向成功或失败。

这也意味着，R2S2R 可以成为机器人开发中的高通量评估层，用来筛选 checkpoint、发现性能退化，并决定下一轮应该补充什么数据。

事实上，在正式发布 R2S2R 的前一周，World Labs 就已经宣布收购 SceniX。

SceniX 是一家专注机器人仿真、训练与评估的初创公司，他们的技术方向聚焦于把真实机器人任务搬进数字世界，让原本昂贵、缓慢甚至危险的数据采集和模型评估，可以在仿真中规模化完成。

SceniX 联合创始人李昀烛目前是哥伦比亚大学助理教授，曾在 MIT 获得博士学位，随后在斯坦福跟随李飞飞从事博士后研究。

有意思的是，这两家公司的合作并不是从这段师生关系开始的。

最早，SceniX 只是 World Labs 生成式世界模型 Marble 的客户。直到李飞飞发现这家公司由李昀烛创办，双方才进一步意识到彼此技术上的互补，并展开了收购计划。

World Labs 擅长生成模型、计算机视觉和 3D 重建，可以从稀疏输入中快速生成具有空间一致性的世界；

SceniX 则更熟悉机器人、仿真、学习算法和硬件系统，知道怎样让这些世界真正用于策略训练、评估和部署。

换句话说，就是前者解决“世界怎么生成”，后者解决“机器人怎么在里面学习”。

在 a16z 访谈中，李昀烛表示，这次收购并不意味着 World Labs 要亲自造机器人。

它们真正想建设的，是一套与机器人形态和模型架构解耦的基础设施：

无论客户使用单臂、双臂还是移动机器人，VLA 还是 World Action Model，都可以进入同一个数字世界训练和测试。

未来，双方将围绕仿真、基础模型和动作条件模型逐步整合，并希望先在仓库、实验室和电子装配等半结构化场景中，与客户完成真实部署验证。

GPT-5.6 自己优化自己实锤了，新的左脚踩右脚已经出现（2026-07-30）

美国具身也没成熟！PI：中国公司何必总当“中国版 XX”｜RSS 2026（2026-07-25）

世界模型有触觉了！50 万小时视频，训出首个隐式触觉世界动作模型（2026-07-28）

全新统一流式架构，Vivix 灵动时刻正式发布首个实时互动模型（2026-07-25）

成立 4 个月斩获超 2 亿融资，Momenta、百度、顺为都投了

量子位 QbitAI 版权所有 © 北京极客伙伴科技有限公司 京 ICP 备 17005886 号-1