英伟达让机器人从人类视频中学动作

让机器人学会一个新动作，通常要靠工程师远程操控，逐次积累训练数据。Nvidia 的 GR00T 2 想减少这一步：先看人类如何操作，再预测机器人执行同一动作时会看到什么，同时生成控制指令。

它的进展是部分任务不再需要专门遥操作示范。但实验也暴露了边界：成功率差异很大，复杂任务需要额外纠错，规划模型还会让机器人停下来等待。读这些结果，关键是分清「学得更省事」和「干得足够可靠」。

为什么预测下一段画面，能帮助机器人学动作

以往训练机器人，常见做法是遥操作（teleoperation）：人控制机器完成任务，系统记录动作。这个过程费时，而且不同机器人往往需要各自的数据，机械臂换了形态，已有示范未必能直接复用。

原文介绍，前代 GR00T 1 属于视觉语言动作模型（VLA），把相机画面和语言指令直接映射为动作。GR00T 2 则被 Nvidia 称为世界动作模型（WAM）：它同时计算接下来的运动，并通过扩散生成过程预测近期画面。

例如抓起一个物体，模型不仅要输出控制命令，还要预测机械臂和物体在画面中如何移动。未来画面因此成了动作学习的另一种表达方式。

作者转述的关键思路是：训练时，将人的任务示范与目标机器人的通用运动数据结合，让模型在预测视频中把人手替换为机械臂，再推导对应控制指令。视频预测承担了跨机器人形态迁移的桥梁作用。

不过，这并不是普通视频直接变成任意机器人的技能。研究人员仍会用数据手套、专用手持夹爪或手指外骨骼采集示范，也需要目标机器人的运动数据。底座训练使用了超过 1,000 颗 GB300 芯片，以及约 400,000 小时的人类头戴相机任务视频。

减少某项任务的遥操作，不等于省掉机器人数据和前期训练。

成功率从 10% 到 95%，各自说明什么

实验室里，配有五指手的机器人学会了点火柴、切香蕉、把包裹扔上传送带，而没有针对这些任务接受专门遥操作。不同任务的成功率为 10%–80%。这些结果证明了迁移能力，但还不能证明稳定性。

原文另有两个容易被混读的结果。

其一，系统从单段人手动作视频中学会了钉钉子，不过验证发生在计算机仿真中，不能直接视为实体机器人完成了同样的学习。

其二，研究人员挑选了 50 个模型在少量示例后就已表现较好的任务，再用不到 3 分钟的常规训练，把成功率从 40% 提高到 95%。

后一个数字很亮眼，但样本经过筛选，不能据此推断任意新任务都能在 3 分钟内达到 95%。原文也没有交代这段训练的具体流程，以及时间按什么口径统计。比较稳妥的解读是：对已经具备较好基础的任务，少量追加训练可能带来明显改善。

复杂任务靠上层纠错，为什么又会变慢

抓一下物体和装好一个玩具，难度不同。后者需要安排步骤、检查状态，还要处理零件掉落等意外。

为此，Nvidia 将 GR00T 2 与上层语言模型结合，原文举例为 OpenAI 的 GPT-6 Astra。GR00T 2 负责抓取动作，语言模型拆解任务、在相机画面中用颜色标记抓取点，并在出错时启动辅助流程。

面对桌上无序摆放的玩具零件，组合系统的装配成功率至少达到 97%。没有纠错语言模型及额外微调时，玩具车装配只成功了 23/100 次。但这里同时改变了纠错和微调条件，不能把提升全部归功于语言模型。插网线、插充电器等精细任务，还用到了真实设备上的反复试错训练。

另一条路线是给双足机器人使用精简版 GR00T 2 Turbo。它减少图像细节处理，直接运行在机载 Jetson Thor 上，测试过舀爆米花、清理桌面，以及用脚踩毛巾擦液体。最后一项成功率不到一半。

可靠性仍有明显缺口：模型尚未直接处理触觉传感数据，也可能漏掉螺丝只转到一半这类细微错误。上层规划还有延迟，在垃圾分类实验中，规划模型每次计算平均耗时超过 7 秒，机器人约三分之一的总时间都在等待。

能纠正错误，还要看纠错过程是否拖垮整体效率。

我的判断

我认可它把「减少任务示范成本」作为突破口。相比每个新任务都重新遥操作，复用人类视频和机器人通用运动数据，有机会让技能适配更省力，实验也给出了具体证据。

但「看视频学技能」很容易掩盖条件：训练底座规模庞大，示范可能需要专门设备，一些任务仍依赖追加训练、真实试错和上层纠错。实验成功与日常可靠运行之间，还有距离。

原文没有给出与纯遥操作方案在同等条件下的完整成本、耗时和成功率对照，因此无法判断投入产出究竟改善了多少。对有实体交互需求的全栈开发者，这是一条值得跟踪的技术路线；对普通前端或 Node 项目，目前更有价值的是理解系统如何分工与评估，而非寻找可直接接入的能力。原文也没有提供相应 API 或部署接口。

能拿来做什么

• 阅读机器人演示时，把真实设备与仿真、是否专门遥操作、是否追加训练、是否筛选任务分别记下来，再比较成功率。
• 开发机器人控制台时，把任务进度、失败恢复和等待规划的时间一起展示，避免只用最终成功率判断系统是否可用。
• 在日常 AI 编程中评估「规划器加执行器」方案时，同时记录完成率、返工次数与等待时间；机器人实验提示了这种权衡，但不能直接替代软件场景的验证。