Runway开源Praxis-1机器人控制模型

Runway 把视频模型学到的物体运动规律，用到了机器人控制上。新开放的 Praxis-1 能接收相机画面、文字指令和机器人位置数据，预测场景变化，再计算动作。权重和源码采用 Apache 2.0 许可，允许商业使用。

它值得关注，因为视频预训练可能减少机器人专用数据的需求。但目前更扎实的结论是：它能完成一些明确、短程的操作任务。数据究竟省了多少、换一台机器人要付出多大成本，还不能只看排行榜下判断。

视频模型为什么能接管机械臂

Runway 更为人熟悉的产品是 Gen-4.5 等生成式视频模型。Praxis-1 延续了视频研究路线：先从普通视频中学习物体如何运动、如何相互作用，再用人类动作视频和机器人数据微调。

Runway 把它叫作 World Action Model，即世界动作模型。这里的「世界」可以理解成机器人眼前的场景：杯子在哪里，夹爪靠近后会发生什么，移动物体会怎样改变画面。模型预测这些变化，并据此推导机器人该执行的动作。

控制过程也会持续接收新画面。机器人动一下，相机再看一下，模型继续调整。它不是收到一句指令后，就把整套动作一次性执行到底。

这条路线的吸引力在于，普通视频比机器人操作记录更容易获得。如果视频中学到的规律能迁移到控制任务，机器人就可能少依赖昂贵的专用采集。

不过，视频预训练减少了多少机器人数据，原文没有给出足够的对照证据。

成绩有进步，但要分清测了什么

Praxis-1 在 Nvidia 的 RoboLab-120 排行榜上取得了 46.2% 的成功率。这个基准包含 120 项仿真任务，测试抓取、分类、堆叠等能力。同属 World Action Model 的 FLUX 3 Action 为 42.9%。

因此，Praxis-1 排在这一类别的第一位，但在总榜中是第五，前面还有两个 AI agent 和两个采用其他架构的机器人模型。「类别第一」不能直接读成「机器人模型第一」。

真实机械臂测试更直观。Runway 用 DROID 数据微调后，让 Praxis-1 和 FLUX 3 Action 操作 Franka 机械臂，完成把香蕉放到盘子上、关闭抽屉等相同的 10 项任务。每项尝试 10 次，Praxis-1 成功 88 次，FLUX 3 Action 成功 80 次。

还有一次迁移测试，使用了 Google 曾用于开发 RT-1 的移动机械臂平台。这类机器人的记录没有进入 Praxis-1 的早期训练。经过约 95 小时机器人数据微调，它在仿真测试中的平均成功率达到 80%，Google 原始 RT-1 在同一基准上为 52.4%。测试覆盖四类任务，包括抓汽水罐、开关抽屉和把苹果放进抽屉。

这些结果支持它具备一定的迁移能力，但不能据此断言换设备就能直接工作。并且，上述测试都由 Runway 自行完成，尚未得到独立验证。

开放权重，离直接部署还有多远

Praxis-1 最初于 9 月下旬亮相，当时只向部分合作伙伴开放。Standard Bots、Noble Machines 和 Ultra 已在不同系统上测试它，涉及人形机器人、工业机械臂和仓库双臂机器人。

这次开放了权重和源码。开发者可以注册 Hugging Face、同意访问条款后下载模型，代码位于 GitHub。除基础模型外，Runway 表示还提供了适配不同机器人的版本；基础模型接入新机器人仍然需要额外训练。

数据成本并不低。适配 Franka 机械臂用了约 277 小时公开 DROID 记录，双臂机器人用了 1,400 至 2,600 小时训练材料。更早的训练阶段也用过 DROID 和其他机器人数据，因此不能把这次微调的数据量当成全部投入。

硬件门槛同样需要算进去。标准版本要求 GPU 具备 80 GB 显存。按 Runway 的估算，压缩版本应该能放进拥有 32 GB 显存的 RTX 5090，但 GitHub 文档明确表示，实际峰值显存占用尚未测量。「估计能装下」距离稳定运行仍有一步。

能力边界则更直接：它会混淆外观相似的物体，对模糊指令处理不佳，也不能可靠地自行规划复杂动作序列。长任务需要把步骤逐个写明。

我的判断

我更看重这次开放带来的可验证性。研究者可以检查训练和适配方式，围绕相同任务复现结果。Apache 2.0 允许商业使用，也降低了后续试验的许可障碍。

但「用视频学习，能省机器人数据」目前仍是有吸引力、尚待充分验证的主张。要证明它，需要在相近条件下，比较有无通用视频预训练时的总数据投入和最终成绩。原文没有提供这样的对照，不能替它补上结论。

与直接让一个模型承包任务理解、步骤规划和动作执行相比，Runway 给 Praxis-1 的定位更明确：负责快速执行机器人动作，未来再与负责拆解任务的通用 AI 模型配合。这个分工与当前短板相符，但两者协作的可靠性，原文也没有给出实测结果。

Praxis-1 展示了有竞争力的动作执行能力，还没有证明自己是可靠的长任务规划者。

能拿来做什么

• 如果你在跟踪具身 AI，可以把 RoboLab-120 的仿真成绩、Franka 的真实操作成绩和新平台迁移成绩分开记录，避免用一个成功率概括全部能力。
• 如果准备接入机器人，先确认有没有对应的预适配版本，再估算数据采集、微调和显存成本。约 277 小时、1,400 至 2,600 小时的数据投入，比「开放权重」更能说明落地工作量。
• 如果设计机器人任务界面，应允许把长任务拆成明确步骤，并尽量减少含糊指令和相似物体的指代。当前能力不适合只给一个宽泛目标，就期待模型自行完成整条流程。
• 如果只是评估本地运行条件，先把标准版本的 80 GB 显存要求作为明确门槛；RTX 5090 的 32 GB 压缩版方案应等待峰值显存实测，再决定硬件投入。