英伟达发布 Cosmos 3 开放世界模拟模型

NVIDIA 给 Cosmos 3 新增了四个开放权重模型，分别处理驾驶数据生成、驾驶流式仿真、仿真画面生成和双臂机器人交互。共同方向是让模型根据控制信号持续生成观察结果，供策略决定下一步动作。

对程序员来说，值得看的是交互链路如何接起来，以及模型和仿真器各自负责什么。原文给出了训练配方，但没有证明生成画面足够逼真，就能可靠地训练或评估机器人策略。

四个模型怎么选，先看输入和输出

四个模型都由 Cosmos 3 Nano 后训练得到，各有 16B 可训练参数，采用 OpenMDW1.1，允许按许可条款用于商业和非商业用途。这里能确认的是权重开放，使用边界仍要看许可证。

Cosmos3-Nano-Transfer-Auto 面向离线合成驾驶数据，是双向模型。它最多同步生成 11 个摄像头视角的视频，包括鱼眼视角，也支持联合生成 RGB 和 LiDAR。

它靠两类输入分工：每个摄像头的 World Scenario Map（WSM）控制场景结构和交通运动，文本提示控制天气、光照、时段等外观。初始 RGB 图像可以固定场景观感；联合生成 LiDAR 时，还需要对齐的 HD-map range-map 控制。

Cosmos3-Nano-Sim-Auto 则是 Transfer-Auto 经过因果训练和蒸馏得到的流式版本。它利用已生成的历史和更新后的驾驶控制，分小块输出同步视频与 LiDAR，适合持续交互。

两者的选择取决于用途：批量造训练数据，先看 Transfer-Auto；需要动作持续影响后续观察，再看 Sim-Auto。新摄像头布局、LiDAR 配置或驾驶环境，也应先适配 Transfer-Auto，再训练并蒸馏成 Sim-Auto，不能默认现成权重直接匹配自己的传感器。

另外两个模型服务于不同的机器人仿真路径。

Cosmos3-Nano-Sim-Transfer 接收仿真器的空间控制和文本，生成写实 RGB。空间控制包括深度、分割、边缘和模糊图像，分别提供距离、物体区域、轮廓或粗略布局等信息。

Cosmos3-Nano-Sim-Bimanual 根据场景与动作直接预测后续视频，支持 YAM 和 AgiBot 双臂机器人，可由策略或人工摇杆控制，也能在同一控制序列中切换相机视角变化与机器人操作。

区别在于：Sim-Transfer 的物理状态由仿真器更新；Sim-Bimanual 直接学习动作之后会看到什么。

能持续出视频，还不等于接好了交互环境

Sim-Transfer 的链路很明确：

动作 → 仿真器更新 → 空间控制 → 生成 RGB → 策略选择下一动作。

碰撞、运动和真实状态仍归仿真器负责，模型负责生成策略可读取的画面。文本可以改变外观，但物理状态的依据仍在仿真器中。

Sim-Auto 同样需要外部设施。原文明确说，闭环交互需要 simulation runtime 和 WSM renderer，把驾驶输入转换成持续更新的控制条件。模型能连续生成观察，并不等于它已经提供完整的交互仿真环境。

Sim-Bimanual 的接入重点则是动作数据契约。原文中的混合动作示例使用 59 个控制值，训练时填充到 64 个。这些值涉及坐标系、旋转、夹爪标定、有效性掩码和控制域，不能只检查数组长度。

时间也必须对齐：T 次状态转换需要 T+1 个观察。训练流程会把原始采集数据转换成模型使用的动作表示，而发布的推理动作已经归一化。接入自有数据时，需要分清原始动作与推理输入，避免重复处理。

部署方面，原文列出的要求是 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit。发布的 vLLM-Omni 配置在一块 GB200 上测试过，但作者特别说明，这不是最低显存规格。服务端会下载权重，客户端会获取示例输入。

因此，不能据此推断普通消费级显卡也能运行，更不能把一次配置测试理解成普遍性能承诺。

为什么要分块生成，还要用自己的结果训练自己

Cosmos 3 使用 Mixture-of-Transformers 骨干，通过注意力连接独立的文本处理网络与视觉生成网络。生成器每次读取提示、可用控制和历史结果，预测一小段后续内容。

它处理的是压缩视频表示，也就是潜变量（latents）。去噪过程先生成潜变量片段，再解码成图像。初始图像之后，每个潜变量时间步对应 4 帧 RGB；原文中的 Transfer 每块预测 1 个时间步，报告里优化后的 Bimanual 配置每块预测 2 个时间步。

块越小，新控制就越频繁地影响生成。但原文没有给出这两种配置的延迟、吞吐或质量对照，不能直接认定某种块大小更好。

流式生成还依赖时间因果注意力和 key/value cache：前者允许读取已有历史与控制，屏蔽未来目标观察；后者保留注意力信息，供下一次预测复用。

训练配方分为四阶段：

1. Stage 0，双向适配：使用完整录制片段，学习目标领域和控制到视频的关系。
2. Stage 1，Teacher forcing：根据之前录制的真实观察预测下一块，同时遮住当前干净答案与未来目标。
3. Stage 2，Consistency distillation：冻结教师模型，训练学生模型，使其用 4 次去噪生成每块内容。
4. Stage 3，Self-forcing：让学生基于自己生成的历史继续预测，由冻结教师和辅助评分模型提供分布匹配信号。

最后一步针对的是误差累积。训练时总看真实历史，运行时却要看自己生成的历史，两种输入并不一样。物体位置一旦预测偏了，后续预测还会继续引用这个偏差。Self-forcing 让训练接触这种情况，但原文没有给出它消除了多少长期漂移。

适配流程还要求保留完整训练检查点。导出的推理权重不含优化器等训练状态，不能拿它替代可恢复的训练存档。

我的判断

这套方案有价值的地方，是把控制、观察、历史和训练阶段的关系讲清楚了。尤其是 Sim-Transfer 保留仿真器的物理状态来源，比只看生成视频判断环境是否可信，更容易划清责任边界。

不过，画面像真的，与环境适合训练策略，是两项要求。自动驾驶需要摄像头和 LiDAR 在几何上保持一致；机器人需要动作与接触后的变化可信。视觉上不明显的偏差，也可能影响策略选择。

原文自己承认，仍需测量模型在哪些情况下能可靠支持策略学习和评估。它没有提供策略收益、长期误差、传感器一致性或运行成本的对照数据。因此，这是一套可尝试的开放模型与工程路径，还不是效果已经得到充分验证的替代方案。

与传统仿真渲染相比，生成模型提供了扩展外观的另一条路，也增加了验证生成结果的工作。与离线合成数据相比，流式生成允许控制持续介入，同时要求团队处理历史缓存、控制更新和错误累积。

对多数前端和全栈开发者，它的直接用途集中在仿真平台、交互客户端和数据工具，而非日常页面开发。真正决定接入成本的，往往是传感器适配、动作规范和评估数据是否已经准备好。

能拿来做什么

• 如果你在做机器人仿真平台，可以按「动作、状态更新、控制生成、观察返回」组织接口，明确哪一步由仿真器负责，哪一步由模型负责，避免把画面生成接口当成完整环境接口。
• 如果你负责驾驶数据工具，可以先用 Transfer-Auto 验证自有摄像头布局、LiDAR 配置与场景控制的适配效果，确认离线数据可用后，再投入 Sim-Auto 的因果训练和蒸馏。
• 如果你用 AI 编程助手搭建训练流程，可以提供原文配套 skill 和数据集位置，让它先检查环境、验证一个样本，并测试短程训练与重启。短跑成功只能验证流程执行，质量仍要用留出的完整交互片段评估。
• 如果你开发双臂机器人客户端，应把坐标系、旋转、夹爪标定、有效性掩码和时间对齐写入输入校验，尤其检查 T 次转换与 T+1 个观察的对应关系。