PAN 2 开源：用视频模拟行动结果
MBZUAI 基础模型研究所发布 PAN 2，将大语言模型规划器与 290 亿参数扩散 Transformer 结合，最多生成 20 秒行动结果视频。模型采用 Apache 2.0 许可证，面向物理 AI 场景。
AI 深度解读
PAN 2 想让智能体在行动前先看一遍后果：给它场景和文字动作，它生成一段视频，模拟接下来会发生什么。按原文，MBZUAI 的基础模型研究所 IFM 于 2026 年 11 月 10 日发布了这个面向物理智能的开放世界模型，权重、训练与推理代码均采用 Apache 2.0。
它最吸引人的地方是多步计划模拟，但也最容易在这里被高估：完整计划完成率在作者测试中领先，仍只有 34.0%。理解它的价值，要把「能生成合理画面」和「能可靠验证行动」分开看。
为什么要先让 LLM 写剧本，再生成视频
PAN 2 接替了 2025 年 11 月发布的 PAN，沿用 IFM 在 Critique of World Models 中提出的生成式潜在预测架构（GLP）。目标是模拟推理：智能体提出多个计划，模型分别模拟，再由智能体选择行动。
它把工作分成两层。
第一层是概念推理。LLM 读取观察和动作要求，把下一阶段的世界状态写成结构化 JSON，包括事件、绑定到具体角色的定时动作，以及镜头运动。报告默认使用 Kimi K3，也允许其他能遵循指令的 LLM 承担这个角色。
第二层是感知推理。一个从零训练的 29B 参数稠密多模态扩散 Transformer（MMDiT）预测视频潜变量，冻结的 Qwen3.5-9B 文本编码器提供条件，Wan 2.2 VAE 解码器生成最终画面。潜变量可以理解为压缩后的画面表示，模型先预测它，再还原视频。
这种拆分有消融实验支撑：移除概念推理后，完整计划完成率从 34.0% 降至 0.0%，步骤完成率从 75.1% 降至 8.7%。
但另一个数字也很关键：只做格式改写，完整计划完成率就能恢复到 27.8%。因此，不能把全部收益都归给复杂推理；把含糊指令整理成模型容易执行的描述，已经贡献了相当一部分效果。
训练数据也有取舍。IFM 在早期训练后移除了游戏、动画和模拟视频；一个不使用这些内容训练的 9B 测试模型，获得了 58% 的盲评选票。这支持他们的数据选择，却不足以证明所有合成数据都不适合世界模型。
完整计划第一，为什么还不能放心执行
IFM 自建测试覆盖 6 项能力，包括 300 个单动作案例和 100 个多步任务。以下成绩均为 IFM 自报：
| 指标 | PAN 2 | 对照结果 |
|---|---|---|
| 完整计划完成率 | 34.00% | MiniMax-H3 为 32.50%，FLUX 3 为 26.77%，Seedance 2.5 为 24.49% |
| 步骤完成率 | 75.10% | MiniMax-H3 为 75.12% |
| 6 项能力综合成绩 | 84.48% | MiniMax-H3 为 87.20%，且全部类别领先 |
| Physics-IQ Verified 榜单设置 | 49.38 | 开放模型第一，闭源 FLUX 3 为 51.11 |
| RBench | 57.04 | MiniMax-H3 为 56.16，Cosmos 3 Super 为 50.64 |
| 人类偏好 Elo | 1595 | 搭配 GPT-6 Astra 推理器，低于 MiniMax-H3 的 1620 |
单步大多完成，不等于整条计划可靠。
完整计划要求多个动作连续成功，漏掉一步就会失败。34.0% 的成绩也表示，约三分之二的计划至少漏掉一步。它适合研究候选计划筛选，距离直接承担可靠的执行验证还有差距。
测试配置也不能混着看。Physics-IQ 的系统默认成绩是 PAN 2 的 37.48 对 MiniMax-H3 的 42.91；榜单设置下则分别为 49.38 和 39.79。判断模型表现，必须连同推理配置一起看。
原文还提醒，博客与模型卡给出的 Cosmos 3 Super、LTX-2.5 计划分数不同，却没有解释原因。比较表采用的模型卡成绩分别是 13.83% 和 13.00%，不能当成已经消除口径差异的结论。
开源很彻底，运行成本却还不透明
PAN 2 支持文生视频和图生视频，输入是文本及可选首帧，最大输出为 704×1248、24 fps、20 秒，不包含音频。运行入口包括 Hugging Face Diffusers、vLLM、FastVideo 和仓库中的 generate.py。
默认采样参数为 50 steps、flow shift 9、guidance 2.5；默认片段是 241 帧，约 10 秒。
硬件门槛需要单独评估。每个 GPU worker 都会用 BF16 加载完整的 29B 模型，显存不足时有 block offloading 作为后备。原文没有公布显存需求和生成耗时，因此目前无法据此估算吞吐、延迟或调用成本。
提示词最好写成结构化描述，硬上限是 1,536 tokens。IFM 提供了面向 Claude Code 和 Codex 的 Conceptual Reasoner skill，用于把自由文本改写成这种描述。
另一个部署组件是独立的 pan2-guardrail。IFM 强烈建议使用：在其有害文生视频请求测试中，不安全输出比例从 33.9% 降至 1.5%，同时拦截了 11.5% 的正常请求。接入产品时，误拦截也会进入用户体验成本。
我的判断
我更看重它的开放程度和可拆解架构。Apache 2.0 同时覆盖权重、训练与推理代码，让团队有机会复现实验、替换规划器、检查数据处理，而不只是调用一个视频接口。
「先整理动作，再生成结果」也有实测依据。不过，格式改写已经达到 27.8%，说明更昂贵的推理器是否划算，仍应通过对照实验决定。
对排行榜则应保留判断。34.00% 与 32.50% 的差距不大，原文没有给出置信区间或独立复现；人类偏好与单动作测试又由 MiniMax-H3 领先。现有证据支持 PAN 2 在这套多步测试中表现较好，不能扩展成全面胜出。
此外，原文没有展示真实机器人闭环执行成绩，也没说明如何自动判断哪段模拟最好。视频看起来合理，与物理后果足够准确之间，还缺验证环节。
能拿来做什么
- 做机器人或物理智能体原型时，可以把 PAN 2 放在候选计划预演环节，同时记录完整计划成功率和逐步成功率，避免被局部成功掩盖整条任务失败。
- 编排这类模型调用时，可以先把动作整理成包含角色、时间和事件的结构化描述，再对比纯格式改写与 LLM 推理的收益，并遵守 1,536 tokens 上限。
- 准备接入 Node 服务或制作演示界面前，应先在目标 GPU 上测量显存、生成耗时和并发能力；当前公开信息还不足以确定服务预算。
- 开放文生视频输入时，可以评估
pan2-guardrail，同时用自己的正常请求集测量误拦截率，明确失败提示与重试流程。