苹果开放 HALO 人形机器人训练与部署代码

苹果披露的 HALO，把人形机器人控制拆成了任务编排、动作生成和动作跟踪三层。按论文披露的数据，它在 6 个未预先扫描或建图的真实环境中，完成了 360 次单项任务测试，平均成功率达到 91%。

但复杂任务的成绩没那么整齐：三种长序列组合平均成功率为 70%，最复杂的一种只有 50%。这项研究值得看的，是它怎样把模型决策接到机器人动作上，以及单项能力走向连续执行时，可靠性还差在哪儿。

三层模型怎样把任务变成动作

据 IT之家报道，苹果研究团队于当地时间 11 月 4 日，在 arXiv 提交预印本《Perceptive Humanoid Motion from Simulation》，披露 HALO，并公开数据生成、模型训练和部署代码，覆盖动作生成、动作跟踪、任务编排，以及仿真和真实机器人运行。

HALO 的三个层级各有分工：

• 最上层是 Orchestrator，基于视觉语言模型（VLM）编排任务，默认采用 Qwen3.6-35B-A3B，也可以通过 API 调用云端模型。
• 中间是 Motion Generator，动作生成层采用 Qwen3.5-2B，负责生成供后续跟踪的动作。
• 底层是 Tracker，通过强化学习、策略蒸馏等步骤训练，以每秒 50 次的频率运行。

可以把它理解为：上层安排任务，中间生成动作，底层持续跟踪动作。面向语言和视觉的任务处理，与需要高频执行的运动控制，拥有不同的运行节奏。

硬件部署也沿用了这套分工。团队使用宇树科技 G1 人形机器人，背部加装专用 3D 打印保护外壳，里面放置搭载 M4 Pro、配备 64GB 统一内存的 Mac mini。计算开销较大的 Orchestrator 和 Motion Generator（DiT）在 Mac mini 上实时推理，Tracker 则由 G1 自带的板载芯片高频运行。

不过，原文没有交代各层延迟、通信开销，以及本地模型和云端 API 的效果差异，不能据此认定两种部署方式表现相同。

91% 成功率，究竟覆盖了什么

91% 对应单项任务，不能直接当成长序列任务的可靠性。

论文披露的单项测试覆盖 6 个未预先扫描或建图的真实环境，共执行 360 次，平均成功率为 91%。未提前建图，说明系统在这些测试中无需依赖预先制作的环境地图；但这不等于它已经适应任意陌生场景。

长序列复合任务的测试范围更小：只在一个真实场景中，对 3 种组合各测试 10 次，平均成功率为 70%。其中最复杂的「俯身通过障碍 → 走向目标 → 推箱子」，10 次成功 5 次，成功率为 50%。

这组结果揭示了一个实际门槛：能完成一个动作，与能连续完成一串动作，是两种难度。连续执行还要求前一步留下的姿态、位置和环境状态，能够支持下一步。

不过，原文没有给出失败原因分布，无法判断问题主要来自任务编排、动作生成，还是底层跟踪。也不能直接用几个单项成功率相乘，替代真实的复合任务测试。

仿真训练省了什么，又留下了什么

HALO 的训练依赖大规模计算。团队使用 250 张 NVIDIA H100 GPU，耗时约 48 小时合成主要训练数据；动作生成器通过模仿学习训练，使用 64 张 B200；动作跟踪器通过强化学习、策略蒸馏等步骤训练，使用 4 张 H100。

这些数字属于不同阶段。原文没有给出完整训练时长和总费用，不能把「48 小时」理解为整个系统的训练周期。

仿真数据也没有消除人工设计。新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。因此，这套流程展示了如何生成并利用训练数据，尚不能理解为输入任意任务后就能自动学会。

感知也是明确的短板。目前机器人主要依赖视觉，难以直接感知接触情况。物体离开相机视野或被遮挡时，接触较多的任务表现会下降。团队提出后续加入触觉感知，但原文没有提供加入触觉后的实验结果。

我的判断

我更看重 HALO 对任务编排、动作生成和高频控制的拆分。这种分工让不同模块承担不同节奏的工作，也为观察问题发生在哪一层提供了结构基础。

但「三层一定优于端到端控制」「仿真训练更省成本」，目前都不能从这篇报道得到支持。原文没有提供这些路线的对照数据，也没有完整成本账。架构有解释力，不等于比较优势已经得到验证。

同样，Mac mini 能在机载端承担推理，是一个具体部署结果，不能延伸成普通设备足以训练这套系统。250 张 H100 合成数据、64 张 B200 训练动作生成器，对一般团队仍是很高的资源门槛。

这项工作的价值在于给出了可研究的系统和公开代码。距离稳定处理长序列、遮挡和复杂接触任务，披露的数据仍留有明显问号。

能拿来做什么

• 做 AI 编程或自动化工作流时，可以借鉴它的分层思路，分别审视任务安排、步骤生成和实际执行，避免只看最终输出是否正确。
• 给多步骤 AI 工具做评估时，应分别记录单步成功率和完整流程成功率；HALO 的 91%、70% 与 50% 展示了三种不同测试口径，不能混用。
• 如果准备研究具身智能，可以从公开的任务编排、仿真运行和部署代码入手，同时先核对算力及硬件要求，区分代码阅读、推理部署与完整训练的投入。