摩尔线程开放超大规模 MoE 训练框架

摩尔线程在 10 月 28 日宣布开源 Megatron-MUSA-Titan，面向 MUSA 平台，瞄准万卡级集群上的万亿参数 MoE 模型训练，同时覆盖预训练与强化学习。它要解决的是超大规模训练中的硬件适配、计算效率和通信调度问题。

这则消息的看点，是项目已经用于其万卡级集群的持续训练。不过，「高算力利用率」「长稳训练」目前只有介绍性表述，没有具体指标。理解它的技术路线，比直接接受性能结论更有价值。

万卡训练为什么既要优化计算，也要优化通信

MoE 是混合专家模型。可以把它理解为：模型里有多组负责处理输入的专家网络，每个 Token 被路由到相应专家计算，再把结果汇合。当专家分布在不同 GPU 上时，训练就需要不断搬运数据。GPU 算得快，数据送不到位，整体仍然会慢。

Megatron-MUSA-Titan 的优化集中在两个方向。

计算侧支持 blockwise FP8 训练，把摩尔线程全功能 GPU 的低精度计算能力接入训练流程。FP8 使用更低精度的数值表示；blockwise 指按数据块处理。原文没有展开具体的分块和数值处理策略，也没有提供精度对比，因此不能据此判断它对模型收敛的影响。

通信侧可以结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 Token 分发和结果合并，并实现专家并行（EP）与计算的通算重叠。通算重叠，就是尽量让数据交换和计算同时进行，减少相互等待。

这条路线关注的是端到端训练效率，单独提高 GPU 的计算速度只是其中一环。

原文还提到高 MFU，即模型算力利用率。它用来衡量模型训练对硬件计算能力的利用程度，但报道没有给出 MFU 数值、测量口径或对照结果。

预训练与强化学习怎样接起来

项目覆盖预训练与强化学习两大场景，但这不等于所有环节都由 Megatron-MUSA-Titan 独立完成。

按照原文描述，它支持与 slime、miles 强化学习框架协同，结合 Megatron 负责训练、SGLang 负责样本生成，构建贯通两个阶段的训练基础。这里的样本生成，可以理解为让模型产出后续训练需要的数据；生成和训练承担不同任务，需要框架之间配合。

这对已有训练体系的团队有参考价值：评估基础设施时，除了看能否启动训练，还要看它能否接入现有的样本生成与强化学习流程。

不过，报道没有交代这些框架的版本、接口、配置方式和兼容范围。「支持协同」说明了集成方向，距离判断实际接入成本还缺少信息。

我的判断

我认可它同时处理低精度计算和 MoE 通信的思路。大规模训练有多个环节，仅优化某个算子，未必能让整个训练任务更快完成。

但性能与稳定性结论需要保留边界。原文称，项目已经在摩尔线程万卡级集群的万亿参数 MoE 预训练中持续应用，并经过长时间训练实践检验。这属于厂商披露的应用情况，报道没有附上训练时长、故障记录、吞吐数据或可复现结果。

「已经用于大规模训练」是有价值的信号，还不足以证明它适合一般团队。

项目明确面向 MUSA 平台，硬件环境是重要前提。相比继续使用团队已经验证过的训练方案，切换是否划算，还要核算适配成本、运维能力和实际收益。原文没有对照数据，目前能确认的是技术方向与厂商声明，性能优势仍待验证。

能拿来做什么

• 如果团队正在评估 MUSA 平台，可以把 Megatron-MUSA-Titan 列入技术调研，重点确认硬件支持范围、部署要求，以及 slime、miles、SGLang 的兼容版本。
• 如果正在排查 MoE 训练效率，可以沿着计算、Token 分发、结果合并三个环节定位等待，再判断 FP8 或通信重叠是否对应实际瓶颈。
• 如果要做选型验证，应在相同模型和训练配置下，比较吞吐、MFU、收敛情况与连续运行表现，补齐报道没有提供的证据。