文心开放 280B 稀疏模型预训练权重

百度这次开放的 ERNIE-5.5-Flash-Base，是完成预训练后的基座权重，还没有经过中训练与后训练。它有 280B 总参数，每个 token 激活 14B，主要面向领域适配、指令微调和强化学习研究。

对程序员来说，值得看的是三个问题：稀疏模型怎样控制计算量，代码训练数据为什么要包含软件开发过程，以及支持 1M tokens 上下文究竟能说明什么。至于能否直接拿来当编程助手，原文提供的证据还不够。

280B 总参数，为什么每次只激活 14B

ERNIE-5.5-Flash-Base 采用稀疏混合专家架构（MoE）。可以把它理解为：模型包含多组专家参数，处理一个 token 时，只调用其中一部分，因此总参数量和实际参与计算的参数量不同。

原文给出的数字是总参数 280B、每 token 激活 14B。这个设计有助于控制单次计算量，但不能据此把它当成一个普通的 14B 模型。权重存储、显存占用、专家调度与通信仍然需要考虑，原文没有给出部署配置、吞吐量或推理成本。

它在 33.5T tokens 上从零完成预训练，使用 Muon 优化器和 FP8 混合精度。此次开放的是预训练终点权重，提供 FP8 与 BF16 版本，并给出了 Megatron-Bridge 微调示例。

Base 权重更适合作为继续训练的起点，不能直接等同于已经调好的聊天或编程助手。

官方表示，经过后训练的 ERNIE 5.5 Flash 将随后推出，但原文没有给出具体时间。

代码数据为什么要放进 commit 和 CI 修复

这次披露的数据建设分成网页、代码和长文三个方向。其中，对开发者最有参考价值的是代码数据的组织方式。

他们不只收集仓库和网页上的代码，还做了非代码过滤、去重与质量分级，并加入 commit、issue、pull request、代码评审、自动生成的测试，以及经 CI 验证的修复。

这些材料补充了代码背后的任务和反馈：为什么修改、哪里出错、测试是否通过。相比单独的一段函数，它们更接近程序员处理真实需求的过程。不过，原文没有提供消融实验，无法判断每一类数据分别贡献了多少提升。

网页数据则强调多语言抓取、高保真文本抽取，以及模型驱动的多维质量过滤。长文数据除了天然长文档，还加入语义相近的检索干扰文本，以及合成的检索、基于引用的问答和多跳问答数据。

这里的训练目标不只是容纳更多文字，还包括在相似材料中找对证据，以及跨多个位置组合答案。

1M 上下文和「高效」，分别有什么依据

原文区分了两个长度：最长训练上下文为 128K，微调与推理支持 1M tokens。不能把两者合并成「全程使用 1M 上下文完成预训练」。

模型共 43 层，其中 37 层在经过 128 倍压缩的序列上做注意力，另有 6 层 MLA-DSA。官方称，这 6 层已足以支撑细粒度检索。它体现的是通过结构组合兼顾长序列处理与信息检索的思路，但原文没有展开压缩细节，也没有展示具体检索成绩。

训练系统同样做了配套优化。分布式 Muon 在数千卡规模下，将 Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，用于降低跨机时延和抖动。

注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），能够用于 HCA 层 512 维宽头计算。这些说明了系统适配做到了哪里，却不足以直接推算普通团队的部署收益。

评测方面，官方使用同一套框架，基于各自公开的 checkpoint，对比了 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。共 30 项 Benchmark，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力。统一框架有助于比较，但新闻没有附上具体分数，因此还不能据此判断它领先多少。

我的判断

我更看重这次开放了可继续训练的权重，以及围绕代码演化、执行验证和长文检索的数据建设方向。这些信息比一句「代码能力强」更有参考价值。

但「高效」需要分开判断。稀疏激活、压缩注意力和通信优化各有作用，原文却没有提供端到端的成本、延迟或吞吐对照；「各能力维度表现良好」也只是官方评测结论，不能替代具体成绩和业务验证。

对多数前端、Node 或全栈团队，如果目标只是接入一个能遵循指令的编程助手，已有后训练模型通常更贴近需求。选择这个 Base，前提是团队确实需要领域适配，并能承担训练、部署和评测工作。原文没有交代许可证细节，也不能仅凭开放权重就认定所有使用方式都已获许可。

能拿来做什么

• 如果团队准备训练内部代码模型，可以参考其数据组织方式，把 issue、代码评审、测试与验证通过的修复关联起来，同时记录来源和质量。
• 如果准备尝试领域微调，可以从 Megatron-Bridge 示例入手，先确认 FP8、BF16 权重与现有训练环境的兼容性，再评估资源需求。
• 如果需求是长文档问答，可以用真实资料测试检索准确率、引用依据和多跳回答能力；1M tokens 容量应当单独验证，不能当成回答质量保证。