百度开放文心5.5 Flash基座模型

量子位#百度#文心#开源

Editor brief · 编辑速览

百度宣布开源文心5.5 Flash Base，并称其在多项基准中达到同尺寸领先水平。摘录未给出模型规模、许可证、评测数据或部署要求。

文章思维导图

Knowledge map

拖拽缩放

AI deep read

AI 深度解读

百度在11月5日开源了文心5.5 Flash Base（ERNIE 5.5 Flash Base），主打通用能力与训练、推理效率。它采用 MoE 架构，总参数量2800亿，每个 Token 激活140亿参数，预训练使用了33.5万亿个 Token。

对程序员来说，值得看的是它怎样压缩长上下文开销、改进专家选择，以及复用已有网络层。但原文由百度提供，没有列出基准分数和部署实测，技术设计可以研究，性能结论还需要验证。

MoE，即混合专家架构，可以理解为每处理一个 Token，只调用部分专家参与计算。文心5.5 Flash Base 的总参数量与激活参数量差距很大，说明它把模型容量与单次计算量分开考虑。

激活140亿参数，不等于只需部署一个140亿参数模型。

总参数仍然关系到权重存储和部署资源。原文没有提供显存需求、量化方案、硬件配置或吞吐数据，因此不能根据「Flash」和激活参数量判断普通团队能否低成本运行。

上下文长度也要分阶段看：预训练上下文最高为128K，微调与推理阶段支持最长100万 Token。后者是支持上限，不能直接推导出百万 Token 输入下的准确率、延迟和成本。

原文称，模型在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸模型 SOTA，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base。但没有给出具体基准名称、分数和测试设置，「同尺寸」按什么口径比较也没说清。

注意力机制采用 Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力和虚拟头注意力组合起来。

其中，HCA 与 MLA 配合，让不同层分别负责压缩历史信息和细粒度访问历史位置。大白话解释，就是既保留压缩后的历史表示，也保留访问具体历史位置的能力，减少长输入带来的资源压力。

Low-Rank Gated Attention 利用已有低维表示计算信息门控，使门控投影权重参数减少75%。这里减少的是一个局部模块的参数，不能读成模型总参数或推理成本减少75%。

Virtual Head Attention（VHA）用于提升表达力与训练质量，推理时融合进注意力算子。原文称其开销极小，但没有列出测量结果。

专家选择采用 Multi-Router Latent MoE：多个独立路由器共同选专家，目标是减少单一路由评分的偏差。按照作者描述，激活专家数量、专家计算量和通信量保持不变。它优化的是「挑谁来算」，而不是继续减少参与计算的专家。

ECHO 的做法是不额外增加 MTP（Multi-Token Prediction）模块，而是复用主干最后一层，让主干学习预测后续 Token。作者希望模型在生成当前内容时，也学习后续序列的走向，以改善推理和代码能力。

文心5.5 Flash 只采用单步 ECHO 预训练，复用的最后一层还可以充当投机解码的草稿模型。投机解码可以理解为先起草候选内容，再由主模型验证，最终能否提速取决于草稿质量与验证成本。

原文称，同样只训练一步，ECHO 的多步起草质量大幅优于辅助 MTP 模块。不过，它没有给出接受率、实际加速比或代码任务的具体增益，不能把起草质量提升直接当成服务提速。

训练系统也做了配套调整：优化分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，用于改善通信、显存利用和计算效率。架构设计能否兑现收益，还依赖底层实现。

这篇材料有价值的地方，是把效率问题拆到了注意力、路由、训练目标和底层算子。尤其是复用已有表示与网络层，给出了比单纯扩大模型更具体的优化方向。

但它是一篇厂商供稿，没有独立实测，也没有充分的对照数据。SOTA、推理与代码能力提升、多步起草质量更好，都应视为作者报告的结果，暂时不能替它们背书。

此外，Base 模型面向后续微调和定制，与可直接用于聊天、工具调用的应用模型有区别。相比接入现成应用模型，它给团队更多开发空间，也增加了适配与评测工作。原文没有交代许可证条款、微调成本和部署资源，是否适合业务仍需单独判断。