文心5.5 Flash Base开源：2800亿参数MoE，多基准同尺寸SOTA

11月5日，百度宣布开源其最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。这是一款MoE架构的模型，总参数2800亿，每个Token激活140亿参数，预训练用了33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段可支持最长100万Token上下文。在知识、推理、数学、代码、多语言、长上下文等多项基准测试中，该模型拿到同尺寸模型的SOTA成绩，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。

开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

大模型的应用场景正在从文本问答扩展到长文档分析、多轮交互和智能体任务，要处理的信息量越来越大，算力和显存开销也跟着涨。怎么在保住模型能力的同时把资源利用效率提上去，已经成了大模型研发的一道重要课题。

围绕“效率”这条设计主线，文心5.5 Flash Base在注意力机制、专家路由、训练机制等关键环节做了系统性优化，还落地了多项算法创新。

注意力机制方面，文心提出了Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力和虚拟头注意力三者结合起来。具体来看，模型组合HCA与MLA，让不同的注意力层分别负责压缩历史信息和细粒度访问历史位置；低秩门控注意力（Low-Rank Gated Attention）借助已有的低维表示来计算信息门控，门控投影权重参数因此减少了75%；虚拟头注意力（Virtual Head Attention，VHA）能增强模型表达力和训练质量，推理时它被融合进注意力算子，开销很小。这套设计压低了长上下文处理的资源开销，模型对关键信息的处理能力也保留了下来。

专家路由方面，模型用的是Multi-Router Latent MoE，由多个独立路由器一起参与专家选择，让路由评分和专家实际效用之间的相关性更好。传统方案只靠一个路由器，这种设计则意在削弱单一评分偏差对专家选择的影响，激活专家数量、专家计算量和通信量都保持不变。训练目标上，模型引入了ECHO，不需要额外加MTP模块（Multi-Token Prediction），而是复用主干最后一层，让主干自己学预测后续token，提前规划序列走向，推理与代码能力因此得到有效提升。文心5.5 Flash只做单步ECHO预训练，被复用的最后一层还能当投机解码的草稿模型用，表现出多步外推能力：同样只训练一步，多步起草质量明显好于辅助MTP模块。

模型架构之外，大模型基建的创新同样关键。文心优化了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，让大规模训练中的通信、显存利用和计算效率都有改善。模型能力的提升不光靠算法本身，也取决于训练系统能不能高效支撑这些设计。

基座模型承载着预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。和面向终端用户的应用模型不同，Base模型给开发者和企业留出了进一步微调与定制的空间，可以按自身业务需求搭建适配不同场景的专业模型与应用。开放基座模型能让开发者多一些技术选择，专业模型开发的训练成本和技术门槛也会降下来。

眼下，大模型的竞争正逐步走向模型能力、训练效率与场景创新协同发展的新阶段。推理、Agent等技术与应用加速演进，行业对基座模型的需求也从单一的能力提升，转向更高效的训练范式、更灵活的能力拓展以及更广泛的场景适配。文心5.5 Flash Base在提升基础能力与训练推理效率的同时，也给开发者和社区提供了更具拓展性的技术基础，推动模型技术走向多样化的能力探索与应用创新。