百度开源文心5.5 Flash Base：2800亿参数MoE，多基准刷新同尺寸SOTA

11月5日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）正式开源。该模型走MoE路线，总参数2800亿，每个Token激活140亿参数，预训练用了33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段最长可支持100万Token上下文。知识、推理、数学、代码、多语言、长上下文等多项基准测试里，它都拿到同尺寸模型的SOTA，成绩压过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。

开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

大模型的应用场景正从文本问答扩展到长文档分析、多轮交互和智能体任务，要处理的信息量一路上涨，算力和显存开销也跟着增加。怎么在保住模型能力的同时把资源利用效率提上去，已经成了大模型研发绕不开的课题。

文心5.5 Flash Base的设计主线就是“效率”，注意力机制、专家路由、训练机制这几个关键环节都做了系统性优化，算法层面的创新也有多项。

注意力机制方面，文心提出Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力揉在一起。具体做法是组合HCA与MLA，让不同注意力层分别管压缩历史信息和细粒度访问历史位置；低秩门控注意力（Low-Rank Gated Attention）拿已有的低维表示来算信息门控，门控投影权重参数因此减少75%；虚拟头注意力（Virtual Head Attention，VHA）则用来提升模型表达力与训练质量，推理时融进注意力算子，开销很小。这套设计压低了长上下文处理的资源开销，模型对关键信息的处理能力也保留了下来。

专家路由上，模型用的是Multi-Router Latent MoE，多个独立路由器一起参与专家选择，让路由评分和专家实际效用之间的相关性更好。传统方案只靠单一路由器，这个设计就是想减少单一评分偏差对专家选择的影响，同时激活专家数量、专家计算量和通信量都不变。训练目标上，模型引入ECHO，不需要额外加MTP模块（Multi-Token Prediction），而是复用主干最后一层，让主干自己学着预测后续token，提前规划序列走向，推理与代码能力因此得到提升。文心5.5 Flash只做单步ECHO预训练，复用的最后一层还能当投机解码的草稿模型，多步外推能力也拿得出来：同样只训练一步，多步起草质量明显好于辅助MTP模块。

模型架构之外，大模型基建的创新同样关键。文心优化了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，大规模训练中的通信、显存利用与计算效率都有改善。模型能力能不能上去，不光看算法本身，也要看训练系统撑不撑得住这些设计。

基座模型既承载预训练阶段形成的通用能力，也是下游模型开发与应用创新的底子。它和面向终端用户的应用模型不一样，Base模型留给开发者和企业继续微调、定制的空间，可以按自身业务需求搭出适配不同场景的专业模型与应用。把基座模型开放出来，开发者多了技术选择，专业模型开发的训练成本与技术门槛也能降下来。

眼下大模型的竞争，正走到模型能力、训练效率与场景创新协同发展的新阶段。推理、Agent等技术与应用加速演进，行业对基座模型的需求也不再只是单一的能力提升，更高效的训练范式、更灵活的能力拓展、更广泛的场景适配都成了要求。文心5.5 Flash Base在提升基础能力与训练推理效率的同时，也给开发者和社区提供了更具拓展性的技术基础，模型技术由此走向多样化的能力探索与应用创新。