文心5.5 Flash Base开源：2800亿参数MoE，多基准同尺寸SOTA

11月5日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）正式开源。该模型走MoE路线，总参数量2800亿，每个Token激活140亿参数，预训练用了33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段最长可支持100万Token上下文。知识、推理、数学、代码、多语言、长上下文等多个基准测试里，它都拿到同尺寸模型的SOTA，成绩超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。

开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

大模型的应用场景正从文本问答扩到长文档分析、多轮交互和智能体任务，要处理的信息量一路上涨，计算和显存开销也跟着走高。怎么在保住模型能力的同时把资源用得更省，已经成了大模型研发的一道重要课题。

文心5.5 Flash Base的设计主线就是“效率”，注意力机制、专家路由、训练机制这几个关键环节都做了系统性优化，还落地了多项算法创新。

注意力机制方面，文心提出Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力三者结合。模型将HCA与MLA组合起来，让不同的注意力层分工：有的负责压缩历史信息，有的负责细粒度访问历史位置。低秩门控注意力（Low-Rank Gated Attention）借助已有的低维表示来算信息门控，门控投影权重参数因此减少75%。虚拟头注意力（Virtual Head Attention，VHA）则用来提升模型表达力与训练质量，推理时它被融合进注意力算子，开销极小。这几项设计压低了长上下文处理的资源开销，模型对关键信息的处理能力也保留了下来。

专家路由上，模型采用Multi-Router Latent MoE，由多个独立路由器一起参与专家选择，让路由评分与专家实际效用之间的相关性更好。传统方案只靠单一路由器，这一设计要做的就是把单一评分偏差对专家选择的影响降下来，同时激活专家数量、专家计算量和通信量都保持不变。

训练目标上，模型引入ECHO，不需要额外加MTP模块（Multi-Token Prediction），而是复用主干最后一层，让主干自己学习预测后续token，提前规划序列走向，推理与代码能力因此得到有效提升。文心5.5 Flash只做单步ECHO预训练，复用的最后一层还能当投机解码的草稿模型用，多步外推能力也显现出来：同样只训练一步，多步起草质量大幅优于辅助MTP模块。

模型架构之外，大模型基建的创新同样关键。文心优化了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，大规模训练中的通信、显存利用与计算效率均有改善。模型能力往上走，不光靠算法本身，也取决于训练系统能不能高效撑住这些设计。

基座模型既承载预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。它和面向终端用户的应用模型不同，Base模型给开发者和企业留出了进一步微调与定制的空间，可依自身业务需求搭建适配不同场景的专业模型与应用。开放基座模型能让开发者多一些技术选择，专业模型开发的训练成本与技术门槛也会降低。眼下，大模型竞争正逐渐走向模型能力、训练效率与场景创新协同发展的新阶段。推理、Agent等技术与应用加速演进，行业对基座模型的需求也从单一的能力提升，转向更高效的训练范式、更灵活的能力拓展以及更广泛的场景适配。文心5.5 Flash Base在提升基础能力与训练推理效率的同时，也给开发者和社区提供了更具拓展性的技术基础，推动模型技术走向多样化的能力探索与应用创新。