文心5.5 Flash Base开源：2800亿参数MoE，多项基准刷新同尺寸SOTA

11月5日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）正式开源。该模型走MoE路线，总参数2800亿，每个Token激活140亿参数，预训练用了33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段可支持最长100万Token上下文。知识、推理、数学、代码、多语言、长上下文等多个基准测试中，它都拿到同尺寸模型SOTA，成绩压过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。

开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

大模型的应用范围正从文本问答扩展到长文档分析、多轮交互和智能体任务，要处理的信息量不断变大，计算和显存开销也跟着涨。怎么在保住模型能力的同时把资源利用效率提上去，已经成了大模型研发的一道重要课题。

文心5.5 Flash Base的设计主线就是“效率”，注意力机制、专家路由、训练机制这些关键环节都做了系统性优化，算法层面也有多项创新。

注意力机制方面，文心抛出Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力三者结合。具体做法是：组合HCA与MLA，让不同注意力层分工，分别负责压缩历史信息和细粒度访问历史位置；低秩门控注意力（Low-Rank Gated Attention）拿已有的低维表示来算信息门控，门控投影权重参数因此减少75%；虚拟头注意力（Virtual Head Attention，VHA）则用来提升模型表达力与训练质量，推理时会融进注意力算子，开销很小。这套设计压低了长上下文处理的资源开销，模型对关键信息的处理能力也保留了下来。

专家路由上，模型用的是Multi-Router Latent MoE，多个独立路由器一起参与专家选择，让路由评分和专家实际效用之间的相关性更好。传统方案只靠单一路由器，这个设计要做的就是削弱单一评分偏差对专家选择的影响，激活专家数量、专家计算量和通信量都保持不变。训练目标上，模型引入ECHO，不额外加MTP模块（Multi-Token Prediction），而是复用主干最后一层，让主干自己学着预测后续token，提前规划序列走向，推理与代码能力因此得到有效提升。文心5.5 Flash只做单步ECHO预训练，复用的最后一层还能当投机解码的草稿模型用，多步外推能力也露了出来：同样只训练一步，多步起草质量大幅优于辅助MTP模块。

模型架构之外，大模型基建的创新同样关键。文心优化了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，大规模训练中的通信、显存利用与计算效率都有改善。模型能力要往上走，不光靠算法本身，也得看训练系统能不能高效撑住这些设计。

基座模型承载着预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。它和面向终端用户的应用模型不一样，Base模型给开发者和企业留出了进一步微调与定制的空间，可以照着自身业务需求搭出适配不同场景的专业模型与应用。把基座模型开放出来，开发者多了技术选择，专业模型开发的训练成本与技术门槛也能降下来。

眼下，大模型的竞争正走向模型能力、训练效率与场景创新协同发展的新阶段。推理、Agent等技术与应用加速演进，行业对基座模型的需求也不再只是单一的能力提升，更高效的训练范式、更灵活的能力拓展、更广泛的场景适配都成了要求。文心5.5 Flash Base一边提升模型基础能力与训练推理效率，一边给开发者和社区打下更具拓展性的技术底子，模型技术由此走向多样化的能力探索与应用创新。