文心5.5Flash Base开源：2800亿MoE，多项基准超DeepSeek-V4

11月5日，百度开源了全新基座模型文心5.5Flash Base。该模型在知识、推理、数学、代码、多语言和长上下文等多项基准测试中刷新同尺寸SOTA表现，成绩超过DeepSeek-V4-Flash-Base、Hy3-preview-Base等同类模型。

文心5.5Flash Base采用MoE架构，总参数量2800亿，激活参数140亿。预训练用了33.5万亿Token，预训练上下文长度最高128K；到了微调与推理阶段，支持的上下文长度最长可达100万Token。

效率是这款模型的主线，系统层做了不少算法创新。注意力机制上，它引入Latent-Gated Sparse Attention，把HCA与MLA组合起来压缩历史信息，并对历史位置做细粒度访问；低秩门控注意力让门控投影权重参数减少75%，虚拟头注意力则用来提升表达力。

专家路由方面，模型采用Multi-Router Latent MoE，用多个独立路由器改善专家选择的效用。训练目标上引入ECHO，复用主干最后一层来学习预测后续Token，省掉了额外的MTP模块。大模型基建上，团队优化了分布式Muon优化器，还推出FlashMask-4注意力算子，让大规模训练的通信与显存利用效率进一步提高。

眼下大模型的竞争，正朝着模型能力、训练效率与场景创新协同演进。文心5.5Flash Base开源后，专业模型的开发门槛降低了，开发者也多了一个构建定制化专业模型的高效技术底座。