百度开源2800亿参数文心5.5Flash Base，多项基准测试刷新同尺寸SOTA

11月5日，百度把全新基座模型文心5.5Flash Base正式开源。知识、推理、数学、代码、多语言、长上下文等多项基准测试里，这款模型都刷新了同尺寸模型的SOTA表现，成绩压过DeepSeek-V4-Flash-Base、Hy3-preview-Base等同类产品。模型采用MoE架构，总参数量2800亿，激活参数140亿，预训练用了33.5万亿Token，预训练上下文长度最高128K，微调与推理阶段则能支持最长100万Token的上下文。

效率是文心5.5Flash Base的一条主线，系统层为此做了多项算法创新。注意力机制方面，它引入Latent-Gated Sparse Attention，把HCA与MLA组合起来压缩历史信息，并对历史位置做细粒度访问；低秩门控注意力的使用让门控投影权重参数少了75%，虚拟头注意力则用来提升表达力。

专家路由走的是Multi-Router Latent MoE路线，靠多个独立路由器改善专家选择的效用。训练目标上，模型引入ECHO，复用主干最后一层去学习预测后续Token，额外MTP模块因此不再需要。大模型基建这块，团队优化了分布式Muon优化器，还推出FlashMask-4注意力算子，大规模训练的通信与显存利用效率得到进一步提升。

眼下大模型竞争正朝着模型能力、训练效率与场景创新协同演进。文心5.5Flash Base选择开源，既压低了专业模型的开发门槛，也给开发者搭建定制化专业模型提供了一个高效的技术底座。