文心5.5 Flash Base开源：2800亿参数MoE，主打效率与性价比

11月5日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）正式开源。它走的是MoE路线，总参数2800亿，单个Token激活140亿参数，预训练用了33.5万亿Token，预训练上下文最高128K，到了微调和推理阶段，最长能撑到100万Token上下文。

按照百度的说法，这款模型在知识、推理、数学、代码、多语言以及长上下文等多项基准测试里，都拿到了同尺寸模型的SOTA。围绕“效率”两个字，团队做了几处系统性调整：注意力机制上提出Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来，压掉长上下文处理的开销；专家路由上换成Multi-Router Latent MoE，让多个独立路由器一起参与专家选择；训练目标则引入ECHO，复用主干最后一层去学习预测后续Token，推理和代码能力因此提升，也不用额外加MTP模块。

训练侧还有两处改动：分布式Muon优化器做了改进，同时推出面向大head dim的注意力算子FlashMask-4，目的是把大规模训练中的通信和显存利用效率提上去。作为Base模型，文心5.5 Flash Base给开发者留了微调和定制的余地，可以按业务需求搭专业模型。目前模型已在Hugging Face开源。