百度开源文心5.5 Flash Base：2800亿参数MoE，多基准刷新同尺寸SOTA
sina qqZone renren ydCloud 0
11月5日，百度宣布开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。这是一款MoE架构模型，总参数2800亿，每个Token激活140亿参数，预训练用了33.5万亿个Token，预训练上下文长度最高128K，微调与推理阶段则支持最长100万Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试里，该模型取得同尺寸模型SOTA表现，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。
开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
大模型应用正从文本问答走向长文档分析、多轮交互和智能体任务，需要处理的信息量不断变大，计算和显存开销也跟着涨。怎样在保住模型能力的同时把资源利用效率提上去，已经成了大模型研发的一道重要课题。
文心5.5 Flash Base的设计主线就是“效率”，围绕注意力机制、专家路由及训练目标等关键环节做了系统性优化，落地了多项算法创新。
注意力机制方面，文心提出Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力三者结合起来。模型将HCA与MLA组合，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力（Low-Rank Gated Attention）则改为用注意力层本来就会生成的低秩query latent来计算输出门，门控投影参数量少了75%，模型效果也有提升。虚拟头注意力（Virtual Head Attention，VHA）能提升模型表达力与训练质量，推理时融合进注意力算子，开销极小。这些设计压低了长上下文处理的资源开销，模型对关键信息的处理能力也保留了下来。
专家路由上，模型采用Multi-Router Latent MoE，多个独立路由器一起参与专家选择，改善路由评分与专家实际效用之间的相关性。传统方案只靠单一路由器，这一设计则要降低单一评分偏差对专家选择的影响，激活专家数量、专家计算量和通信量都保持不变。训练目标上，模型引入ECHO，不额外增加MTP（Multi-Token Prediction）模块，而是复用主干最后一层，让主干自己学习预测后续Token，提前规划序列走向，推理与代码能力因此得到有效提升。文心5.5 Flash只采用单步ECHO预训练，复用的最后一层还能当投机解码的草稿模型用，表现出多步外推能力：同样只训练一步，多步起草质量大幅优于辅助MTP模块。
模型架构之外，大模型基建创新同样关键。文心改进了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。说到底，模型能力的提升不光靠算法本身，也要看训练系统能不能高效支撑这些设计。
基座模型既承载预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。它和面向终端用户的应用模型不同，Base模型给开发者和企业留出了进一步微调与定制的空间，可以按自身业务需求搭建适应不同场景的专业模型与应用。开放基座模型能让开发者多一些技术选择，专业模型开发的训练成本与技术门槛也会降低。
大模型这轮竞争，眼下正把模型能力、训练效率和场景创新拧到一起往前走。推理、Agent 这些技术和应用跑得快，行业要的基座模型也变了：不再只看单项能力涨多少，更看重训练范式够不够高效、能力拓展够不够灵活、场景适配够不够广。文心5.5 Flash Base 一边把基础能力和训练推理效率往上提，一边给开发者、社区留下更能往外扩的技术底子，模型技术因此有机会往更多样的能力方向去试、去落地。
