280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA

智东西
作者 三北
编辑 漠影

智东西11月5日消息，百度今天正式发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。该模型走稀疏MoE路线，总参数280B，每个token只激活14B，在33.5T tokens上从零预训练，训练上下文最长128K，微调与推理阶段则可支持1M tokens上下文。

和同尺寸基座模型硬碰硬，它拿出的成绩单相当有竞争力。百度公布的评测结果显示，ERNIE-5.5-Flash-Base与DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等模型同场比拼，多个能力维度处于领先，拿下同尺寸SOTA，推理、代码、学科能力以及长上下文任务上的表现尤其受关注。

国产基座模型的较量，已经打到效率的深水区。规模相当的情况下，模型之间究竟靠什么拉开差距？

拆开文心5.5 Flash Base的技术细节看，效率这条线贯穿了模型架构、预训练数据和训练系统。从注意力机制到专家路由，再到未来token预测，文心主要做了三项“重工”改造，让激活计算和KV Cache（键值缓存）都发挥出更大价值。

目前模型权重已经开放，vLLM、SGLang等社区也提供了开源生态支持。

HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ vLLM 插件: https://github.com/baidu/vLLM-ERNIE SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash

一、同尺寸SOTA怎么来的，底子靠系统合力

先看基准测试。如前所述，ERNIE-5.5-Flash-Base拿下同尺寸SOTA，推理、代码和学科三项尤其突出。

成绩背后，是文心5.5 Flash Base预训练阶段拉满的“重工业”属性。

据官方信息，模型采用280B总参数的稀疏MoE架构，模型容量给得足；每个token激活14B参数，把单token计算成本压住；整体共43层Transformer，Hidden Size为4096，注意力头64个。这样的稀疏设计，让模型在计算预算相对可控的前提下，能装下更多专家知识和专业能力。

算法层面，文心5.5 Flash Base重点动了注意力机制。它把HCA（重度压缩注意力）和MLA（多头潜在注意力）拼成混合稀疏注意力，让不同层分工处理历史信息，压缩长上下文、压低KV Cache开销的同时，精准检索能力也保留下来。注意力层内部还引入了低秩门控注意力和VHA（虚拟头注意力），门控计算和不同注意力头之间的信息融合都得到进一步优化。

预训练用了Muon优化器和FP8混合精度，训练上下文逐步扩到128K。发布时给出的是预训练终点的Checkpoint，中训练和后训练都还没做，开发者可以从这个统一起点出发，继续做领域适配、指令微调、推理强化和Agent训练。

预训练在33.5T tokens上从零完成，语料覆盖的领域和语言都很广，其中网页、代码、长文数据被当作“三驾马车”重点打造。

网页数据方面，靠大规模多语言网页抓取、高保真文本抽取，加上模型驱动的多维质量过滤，做出知识覆盖更广、有效学习信号密度更高的网页语料。

代码数据方面，除了代码仓库和网页里的静态代码，文心还补进了commit、issue、pull request、代码评审、需求到PR、多commit轨迹、自动生成测试，以及经过CI验证的修复数据。

长文数据方面，文心同时用了三类：经过长程依赖筛选和质量清洗的天然长文档；把天然文本与语义相近的干扰文本拼接起来构造的长序列；以及合成的MRCR式检索、基于引用的问答和多跳问答数据。

三类数据分别强化知识覆盖、代码工程能力和长上下文理解。仓库级代码和长程依赖这两项尤其关键，这类能力往往要在预训练阶段就打牢基础，后面只靠补少量数据很难完全补回来。

模型架构之外，文心在Infra层面改进了分布式Muon优化器，还推出面向大head dim的注意力算子FlashMask-4，大规模训练中的通信、显存利用和计算效率都有改善。

同尺寸SOTA，是模型架构创新、数据与Infra优化一起作用的结果。底座越扎实，后续微调、强化学习和Agent训练能释放的空间就越大。

二、把“效率”写进预训练：三处硬改造，省缓存、稳专家、早规划

往同尺寸SOTA模型底下深挖，文心想用一套组合拳，把“效率”当成预训练的设计变量。

说白了，这套组合拳落在三个关键环节：模型怎么处理历史信息、怎么调用专家能力、怎么预测未来token。混合稀疏注意力决定模型如何访问历史，Multi-Router Latent MoE（多路由器隐空间混合专家）决定模型如何选择专家，ECHO（未来token预测机制）则让主干网络提前学习后续token的生成。

再加上MultiMax输出头、R2L分词器等其他模型改进，以及分布式Muon、FlashMask-4（高性能注意力计算组件）等训练基建，面向Agent时代的前沿模型底座才算撑起来。

Latent-Gated Sparse Attention：37层省缓存，6层保精准检索

到了AI Agent时代，上下文不断拉长，模型要处理和保存的历史信息越来越多，KV Cache和注意力计算的开销也跟着往上走。对需要多轮调用的Agent应用来说，这笔成本还会一层层累加。

文心5.5 Flash Base的做法，是把MLA（多头潜在注意力）和HCA（重度压缩注意力）组合成混合稀疏注意力，重新安排不同层访问历史信息的方式。

整个模型共43层。其中37层用重度压缩注意力HCA，剩下6层用多头潜在注意力MLA。HCA层会把每128个token压成一条缓存条目，注意力只在两类对象上计算：这些压缩条目，以及最近一小段未压缩token构成的窗口。如此一来，每个HCA层占用的KV Cache只是全上下文层的一小部分，但对整个序列的全局视野仍然保得住。

说白了，面对一段很长的历史对话，模型不必每一层都逐字记住全部内容。大多数层看看压缩后的“摘要”，就能把握全局。

不过压缩是有代价的。有些任务要精准定位历史里的具体信息，压得太狠可能丢细节。所以文心5.5 Flash Base留了6层MLA，让模型可以逐token访问远距离的历史信息。

这6层的计算开销怎么控？文心团队又引入了DSA（稀疏注意力）。一个轻量级Indexer（索引器）给每个Query（查询）的历史位置打分，核心注意力只在得分最高的Top-K（前K个）位置上算。模型于是能先筛出更值得关注的历史位置，再对这些位置做精细计算，核心注意力的开销不再随上下文长度线性增长。百度披露，上了DSA之后，这些层的预训练Loss（损失值）与稠密注意力持平，训练速度则明显提升。

KV Cache预算的分配方式也做了调整。此前有一种组合思路是HCA搭配CSA（压缩稀疏注意力），也就是在HCA之外再加大量压缩稀疏注意力层，先把历史压缩4倍，再从中挑一部分信息来计算。文心5.5 FlashBase改把这部分预算集中给少数保留全部token的MLA层。在KV Cache预算相当的预训练对比中，HCA搭配MLA优于HCA搭配CSA。长上下文评测显示，模型虽然只保留6层MLA-DSA，仍在6项长上下文Benchmark上取得了不错的效果。

注意力层之间的分工之外，文心团队还在注意力内部动了两处手术。

第一处是低秩门控注意力（Low-Rank Gated Attention）。传统门控注意力要依据当前层的隐状态来算输出门，文心5.5 Flash Base则直接用注意力层自己生成的低秩Query Latent（查询潜变量）来算门控。Query Latent的维度只有隐状态的四分之一，门控投影的权重参数量因此少了75%。消融实验还显示，这个设计同时带来了模型效果的提升。

第二处是虚拟头注意力（Virtual Head Attention，VHA）。它在注意力计算之后加了一层轻量级跨头低秩混合，并且通过增加带恒等跳连的轻量跨头低秩混合，加强不同注意力头之间的信息融合。推理时这部分计算能融进注意力算子，额外开销极小。

从HCA和MLA的分工，到DSA的稀疏检索，再到低秩门控和跨头融合，文心团队想做的，是让注意力机制在历史信息压缩、精准访问和计算效率之间找到一个更好的平衡点。

Multi-Router Latent MoE：多路由协同决策，提升专家选择稳健性

文心团队注意到，传统MoE的做法是靠一个路由器为专家打分，再用一次硬Top-K把专家挑出来。问题在于，这个分数和专家真正发挥的作用只存在弱相关，中深层尤为突出。没被选中的专家得不到该token的梯度，选错一次就难以纠正，错误还会反复自我放大。

为此，文心5.5 Flash Base引入了Multi-Router Latent MoE，让多个独立初始化的Sigmoid（逻辑函数）路由器一起为专家打分。这些路由器的偏好会明显分化：一个专家只要被某个路由器强烈看好，或者同时得到多个路由器认可，就有机会被选中。这相当于给专家选择加了多个独立的判断视角。单个路由器出现偏差时，其他路由器仍能提供补充信息，一次错误判断对最终路由结果的影响因此被压低。

这套机制在让路由更稳健的同时，专家计算成本并没有增加，这一点更为关键。技术Blog给出的说法是：激活专家数、专家FLOPs、通信量三项都与单路由器一致。路由打分与专家实际效用之间的相关性，比单路由器方案明显更强，其中提升幅度最大的正是原本相关性最弱的中深层。各层FFN（前馈神经网络）里，除第一层外都是MoE块：512个路由专家中选10个，另配1个共享专家，负载均衡则采用无辅助损失的bias修正方案。

专家计算本身也做了压缩。全宽专家的做法是直接在完整4096维上计算，文心5.5 Flash Base则先把token从4096维投影到2048维隐空间，让专家在这个隐空间里完成计算，再通过一次共享上投影映射回原空间。这么一改，专家FLOPs和Dispatch/Combine（分发与合并）通信量大约减半。

MoE模块还采用了Stable LatentMoE（稳定潜在混合专家）设计：通过上投影前的RMSNorm（均方根归一化）与SiTU-GLU（SiTU门控线性单元）专家激活，让专家输出在43层网络中保持合适的尺度，优化稳定性由此提升。每个路由专家的路由权重还会乘上该专家自己的可学习标量。

从多个路由器共同决策，到2048维隐空间计算，Multi-Router Latent MoE把专家选择的稳健性和专家计算成本这两个问题一并处理了。

ECHO：复用主干网络预测未来 token，提升多步起草质量

第三项创新ECHO，瞄准的是模型训练中的未来Token预测。

传统语言模型的训练目标，是预测下一个token。业界想让它多往后看几步，于是引入了多token预测（MTP）机制，做法一般是在主干网络之外挂一个专用模块，由它负责预测未来token。这样确实多了一份训练监督，可问题也随之而来：多步预测的损失基本落在新增的MTP模块上，主干网络各层干的还是下一个token生成的活。

文心5.5 Flash Base的ECHO换了思路。它不再单独搭一个MTP Transformer层，而是让主干网络自己的最后一层直接承担未来token预测。多步预测损失由此直接作用到生成下一个token的参数上，逼着主干网络提前学会序列往后怎么展开。

百度披露，文心5.5 Flash Base用单步ECHO完成预训练，推理与代码等任务上的收益很明显。

这最后一层还能直接当投机解码的内置draft模型用。它复用主干最后一层，不增加额外参数。更值得关注的是，这个draft模型在预训练时只学了多预测1个token，实际起草时却能连续向后写出多个token，接受率比用同样方式训练的外挂MTP模块更高。对Agent应用和多步交互来说，训练期的未来预测和推理期的加速被这套设计连在了一起，效率收益贯穿模型生命周期。

三项核心创新之外，文心5.5 Flash Base在配套基建上也做了改动。

比如MultiMax输出头。它用可学习的分段温度对不同token的输出做调制，既压住不合理token的长尾，又保住合理候选token的多样性。相关计算放在融合的交叉熵Kernel里完成，训练开销可以忽略，显存也不额外增加，预训练Loss还能明显降下来。

再比如R2L分词器。模型换上了全新的BPE分词器，词表约20万。数字的处理方式是从右到左、最多三位一组切分，这有助于模型应对算术任务和数字密集型文本。

这些改动看着各管一摊，实际都在解决模型训练与推理中的具体效率问题。

三、从堆参数到拼底座，每token效率决定主动权

大模型的效率竞争，正从单纯压缩激活参数，走向模型内部每一个关键计算环节。

过去，MoE架构靠稀疏激活削减计算量，长上下文技术靠压缩KV Cache控制存储成本。现在百度文心把这些设计拼到一起：从注意力的信息访问、专家路由的决策方式，到主干网络的未来token预测，一层层优化每个token背后的计算过程。

这种变化和Agent应用的发展直接相关。Agent执行任务时要反复调用模型、读取大量上下文、使用工具、做多轮推理，单次生成的成本只是其中一部分。任务链条一拉长，KV Cache存储、重复计算和推理延迟就会不断累积。

所以一款面向未来应用的Base模型，得同时兼顾模型容量、激活计算、长上下文成本和后续训练的可扩展性。文心5.5 Flash Base正是照这个思路设计的。

对开发者来说，开源Base权重的价值也因此更加突出。

百度把最新的文心Base模型开源，等于给不同领域的开发者一个统一起点。开发者可以按自己的任务需求做领域适配、指令微调、推理强化和Agent训练，也能在预训练基础上对照评估不同的训练方法。

从行业竞争看，同尺寸模型眼下比的是每token激活效率、长上下文处理成本，以及底座能力能不能复用。谁把效率设计做进预训练阶段，谁在后续模型迭代和应用落地中就更容易握住主动权。

结语：Base即SOTA只是开场，正式版将至

百度这次开源文心5.5 Flash Base，是它在大规模预训练阶段对模型效率做的一次系统性探索。

从混合稀疏注意力到多路由器MoE，再到ECHO，三项核心技术分别改造了历史信息访问、专家选择和未来token预测。再叠加数据建设、分布式Muon和FlashMask-4等训练基建，文心想把模型能力与计算效率一起沉淀进Base底座。

智东西获悉，目前开源的仍是预训练终点权重，文心5.5 Flash正式版也将于近期发布。

对开发者和整个开源社区来说，这个Base模型提供了一条新的起跑线。接下来怎么在这个底座上继续释放推理、代码、长上下文和Agent能力，会是文心5.5 Flash正式版更值得期待的看点。