280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA

11月5日，百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。该模型走稀疏MoE路线，总参数280B，每个token只激活14B参数，预训练从零起步、用了33.5T tokens，训练上下文最长128K，微调和推理则支持1M tokens上下文。

与同尺寸基座模型直接对比，这款模型的成绩单相当能打。

百度公布的评测结果显示，ERNIE-5.5-Flash-Base与DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等模型同场比拼，多个能力维度领先，拿下同尺寸SOTA（同等规模最优水平），推理、代码、学科能力与长上下文任务的表现尤其受关注。

国产基座模型的较量，正往效率的深水区走。规模相当的情况下，差异到底出在哪？

看文心5.5 Flash Base的技术细节，效率这条线贯穿了架构、预训练数据和训练系统。从注意力机制到专家路由，再到未来token预测，主要靠三项“重工”改造，让激活计算和KV Cache（键值缓存）都用得更充分。

目前模型权重已开放，vLLM、SGLang等社区也加入进来提供开源生态支持。

HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ vLLM 插件: https://github.com/baidu/vLLM-ERNIE SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash

一、同尺寸SOTA怎么来的：底子靠系统合力

先看基准测试。如前所述，ERNIE-5.5-Flash-Base拿下同尺寸SOTA，推理、代码和学科能力尤显突出。

成绩背后，文心5.5 Flash Base的预训练带着浓重的“重工业”色彩。

据了解，模型采用280B总参数的稀疏MoE架构，模型容量给得足；每个token激活14B参数，单个token的计算成本被压住；整体为43层Transformer，Hidden Size 4096，注意力头64个。这样的稀疏设计，让模型在计算预算相对可控的前提下装下更多专家知识和专业能力。

算法层面，改造重点落在注意力机制上。模型把HCA（重度压缩注意力）与MLA（多头潜在注意力）组合为混合稀疏注意力，不同层分工处理历史信息，既压缩长上下文、压低KV Cache开销，又留住精准检索能力。注意力层内部还引入低秩门控注意力和VHA（虚拟头注意力），让门控计算和不同注意力头之间的信息融合更进一步。

预训练使用Muon优化器与FP8混合精度，上下文逐步扩展到128K。发布时给出的是预训练终点的Checkpoint，中训练和后训练都还没做，开发者可从这一统一起点接着做领域适配、指令微调、推理强化和Agent训练。

预训练在33.5T tokens上从零跑完，语料覆盖领域和语言都很广，其中网页、代码、长文数据被当作“三驾马车”重点打造。

网页数据方面，靠大规模多语言网页抓取、高保真文本抽取，加上模型驱动的多维质量过滤，做出知识覆盖更广、有效学习信号更密的网页语料。

代码数据方面，除代码仓库和网页里的静态代码，文心还补进commit、issue、pull request、代码评审、需求到PR、多commit轨迹、自动生成测试，以及经过CI验证的修复数据。

长文数据方面，文心同时用上三类：经长程依赖筛选和质量清洗的天然长文档；把天然文本与语义相近干扰文本拼接出的长序列；合成的MRCR式检索、基于引用的问答和多跳问答数据。

三类数据分别补强知识覆盖、代码工程能力和长上下文理解。仓库级代码与长程依赖能力尤其吃功夫，这类能力得在预训练阶段打牢底子，事后只补少量数据很难完全填上。

架构之外，Infra层面也有动作：分布式Muon优化器得到改进，还推出面向大head dim的注意力算子FlashMask-4，大规模训练中的通信、显存利用和计算效率都有改善。

同尺寸SOTA，是模型架构创新、数据与Infra优化一起作用的结果。底座越扎实，后面微调、强化学习和Agent训练能释放的空间也越大。

二、效率写进预训练：三处硬改造，省缓存、稳专家、早规划

往下挖这款同尺寸SOTA模型的技术变化，文心是想把“效率”当成预训练的设计变量。

这套做法落在三个关键环节：模型怎样访问历史、怎样调用专家、怎样预测未来token。混合稀疏注意力管历史信息的访问方式，Multi-Router Latent MoE（多路由器隐空间混合专家）管专家的选择，ECHO（未来token预测机制）则让主干网络提前学后续token的生成。

三处改造指向同一件事——激活计算和KV Cache的每一分开销，都尽量花在刀刃上。

面向Agent时代的前沿模型底座，还要靠MultiMax输出头、R2L分词器等模型层面的改进，加上分布式Muon、FlashMask-4（高性能注意力计算组件）这类训练基建，才真正撑得起来。

1、Latent-Gated Sparse Attention：37层省缓存，6层保精准检索

进入AI Agent时代，上下文越拉越长，模型要处理和保存的历史信息随之增多，KV Cache与注意力计算的开销也水涨船高。Agent应用需要多轮调用，这笔账还会一直往上累。

文心5.5 Flash Base的做法，是把MLA（多头潜在注意力）和HCA（重度压缩注意力）组合成混合稀疏注意力，让不同层以不同方式访问历史信息。

模型一共43层，37层用重度压缩注意力HCA，剩下6层用多头潜在注意力MLA。HCA层把每128个token压成一条缓存条目，注意力只在压缩条目加最近一小段未压缩token组成的窗口上算。每个HCA层因此只需要全上下文层KV Cache的一小部分，整个序列的全局视野却还在。

说白了，一段很长的历史对话摆在面前，模型不必让每一层都逐字记全，多数层看看压缩后的“摘要”就能掌握全局。

压缩不是没有代价。有些任务要精准定位历史里的具体信息，压得太狠会丢细节。文心5.5 Flash Base因此留了6层MLA，让模型能逐token访问远距离的历史内容。

这6层的开销怎么控？文心团队引入了DSA（稀疏注意力）。每个Query（查询）的历史位置由轻量级Indexer（索引器）打分，核心注意力只算得分最高的Top-K（前K个）位置。先挑出更值得看的历史位置，再做精细计算，核心注意力的开销就不再随上下文长度线性增长。百度披露，用上DSA后，这些层的预训练Loss（损失值）与稠密注意力持平，训练速度明显提升。

KV Cache预算的分配方式也被重新调整。此前有一种组合思路是HCA搭配CSA（压缩稀疏注意力），在HCA之外再加大量压缩稀疏注意力层，先把历史压4倍，再从中挑一部分计算。文心5.5 Flash Base把这部分预算集中给少数保留全部token的MLA层。KV Cache预算相当的预训练对比里，HCA搭配MLA好于HCA搭配CSA。长上下文评测显示，模型只保留6层MLA-DSA，仍在6项长上下文Benchmark上取得了不错的效果。

注意力层之间的分工之外，文心团队还在注意力内部动了两处。

一处是低秩门控注意力（Low-Rank Gated Attention）。传统门控注意力要按当前层的隐状态算输出门，文心5.5 Flash Base改为直接用注意力层自己生成的低秩Query Latent（查询潜变量）来算门控。Query Latent的维度只有隐状态的四分之一，门控投影的权重参数量因此少了75%。消融实验还显示，这个设计本身也带来了效果提升。

另一处是虚拟头注意力（Virtual Head Attention，VHA）。它在注意力计算后加一层轻量级跨头低秩混合，并借助带恒等跳连的轻量跨头低秩混合，加强不同注意力头之间的信息融合。推理时这部分计算能融进注意力算子，额外开销很小。

从HCA与MLA的分工，到DSA的稀疏检索，再到低秩门控和跨头融合，文心团队想做的，是让注意力机制在压缩历史信息、精准访问和计算效率之间取得更好的平衡。

2、Multi-Router Latent MoE：多路由协同决策，提升专家选择稳健性

传统MoE只有一个路由器给专家打分，再靠一次硬Top-K把专家选出来。文心团队发现，这个打分和专家的实际效用只是弱相关，中深层尤其明显。落选的专家拿不到该token的梯度，选错一次就很难纠正，错误会不断自我强化。

于是文心5.5 Flash Base引入了Multi-Router Latent MoE，让多个独立初始化的Sigmoid（逻辑函数）路由器一起给专家打分。这些路由器的偏好会明显分化：一个专家只要被某个路由器强烈看好，或者同时得到多个路由器认可，就有机会入选。这等于给专家选择加了多个独立判断视角。某个路由器出现偏差时，其他路由器还能补上信息，一次误判对最终路由结果的影响因此被压低。

更关键的是，路由稳健性上去了，专家计算成本没涨。根据技术Blog，激活专家数、专家FLOPs和通信量都与单路由器完全一致。与单路由器相比，路由打分和专家实际效用的相关性明显提高，原本相关性最弱的中深层提升最大。除第一层外，各层FFN（前馈神经网络）都是MoE块：512个路由专家选10，外加1个共享专家，负载均衡采用无辅助损失的bias修正方案。

专家计算本身也压了一刀。全宽专家直接在完整的4096维上算，文心5.5 Flash Base则先把token从4096维投影到2048维隐空间，专家在这个隐空间里完成计算，再通过一次共享上投影映射回原空间。专家FLOPs和Dispatch/Combine（分发与合并）通信量因此大约减半。

此外，MoE模块用了Stable LatentMoE（稳定潜在混合专家）设计，靠上投影前的RMSNorm（均方根归一化）与SiTU-GLU（SiTU门控线性单元）专家激活，让专家输出在43层网络中保持合适的尺度，优化稳定性更好。每个路由专家的路由权重还会乘上该专家自己的可学习标量。

多个路由器共同决策，加上2048维隐空间计算，Multi-Router Latent MoE把专家选择的稳健性和专家计算成本一并处理了。

3、ECHO：复用主干网络预测未来 token，提升多步起草质量

第三项创新叫ECHO，盯的是训练阶段对未来token的预测。

语言模型过去主要靠预测下一个token来训练。业界为了让模型学会往后多看几个token，引入了多token预测（MTP）机制，做法一般是在主干网络之外另加专用模块，由它来预测未来token。这样能多一份训练监督，问题是多步预测的损失基本只落在新增的MTP模块上，主干网络各层干的还是下一个token生成的活。

ECHO把这一结构改了。未来token预测直接交给主干网络自己的最后一层，独立的MTP Transformer层不再需要。多步预测损失也就直接作用到生成下一个token的那些参数上，逼着主干网络提前去学序列往后怎么展开。

百度披露，文心5.5 Flash Base以单步ECHO完成预训练，推理与代码等任务上收益明显。

这一层还能直接当投机解码的内置draft模型用：复用主干最后一层，不增加额外参数。更关键的是，它在预训练时只学了多预测1个token，做draft模型时却能连续往后起草多个token，接受率高于用同样方式训练的外挂MTP模块。Agent应用和多步交互场景里，这种设计把训练期的未来预测和推理期的加速接在了一起，效率收益覆盖模型整个生命周期。

三项核心创新之外，文心5.5 Flash Base在其余配套基建上也做了改进。

比如MultiMax输出头，靠可学习的分段温度对不同token的输出做调制，既压住不合理token的长尾，又留住合理候选token的多样性。相关计算在融合的交叉熵Kernel里完成，训练开销可以忽略，显存也不额外占，预训练Loss还能明显降下来。

再比如R2L分词器，模型换用了全新的BPE分词器，词表约20万。数字的处理采用从右到左、最多三位一组的切分方式，算术任务和数字密集型文本的处理因此更顺。

这些改动看着分散，落点都是训练与推理中的具体效率问题。

三、从堆参数到拼底座，每token效率决定主动权

大模型的效率竞争，正从单纯压缩激活参数，往模型内部每一个关键计算环节延伸。

早些时候，MoE架构靠稀疏激活压低计算量，长上下文技术靠压缩KV Cache控制存储开销。百度文心现在把这些设计往一块儿组合：注意力的信息访问、专家路由的决策方式、主干网络的未来token预测，一层一层优化每个token背后的计算过程。

这一变化和Agent应用的发展绑得很紧。Agent执行任务时要反复调用模型、读大量上下文、用工具、做多轮推理。单次生成的成本只是一小块，任务链条一拉长，KV Cache存储、重复计算和推理延迟都会往上累。

所以一款面向未来应用的Base模型，得同时掂量模型容量、激活计算、长上下文成本和后续训练的可扩展性。文心5.5 Flash Base的思路正是这样。

对开发者而言，开源Base权重的价值也因此更清楚了。

百度把最新的文心Base模型开源出来，给不同领域的开发者一个统一起点：可以按自己的任务需求做领域适配、指令微调、推理强化和Agent训练，也能在预训练基础上对照评估不同的训练方法。

行业竞争层面，同尺寸模型比的是每token激活效率、长上下文处理成本，以及底座能力能不能复用。谁把效率设计沉淀进预训练阶段，谁在后续迭代和应用落地中就更容易占到主动。

结语：Base即SOTA只是开场，正式版将至

百度这次开源文心5.5 Flash Base，是它在规模化预训练阶段对模型效率做的一次系统探索。

混合稀疏注意力管历史信息怎么访问，多路由器MoE管专家怎么选，ECHO管未来token怎么预测，三项核心技术各改一处。再叠上数据建设、分布式Muon和FlashMask-4等训练基建，文心想把模型能力和计算效率一起沉到Base底座里。

智东西获悉，目前开源的仍是预训练终点权重，文心5.5 Flash正式版也将于近期发布。

对开发者和整个开源社区来说，这个Base模型是一条新的起跑线。接下来怎么在这块底座上继续释放推理、代码、长上下文和Agent能力，是文心 5.5 Flash正式版更值得看的点。