百度文心5.5 Flash Base开源：280B参数MoE，主打效率

Agent 连续执行任务成为常态后，模型要满足的需求也跟着变了。

任务链条越拉越长，每一步的计算开销、长文本处理能力，都会落到最终体验和成本上。Flash 档模型因此越来越关键——它们要在能力、速度、成本三者间找平衡，接住那些高频、持续运行的活。

11 月 5 日，百度文心系列发布新一代基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base），权重同步开放。

这是一款稀疏 MoE 语言模型，总参数量 280B，每 token 激活 14B。预训练从零开始在 33.5T tokens 上完成，训练最长上下文 128K，微调与推理阶段则外扩到 1M tokens 的长上下文。

目前该模型权重已开放，vLLM、SGLang 等社区也联合提供了开源生态支持。

• HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

• HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16

• SGLang 的 cookbook 地址是 https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash

• vllm 的 cookbook 则放在 https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash

文心这次放出来的是个「Base」模型。它已经具备完整的通用能力，能当后续所有训练的起点——领域适配、指令微调、强化学习，甚至面向 Agent 的行为塑造，都可以在这个底座上做。换句话说，模型下一阶段往哪走，开发者自己说了算。

外界更在意的还是性能和架构。百度这次想在激活参数和缓存预算都有限的前提下，把基础能力做得更强。

同级别里拿出了 SOTA 表现

AI 应用正往「Super Agent」时代走。token 消耗会大幅膨胀，Agent 还要高频次、长时间自主运转，Flash 级模型因此会成为真正被大量使用的档位。落到模型本身，Agent 得频繁读取海量环境事件，最卡脖子的地方是长上下文 Pre-fill（前缀预填充）和 KV Cache 内存占用。文心 5.5 Flash Base 的设计，主线就落在这两项优化上。

百度的打算是：让每一个激活参数、每一字节 KV cache 都多干点活。沿着这个思路，团队在注意力、MoE、未来预测等组件上做了不少技术创新。

模型规模上，它由 43 层 Transformer 组成，Hidden Size 为 4096，注意力头 64 个。除第一层外，其余各层的前馈网络都换成了 MoE 块。预训练用 Muon 优化器加 FP8 混合精度，上下文在训练中一步步扩到 128K，到推理和微调阶段再往外推到 1M。

官方给出的同级别对比里，文心 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文这些基准上整体领先，被拿来比较的是 DeepSeek-V4-Flash Base、Hy3-preview-Base 和 MiMo-V2.5-Base。

跟 DeepSeek-V4-Flash-Base（284B 参数、13B 激活）逐项对比，文心新模型在学科与推理两块优势明显；代码是领先幅度最大的板块，HumanEval + 为 82.3 对 69.5，LiveCodeBench 为 40.1 对 31.9，FullStackBench 为 54.6 对 43.3。不过也有落后项，ChineseSimpleQA 等少量评测上，文心 5.5 Flash Base 略逊一筹。

长上下文评测同样说明这套架构效率不虚：六项长上下文基准上文心 5.5 Flash Base 表现整体稳健，「少数全量层加多数压缩层」的设计没有拖累模型处理长文本的能力。这份成绩单背后，是文心团队对模型架构做了大量改进与创新。

混合稀疏注意力，1/7 全上下文访问

架构效率方面，文心 5.5 Flash Base 靠混合稀疏注意力把推理成本压了下来。Transformer 处理长文本时，每一层都要为全部历史 token 保存 KV cache，开销随上下文长度线性增长，这正是推理成本的大头。百度的判断是：并非每一层都得同样清晰地看清历史细节。

文心 5.5 Flash Base 因此采用 MLA 与 HCA 混合方案：每七层里只留一层做全上下文的 token 级访问，用多头潜在注意力（MLA）；另外六层用重度压缩注意力（HCA），每 128 个 token 压成一条缓存条目，注意力只在压缩条目和最近一小段未压缩窗口上算。整个模型 43 层中，37 层是 HCA，只有 6 层是 MLA。

放到长上下文推理里看，MLA 层负责逐页精读，保留对每个原始 token 的访问；HCA 层只盯章节摘要，对全部历史维持粗粒度视野，要细节时再经少数几层回溯。HCA 层所需的 KV cache 只占全上下文层的一小部分，整条模型的缓存开销因此被大幅压低。

六层 MLA 是逐 token 访问远距离历史的唯一通路，这些层若做稠密注意力，长文本下会吞掉大部分计算。百度于是在 MLA 层引入稀疏注意力（DSA）：用轻量 indexer 给每个 query 对历史位置打分，核心注意力只在得分最高的 top-k 位置计算，单 query 开销不再随上下文增长，预训练 loss 与稠密注意力持平。

KV cache 预算有限时，已有的 CSA + HCA 做法是大量使用压缩稀疏注意力（CSA），先把历史压缩 4 倍再稀疏选取；百度在文心 5.5 Flash Base 上反过来，把预算集中给少数保留全部 token 的 MLA 层。预算相当的预训练对比显示，HCA 搭配 MLA 优于搭配 CSA，足以支撑细粒度检索。

注意力层内还有两项改进。低秩门控注意力改用层内本就生成的低秩 query latent 来算输出门，latent 维度只有隐状态的四分之一，门投影参数量少了 75%，消融效果反而提升。虚拟头注意力（VHA）则以带恒等跳连的轻量跨头低秩混合增强信息融合，推理时可融合进算子，开销极小。

VHA 的相关论文《Virtual Head Attention》已被 NeurIPS 2026 接收。

多路由器 MoE：花一样的成本，选得更准

历史信息怎么读由注意力决定，读完之后交给谁处理，则是 MoE 层的事。

MoE（混合专家模型）要的是智能密度。文心 5.5 Flash Base 在 MoE 层上做了深度设计，针对的正是选专家时“武断”的毛病。

过去的 MoE 流程是：每个 token 进层后只由一个路由器打分，再做一次硬 top-k 选专家。问题出在打分和专家的实际效用只是弱相关，中深层尤其明显；落选的专家又拿不到这个 token 的梯度，选错一次很难纠回来，错误还会自我强化。

Multi-Router 的做法是让多个独立初始化的 sigmoid 路由器一起打分，把“一个路由器说了算”换成“多个路由器综合评定”。各路由器偏好不同，一个专家只要被其中某一个强烈看好，或者被几个同时看好，就能入选，单次误判不再左右结果。激活专家数、FLOPs 和通信量与单路由器一致，推理时不添额外开销。官方称，路由打分与专家效用的相关性提升明显，原本最弱的中深层改善幅度最大。

具体配置是：每个 MoE 块 512 个路由专家、每次选 10 个，另加 1 个共享专家，负载均衡靠无辅助损失的 bias 修正；token 先从 4096 维投影到 2048 维隐空间，专家在隐空间里算完再映射回原空间，通信量和专家 FLOPs 大约减半。Stable LatentMoE 设计（RMSNorm 加 SiTU-GLU 激活）让专家输出在 43 层中保持稳定尺度，每个专家的路由权重还乘上自己的可学习标量。

ECHO：连 MTP 模块都省了

第三项创新换了方向，指向一个更根本的问题：模型该拿什么目标来学。

多 token 预测（MTP）由 Meta 在 2024 年系统提出，DeepSeek V3 采用后业界用得很多。它让模型训练时同时学预测后面多个 token，用更密的监督信号练规划能力；还能兼任推理时投机解码的 draft 模型，先猜多个 token，验证后批量接受，生成因此加速。

常规 MTP 的毛病在于：它在主干 Transformer 之外挂一套专职模块去预测更远的 token，多步损失主要监督这些外挂，主干各层仍旧只为下一个 token 服务。说白了，长远规划的能力没有被直接训练。

ECHO 不单独加 MTP Transformer 层，而是让主干最后一层同时承担未来 token 预测，多步损失由此直接作用到生成当前 token 的参数上。让这些参数去预测更远的 token，等于逼主干提前规划序列的后续展开。模型以单步 ECHO 完成预训练，在数学、推理与代码任务上收益明显。

这一设计在推理阶段还多出一个好处：承担未来预测的主干最后一层可以直接当投机解码的内置 draft 模型，几乎不增加参数。这一层还表现出涌现的外推能力——预训练时只学了多预测 1 个 token，当 draft 模型时却能连续向后起草多个 token，接受率高于用同样方式训练的外挂 MTP 模块。

百度这次动了三处大改，方向都押在效率上。Agent 一旦开始高频、长时间自主运行，模型竞争的关键就不再只是参数规模。文心 5.5 Flash Base 从立项起就把这条线定为底色。除了上面提到的结构，数据和基建层面还有一批更新。

残差连接换了做法：标准残差结构被流形约束超连接（mHC）取代。每一层用受约束的混合矩阵读写 4 条并行残差流，层间残差带宽借此拓宽，代价接近零。这与近几年业界流行的超连接思路属于同一路数。

输出头也有调整。单一 softmax 温度过去只能在稀疏性和多峰性之间挑一个，MultiMax 引入可学习分段温度来破这个局：不合理 token 的长尾被压住，合理候选的多样性同时留住。训练开销小到可以忽略，显存也不见涨。

分词器用的是全新 BPE 词表，规模约 200K。数字切分改成从右到左、三位一组，比如 1,234,567 会切成 1、234、567，数位因此对齐，算术和数字密集的文本处理起来更顺手。

数据侧重点建了三个方向。网页数据走多语言抓取、高保真抽取加模型驱动的质量过滤；代码数据不只收静态代码，还补进 commit、issue、pull request、代码评审、自动测试以及经 CI 验证的修复等软件演化数据，指向仓库级推理和 Agent 软件工程，与 Base 的定位对得上。长文数据则涵盖天然长文档、用干扰文本拼接出的长序列，以及合成的检索与多跳问答数据。

基建上，分布式 Muon 优化器在数千卡规模下仍保持高效。Muon 用逐张量正交化更新，通信模式随之改变。百度的处理是：Dense 参数从跨机大环通信改走同号卡路径，再与 MoE 通信合并成一次集合通信；优化器状态按节点间均衡切分摊开，避免少数节点显存吃紧。

面向大 head dim 的算子 FlashMask-4 也一并放出。它基于 CuTe-DSL 实现，支持 SM90 与 SM100 架构，qk 头可到 576 维、v 头可到 512 维。在 SM100 上前向性能最高提升 175%，反向最高提升 74%。该算子已在 PaddlePaddle 的 GitHub 仓库开源。

这些模型背后的基建能力，来自百度在深度学习框架与大规模训练上多年的投入。

文心 5.5 Flash Base 这一次完整的大规模预训练，把众多技术改进在同一架构下的增益效果验证了一遍。真实部署才是检验这套范式的下一步。

Base 只是起点

开放一个 Base 模型，等于把后续发展的空间更多交给开发者。某种程度说，开放 Base 比开放 Chat 版更考验底气——预训练终点的权重直接亮出能力成色。愿意把这个 checkpoint 交给社区检验，本身就是对预训练能力的一种自信。

开放的 Base 权重意味着基础模型能被接进开发者的二次训练流水线，从中长出更丰富的东西。手里有一个能直接复用的高质量基座，企业级开发者就不用从零起步，可以训练出服务本地语言、文化与产业场景的模型。

文心 5.5 Flash Base 上做了不少围绕实际使用的设计：长文本注意力怎么读、MoE 路由怎么调专家、ECHO 怎么让主干更直接地学习预测未来，这些都给更有价值的任务提供了支撑。往后在同样的计算资源下，AI 有机会撑起更长的任务链条、更多轮尝试与反馈，做出以前没有过的应用方式。

文心 5.5 Flash 正式版预计很快发布。这条赛道上玩家众多，开放权重只是拿到入场券，能不能在牌桌上坐稳，还得看正式版能否把基座的潜力兑现出来。对用户来说，文心到来意味着多了一个选择；未来 Flash 档的竞争会更激烈，也会出现更便宜、更强的模型。

接下来，就等正式版登场了。