ERNIE-5.5-Flash-Base开源：280B总参数，激活仅14B

ERNIE-5.5-Flash-Base 今日发布，ERNIE 5.5 Flash 预训练终点的权重同步对外开放。

这是一款稀疏 MoE 语言模型，总参数 280B，每个 token 激活 14B，在 33.5T tokens 上从零完成预训练。训练时最长上下文为 128K，微调与推理阶段可支持 1M tokens 上下文。这次放出的权重没有经过中训练与后训练，能当作领域适配、指令微调以及强化学习研究的共同起点。

为什么要开放 Base 模型

领域不同、推理任务不同、Agent 应用不同，所需要的数据、训练目标和行为策略也就不同。把预训练终点的权重开放出来，开发者就能在已有的通用能力之上自己决定下一阶段往哪个方向训练，把资源投向自己关心的能力、任务和训练方法。

后续训练要反复采样，Agent 应用又涉及多步交互和长上下文处理，计算与存储开销会不断累积。正因如此，团队从模型设计之初就把效率当成重要目标，从注意力、残差连接到 MoE 层和输出头，逐个组件权衡能力与效率，把激活计算、KV cache 和长上下文处理开销一并纳入整体设计。

核心亮点

• 后续训练的开放起点：Base 权重未经中训练与后训练，社区可自行探索领域适配、推理强化和 Agent 训练路线。

• 为持续训练与推理而做的效率设计：稀疏 MoE 与混合稀疏注意力结合，在架构层面统筹模型容量、激活计算和长上下文开销。

• 数据覆盖全面，训练效率高：广覆盖、高质量的预训练数据为后续训练打下全面的能力底座；训练系统与模型结构协同设计，保证大规模预训练高效进行。

• 阶段清晰的研究基线：以预训练终点的统一 checkpoint，支撑不同训练方法的对照评估与增益分析。

  
  

模型结构

ERNIE 5.5 Flash 共有 43 层 Transformer。团队围绕一个目标重新审视了几乎每个组件：让单位激活参数、单位 KV cache 字节发挥出最大效果。

• 注意力方面采用混合稀疏注意力。43 层里有 37 层用重度压缩注意力（HCA），每 128 个 token 只缓存一条；剩下 6 层用多头潜在注意力（MLA）搭配稀疏注意力（DSA），每个 token 都保留。各注意力层内部还用了低秩门控与 Virtual Head Attention（VHA）。

• Multi-Router Latent MoE 把多个独立初始化的 sigmoid 路由器评分聚合起来。训练中这些路由器形成了高度分化的专家偏好，对噪声特征和分布变化更稳健，路由打分与专家实际效用的相关性明显提升。模型共使用 512 个路由专家，每个 token 从中选 10 个，另加 1 个共享专家；专家在 2048 维隐空间中计算，通信量和专家计算量大约减半。

• MultiMax 输出头：单靠一个 softmax 温度，很难让输出分布既集中又保留多个合理候选。MultiMax 改为可学习的分段温度，把不合理 token 的零散概率压到接近零，同时留下几个合理候选；训练开销可以忽略，也不增加显存，预训练 loss 还显著降低。

• ECHO：拿主干自身的最后一层替代 MTP 模块做未来预测，多步损失直接作用于生成下一个 token 的参数，推理与代码上的收益明显。ERNIE 5.5 Flash 用单步 ECHO 预训练，该层作为投机解码的草稿模型时表现出外推特性：同样只训练一步，多步起草质量大幅优于辅助 MTP。

• 其余部分还包括 mHC 流形约束超连接，每层配备 4 条并行残差流，读写同时进行；分词器则换成了全新的 BPE，词表规模约 200K，切分数字时从右往左，每三位归成一组，最多三组。

预训练

ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，其中三个方向是重点建设的：

• 网页数据：多语言网页抓取、高保真文本抽取，再用模型驱动的多维质量过滤。

• 代码数据：仓库与网页代码先经非代码过滤、去重和质量分级，再补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。

• 长文数据：精选的天然长文档、混入语义相近检索干扰文本的长序列，以及合成的检索、基于引用的问答与多跳问答数据。

训练系统与模型结构是协同设计的。优化器采用分布式 Muon：在数千卡规模下，Dense 参数与 MoE 参数的跨机通信合并成一次集合通信，跨机时延与抖动都降了下来。注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。

评测

围绕综合、知识、理科、推理、多语言、代码和长上下文七类能力，团队在30项Benchmark上对ERNIE-5.5-Flash-Base做了评测。拿来对照的是发布时能找到的、规模接近的最新开源Base模型：DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base。四个模型用的都是各自公开发布的checkpoint，跑的是同一套评测框架。结果显示，ERNIE-5.5-Flash-Base在各能力维度上表现都不错。长上下文这块，43层里有37层是在128倍压缩后的序列上做注意力，剩下6层MLA-DSA已经够用来做细粒度检索。完整表格放在Hugging Face模型卡里。

如何使用

权重已经上线Hugging Face，分两个版本：FP8版为baidu/ERNIE-5.5-Flash-Base，BF16版为baidu/ERNIE-5.5-Flash-Base-BF16，许可协议是ERNIE 5.5 Flash Base Model License Agreement v1.0。模型卡里给出了基于SGLang与vLLM的部署和调用完整示例。微调上，NVIDIA Megatron-Bridge已支持该模型，并附有ERNIE 5.5的示例。

Base模型只是起点。后训练过的ERNIE 5.5 Flash会随后推出。团队也希望社区在这个基座上试领域适配、推理强化和Agent训练这些方向。

相关链接

• 技术博客：ernie.baidu.com/release/ernie-5-5-flash-base/；Hugging Face（FP8）：huggingface.co/baidu/ERNIE-5.5-Flash-Base；Hugging Face（BF16）：huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16；微调示例（Megatron-Bridge）：github.com/NVIDIA-NeMo/Megatron-Bridge/blob/main/examples/models/ernie55/