百度开源ERNIE-5.5-Flash-Base：280B参数MoE，预训练权重开放

11月5日，百度文心大模型推出ERNIE-5.5-Flash-Base，把ERNIE 5.5 Flash在预训练终点的权重对外开放。

该模型属于稀疏MoE语言模型，总参数280B，单token激活14B，基于33.5T tokens从零训练，最长训练上下文128K；微调与推理可支持1M tokens上下文。

官方说明，这批权重没有经过中训练与后训练，能当作领域适配、指令微调以及强化学习研究的共同起点。

按照官方的说法，Base模型仅仅是起点，后训练过的ERNIE 5.5 Flash会在之后发布。

ERNIE-5.5-Flash-Base用Muon优化器与FP8混合精度，在33.5T tokens上从零预训练。语料覆盖面广，横跨多个领域和语言，其中三个方向被重点建设：

• 网页数据：抓取多语言网页，做高保真文本抽取，再用模型驱动的多维质量过滤。
• 代码数据：仓库与网页代码先经非代码过滤、去重、质量分级，另外补入commit、issue、pull request、代码评审、自动生成的测试、经CI验证的修复等软件演化与执行验证类数据。
• 长文数据：精选天然长文档，掺入语义相近检索干扰文本的长序列，再加入合成的检索、基于引用的问答与多跳问答数据。

据官方介绍，训练系统与模型结构是一起设计的。优化器用的是分布式Muon：在数千卡规模下，Dense参数与MoE参数的跨机通信被合并成一次集合通信，跨机时延与抖动因此下降。注意力算子采用基于CuTe-DSL的FlashMask-4，支持SM90与SM100架构，head dim最高支持576（qk）/ 512（v），能直接用于HCA层512维宽头的计算。

评测数据与开源链接附后：

文心大模型用30项Benchmark评测ERNIE-5.5-Flash-Base，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，同时列出同等规模Base模型DeepSeek-V4-Flash-Base、Hy3-preview-Base与MiMo-V2.5-Base的结果。四个模型都基于各自公开发布的checkpoint，跑的是同一套评测框架。

ERNIE-5.5-Flash-Base在各能力维度上表现良好；长上下文方面，43层中有37层在128倍压缩后的序列上做注意力，剩下6层MLA-DSA已足以支撑细粒度检索。完整表格见Hugging Face模型卡。

• 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
• Hugging Face（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
• Hugging Face（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
• 微调示例（Megatron-Bridge）：https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55