百度文心发布ERNIE-5.5-Flash-Base：280B参数，开放预训练权重
IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推
11月5日，百度文心大模型发布 ERNIE-5.5-Flash-Base，把 ERNIE 5.5 Flash 预训练终点的权重开放出来。
该模型属于稀疏 MoE 语言模型，总参数 280B，单 token 激活 14B，预训练在 33.5T tokens 上从零完成；训练最长上下文为 128K，微调与推理阶段可支持 1M tokens 上下文。
这批权重没有经过中训练与后训练，百度将其定位为领域适配、指令微调和强化学习研究的共同起点。
官方说法是，Base 模型只是起点，经过后训练的 ERNIE 5.5 Flash 会在之后推出。
预训练同样是在 33.5T tokens 上从零跑完，优化器选用 Muon，精度方面采用 FP8 混合精度。语料覆盖的领域和语言都较广，其中三个方向被重点建设：
-
网页数据方面，做了多语言网页抓取、高保真文本抽取，以及由模型驱动的多维质量过滤。
-
代码数据方面，仓库与网页代码先经过非代码过滤、去重和质量分级，再补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。
-
长文数据方面，来源包括精选的天然长文档、混入语义相近检索干扰文本的长序列，以及合成的检索、基于引用的问答与多跳问答数据。
据官方介绍，训练系统与模型结构是协同设计的。优化器使用分布式 Muon：在上千卡规模下，Dense 参数与 MoE 参数的跨机通信被合并成一次集合通信，跨机时延与抖动因此降低。注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。
评测数据与开源链接如下：
文心大模型用 30 项 Benchmark 对 ERNIE-5.5-Flash-Base 做了评测，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，同时列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果；四个模型都基于各自公开发布的 checkpoint，跑的是同一套评测框架。
ERNIE-5.5-Flash-Base 在各能力维度上表现良好；长上下文方面，43 层里有 37 层在 128 倍压缩后的序列上做注意力，6 层 MLA-DSA 已足以支撑细粒度检索。完整表格见 Hugging Face 模型卡。
