百度文心ERNIE 5.5 Flash Base开源：280B总参数，33.5T tokens预训练
百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。
11月5日，百度文心大模型发布ERNIE-5.5-Flash-Base，把ERNIE 5.5 Flash预训练终点的权重开放了出来。
这是一款稀疏MoE语言模型，总参数280B，每个token激活14B，从零在33.5T tokens上完成预训练；训练时最长上下文为128K，微调和推理阶段则能支持1M tokens上下文。
这批权重没经过中训练，也没做后训练，可以当作领域适配、指令微调与强化学习研究的一个共同起点。官方说法是，Base模型只是起点，经过后训练的ERNIE 5.5 Flash会紧接着推出。
ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，用的是 Muon 优化器加 FP8 混合精度。预训练语料横跨多个领域和语言，其中重点建设了三个方向：
网页数据方面，做多语言网页抓取、高保真文本抽取，以及由模型驱动的多维质量过滤。
代码数据方面，仓库和网页代码先过非代码过滤、去重、质量分级，再补入 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。
长文数据方面，既有精选的天然长文档，也有混入语义相近检索干扰文本的长序列，还有合成的检索、基于引用的问答与多跳问答数据。
按介绍，训练系统与模型结构是协同设计的。优化器采用分布式 Muon：规模到了数千卡，Dense 参数与 MoE 参数的跨机通信被合并成一次集合通信，跨机时延和抖动都降了下来。注意力算子用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。
评测数据和开源链接如下：
文心大模型在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，覆盖综合、知识、理科、推理、多语言、代码与长上下文七类能力，同时列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果。四个模型都用各自公开发布的 checkpoint，跑的是同一套评测框架。
ERNIE-5.5-Flash-Base 在各能力维度上表现都不错；长上下文这块，43 层里有 37 层是在 128 倍压缩后的序列上做注意力，6 层 MLA-DSA 已经够支撑细粒度检索。完整表格见 Hugging Face 模型卡。
