文心5.5 Flash Base开源：2800亿参数、33.5万亿Token训练

11月6日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）正式开源。

该模型走的是MoE混合专家架构路线，总参数量2800亿，但每个Token实际只激活140亿参数。预训练用了33.5万亿个Token，微调和推理阶段则支持最长100万Token上下文。

单看参数规模，文心5.5 Flash Base不算小。不过它着力的地方不是一味堆参数，而是把计算效率尽量做高。

通俗点讲，MoE架构会让模型按任务不同挑一部分专家参与计算，不用每回都把全部参数拉出来跑。文心5.5 Flash Base总参数2800亿，每个Token仅激活140亿，模型容量保住了，实际计算量也压了下来。

上下文长度是这次的另一个看点。预训练阶段最高支持128K上下文，微调之后，推理阶段最长能到100万Token。开发者要处理长文档、代码仓库和大量资料，这项能力挺实用。

围绕模型效率，百度还做了不少优化。

注意力机制上，文心5.5 Flash Base用的是混合稀疏注意力方案，靠压缩历史信息来降低长文本处理时的显存占用。另外还引入多路由专家机制，让多个路由器一起参与专家选择，把计算资源用得更充分。

训练环节，模型采用Muon优化器和FP8混合精度，百度还自研了FlashMask-4注意力算子，大规模训练时的计算和显存效率因此进一步改善。

性能上，百度公布的测试结果显示，文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个项目中，拿到同尺寸模型的领先成绩。

Benchmark评测结果

具体分数方面，MMLU为93.3分，MMLU-Pro为78.4分，HumanEval+为82.3分，MBPP+为81.5分。代码测试中，它相比DeepSeek-V4-Flash-Base等同级模型优势明显。

需要说明的是，这次开源的只是纯预训练基座模型，中训练和后训练都还没做。也就是说，下载下来并不能直接当成熟的聊天机器人使，它主要面向开发者和企业，供后续做指令微调、领域适配和强化学习。

眼下百度已在Hugging Face上放出FP8和BF16两种版本的模型权重，不同需求的开发团队都能按需下载。

百度方面还表示，经过后训练的ERNIE 5.5 Flash版本会在后续推出。

这次开源最受关注的地方在于，百度把一个2800亿参数、用33.5万亿Token训练出来的模型交给了开发者，同时借MoE和稀疏注意力等技术把计算成本压住。

大模型竞争越发激烈，光比参数规模已经不够看。模型跑得快不快、占多少显存、后续训练方不方便，同样关键。文心5.5 Flash Base的开源，也让国内开发者多了一个新选项。

文心5.5 Flash Base架构图