百度开源文心5.5 Flash Base
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练。 据介绍，模型预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文
11月5日，百度把最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）开源出来。这个模型走的是MoE路线，总参数2800亿，单个Token激活140亿参数，预训练用了33.5万亿个Token。
上下文方面，预训练阶段最高支持128K，到了微调和推理阶段，最长能撑到100万Token。据百度介绍，在知识、推理、数学、代码、多语言和长上下文等多项基准测试里，该模型拿到了同尺寸模型的SOTA，成绩压过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等。
技术层面，文心5.5 Flash Base的主线是"效率"。模型用上了Latent-Gated Sparse Attention注意力机制、Multi-Router Latent MoE专家路由和ECHO训练目标，同时对分布式Muon优化器做了改进，还推出面向大head dim的注意力算子FlashMask-4。
百度方面称，Base模型留给开发者与企业微调、定制的余地，可以照着自身业务需要去搭专业模型和应用。（袁宁）
本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。
