文心ERNIE 5.5 Flash Preview:280B参数、1M上下文、11月25日前开源
百度文心大模型今日发布 ERNIE 5.5 Flash Preview,这是基于此前发布的 Base 模型的首个后训练版本。
百度文心大模型在11月11日推出 ERNIE 5.5 Flash Preview。该模型是此前发布的 Base 模型的首个后训练版本。

ERNIE 5.5 Flash Preview 总参数 280B,激活参数 14B,上下文支持 1M。官方称其在编程、3D 建模、知识工作、内容创作等方面表现出色。这一版本在智能水平与推理效率之间做了兼顾:多项基准测试中得分具备竞争力,解码速度也保持在极高水平。目前模型 API 已在千帆平台上线,权重会在 11 月 25 日前开源。
基准测试结果如下:

官方说明,ERNIE 5.5 Flash Preview 属于后训练过程中的中间版本。它虽已拿到同尺寸模型中较有竞争力的表现,但训练不充分仍可能带来部分能力缺陷。后训练还在继续,ERNIE 5.5 Flash 仍在快速进化;官方将密切关注 Preview 模型在真实场景中的实际表现和用户反馈,并在后续正式版本中做优化。