文心ERNIE 5.5 Flash Preview:280B参数、1M上下文,11月25日前开源
IT之家 11 月 11 日消息,百度文心大模型今日发布 ERNIE 5.5 Flash Preview,这是基于此前发布的 Base 模型的首个后训练版本。 该模型总参数 280B,激活参数 14B,支持 1M 上下文,官方称在编程、3D 建模、知识工作、内容创作等方面表现出色。 据介绍,ERNIE 5.5 Flas
百度文心大模型在11月11日推出ERNIE 5.5 Flash Preview。这是基于此前发布的Base模型做出的首个后训练版本。

该模型总参数为280B,激活参数14B,上下文支持1M。官方称它在编程、3D建模、知识工作、内容创作等场景中表现不错。
据官方介绍,ERNIE 5.5 Flash Preview在智能水平和推理效率之间做了兼顾。多项基准测试里,这个模型拿到有竞争力的分数,解码速度也保持得很快。目前模型API已经在千帆平台上线,权重会在11月25日前开源。
基准测试结果如下:

官方表示,ERNIE 5.5 Flash Preview属于后训练过程中的中间版本。它已经能在同尺寸模型中拿出比较有竞争力的表现,但训练不够充分,部分能力缺陷仍可能存在。后训练还在继续,ERNIE 5.5 Flash也在快速进化。官方称会密切关注Preview模型在真实场景中的实际表现和用户反馈,并在后续正式版本中做优化。