百度开源文心5.5 Flash Base:2800亿参数MoE,已上线Hugging Face
sina qqZone renren ydCloud 0
11月5日,百度把最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)正式开源。北京商报记者魏蔚、鲁芹了解到,这款模型走的是MoE(混合专家模型)路线,总参数2800亿,每个Token激活140亿参数。预训练用了33.5万亿个Token,预训练上下文长度最高128K;到了微调和推理阶段,最长可支持100万Token的上下文。
知识、推理、数学、代码、多语言、长上下文等多个基准测试中,该模型都拿到了同尺寸模型的SOTA(当前最优)成绩。Hugging Face平台上已经可以下载。