腾讯混元Hy4 flash开源:2200亿参数、百万Token上下文
11月18日,腾讯混元宣布开放Hy4 flash系列模型权重,包括Hy4 flash、Hy4 flash-FP8和Hy4 flash-base,相关模型及部署资料已上线GitHub、Hugging Face、ModelScope和GitCode。该模型总参数约2200亿,采用混合专家架构,上下文窗口最高可达100万To
11月18日,腾讯混元开放了Hy4 flash系列模型的权重,涵盖Hy4 flash、Hy4 flash-FP8和Hy4 flash-base三款。模型文件与部署资料已经挂上GitHub、Hugging Face、ModelScope和GitCode,开发者可以自行下载、在本地跑起来。三款模型的定位并不一样。Hy4 flash是指令模型;Hy4 flash-FP8做了FP8量化,目的在压低部署时占用的算力和显存;Hy4 flash-base则是预训练基础模型,还没有针对对话场景做过指令微调。

按腾讯公开的开源资料,Hy4 flash总参数约2200亿,其中约635亿是Engram参数,每个Token激活的参数约120亿。模型走的是混合专家架构,能接收文本和图像输入、输出文本,上下文窗口最高到100万Token。
结构上,Hy4 flash用了混合注意力、LatentMoE和Engram等技术,还内置了用于推测解码的DFly2模块。腾讯方面称,配合模型结构和推理层面的优化,解码速度能超过每秒150个Token;这组性能数据出自腾讯内部测试。
Hy4 flash在11月16日正式发布,之前主要靠腾讯云TokenHub和腾讯旗下部分产品对外提供服务。这次权重开放后,开发者可以依照腾讯Hy License进行部署、微调以及相关应用开发。腾讯混元还表示,Hy4系列的其他模型也在陆续推进开放。