腾讯混元Hy4开源:7700亿参数,四大社区同步上线
腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。
11月20日,腾讯混元宣布Hy4模型正式开源,同时发布Hy4 System Card,把模型的安全评估方法、测试结果和已知风险一并公开。开发者现在能从GitHub、Hugging Face、ModelScope和GitCode四个渠道拿到模型并部署。

公开资料显示,Hy4采用混合专家架构,是一款多模态模型,能理解文本、图像和视频。语言模型主体总参数量为7700亿,每个Token激活约490亿参数,上下文窗口最长支持100万Token。这次开放的版本除标准指令模型外,还有FP8量化模型和预训练基础模型。同步发布的System Card讲的是Hy4在安全方面的评估情况,帮开发者摸清模型的能力边界和潜在风险。腾讯混元称,这是延续其发布模型时同步披露安全评估信息的做法。
Hy4开放后,腾讯混元已发布的Hy系列大语言模型全部开源,涵盖Hy3 preview、Hy3、Hy4 preview、Hy4以及Hy4 flash等版本。其中Hy4 flash此前已开放模型权重,面向对推理效率和部署成本要求较高的场景。