腾讯 Hy4 开源:770B 总参数,混元 LLM 系列全量开放
此次开源的 Hy4 旗舰版采用 MoE 架构,支持百万 Token 上下文,同时同步开放轻量版 Hy4 flash,均采用 Apache 2.0 协议可商用。#腾讯混元#
11 月 20 日,腾讯混元团队宣布 Hy4 大模型正式开源。模型权重已同步上线 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台,开发者可以自行下载部署。
混元 LLM 系列由此实现全部开源,版本涵盖 Hy3 preview、Hy3、Hy4 preview、Hy4 以及 Hy4 flash。

这次放出的是此前预告的模型权重,Hy4 正式版则在 11 月 4 日就已发布。该模型采用 MoE 混合专家架构,总参数 770B,激活参数 49B,上下文窗口突破 100 万 Token。
与旗舰版 Hy4 一同开放的还有主打性价比的 Hy4 flash。Hy4 flash 总参数约 2200 亿,其中约 635 亿为 Engram 参数,每个 Token 仅激活约 120 亿参数;它同样支持最高 100 万 Token 的上下文窗口,并可接收文本与图像输入。两款模型形成梯次搭配,从旗舰能力一直覆盖到低成本规模化落地。
开源协议上,Hy4 及 Hy4 preview 采用 Apache 2.0 许可证,允许商业使用与修改。腾讯混元同时发布 Hy4 模型安全评估卡片(System Card),披露网络安全、生物安全等维度的评估结果。官方说明称,Hy4 训练数据只纳入 PoC 生成、漏洞修复等防守性网络安全内容,漏洞利用、逆向工程与渗透等攻击性数据被剔除;腾讯玄武与科恩实验室的审计未发现明显的进攻性能力风险。
参考资料
[GitHub] https://github.com/Tencent-Hunyuan/Hy4
[Hugging Face] https://huggingface.co/tencent/Hy4
[ModelScope] https://modelscope.cn/models/Tencent-Hunyuan/Hy4
[GitCode] https://ai.gitcode.com/tencent_hunyuan/Hy4
[GGUF] https://huggingface.co/AngelSlim/Hy4-GGUF
[开源协议] https://huggingface.co/tencent/Hy4/blob/main/LICENSE
[模型安全评估卡片] https://hy.tencent.ai/Hy4_system_card.pdf