腾讯混元Hy4全量开源:770B参数、100万上下文,安全评估卡先亮底
11月20日,腾讯混元将Hy4大模型权重开源至GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。至此混元LLM系列全量开源,含Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash。Hy4正式版11月4日发布,采用MoE架构,总参数770B,每t
11 月 20 日,Hy4 大模型的权重被腾讯混元团队放到了 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台,开发者可以直接下载部署。混元 LLM 系列就此实现全量开源,Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash 全部到位,一个都不少。

770B 参数、100 万上下文的旗舰配置。Hy4 正式版在 11 月 4 日发布,这次开源兑现了之前的预告。模型走的是 MoE 混合专家架构,总参数 770B,每 token 激活 49B,上下文窗口突破 100 万 Token。同批放出的还有主打性价比的 Hy4 flash:总参数 224B,包含 64B Engram 参数,每 token 激活 12B,支持多模态输入和 100 万 token 上下文,API 价格比旗舰版低了不少。Hy4 和 Hy4 preview 都采用 Apache 2.0 许可证,商业使用与修改均无限制。
训练数据只喂“防守型”内容。随模型一同公布的安全评估卡片(System Card)透露了另一处细节。官方说明称,Hy4 的训练数据在网络安全维度只纳入 PoC 生成、漏洞修复等防守性内容,漏洞利用、逆向工程、渗透等攻击性数据全部剔除;腾讯玄武与科恩实验室的审计没有发现明显的进攻性能力风险。权重放开之后还能守住这条线,相当于先递上一份“体检报告”,再请社区进门。
github:https://github.com/Tencent-Hunyuan/Hy4