腾讯混元团队AMA:Hy4之后还有mini版和更大模型

资讯 腾讯网 作者:腾讯云 全文 4789 字 · 约 12 分钟读完 分类混元Hy4腾讯开源模型模型发布开源

今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

所属频道 大厂动态模型发布开源生态


Q:Hy4 和 Hy4 flash 这两个模型训练时更偏向编程,还是面向通用场景?A:通用用途。


Q:会不会推出尺寸更小的 Hy4-mini?A:当然会,已经排进路线图,等着看就行。


Q:24–31B 这个量级有可能吗?A:有可能,团队正在考虑。


Q:谢谢你们把模型权重开放出来,腾讯是否在考虑推出其他规格?A:在考虑,前沿的 Flash-Lite 模型可以期待一下。


Q:新的开源图像模型有发布计划吗?A:更小尺寸的图像模型会纳入考虑,视频模型也请留意。


Q:我也很关心这类任务能不能跑得动。A:激活参数约 30 亿的 A3B 模型,用来做你提到的任务已经够了。


Q:这些模型是不是已经到容量上限了,把能装的智能都装满了?往后更聪明的 Hy 模型要靠更多参数,还是同等规模下也能更强,比如继续做后训练的 Hy4?A:潜力还很大。

我们判断 Hy4 的提升余地仍然不小,后训练这块尤其明显。大规模强化学习正在重点投入,用户体验和模型安全性也在持续打磨,后续更新可以留意。

另外,更大的模型也在训练计划里。我们相信


Q:字节跳动、Kimi 等公司在推 3T 甚至 5T 的超大规模模型,你们还停在 700B,原因是什么?参数量对智能到底有多大实际影响,这方面有什么打算?

A:规模不大但做得扎实的模型,同样能赢过更大的模型。更关键的是成本更低,过程中能学到和收获的东西也更多。


Q:到 Hy 4.5,参数量会扩到 1.5 万亿至 2 万亿,对吗?A:下一代 Hy 模型的规模肯定会明显再上一个台阶。


Q:有没有可能推出?A:当然有可能,持续关注就好。


Q:

A:这个方向前景不错,团队目前正加紧研究。


Q:对照图中给出的分级([[保留2]]),原提问附上了“Levels of AGI”分级[[保留3]],你们怎么看?



A:按我的判断,大概在 2.5 级。


Q:假如让 Hy4 自己跑起来,你们觉得它眼下能过哪一关?

A:RSI 这块我们还在早期。内部已经搭了几套基准,专门测 RSI 的关键能力。眼下的重点是先把基础打扎实,把模型智能提上去,同时跟产品端贴紧,把用户体验做好。



Q:靠着 Hy4 和后续能力,

A:Hyra 3.0 正在做,等着看吧。


Q:往后强化学习会不会成为你们科研的主攻方向,特别是 Hy4 flash 到 500B 参数这一档中等规模的模型?另外,中国实验室有没有机会在生物学领域撼动 Claude 的位置?

A:科研用的强化学习我们投入不少,安全这块同样看得很重。


//模型技术路线:架构取舍与研发难题


Q:不知道是不是来晚了。训练和架构上我挺好奇:每次动网络层,你们凭啥做判断?比如在 Hy4 初始架构上做 flash 时,哪些层必须留下,是怎么“挑”出来的?确实很想了解。

A:欢迎!Hy4 flash 是站在 Hy4 的技术基础上做的,比如


Q:除了 Hy4 最后定下的方案,团队还认真评估过、但最终没采用的最有竞争力的架构是哪一个?放弃的原因是什么?

A:我们在

好在上了 DSA 之后,MLA 在解码阶段的算力压力降了下来。权衡的结论也跟着变了,最后我们选了 MLA。


Q:和 mHC、Gated Residuals(GR,门控残差)比起来,iHC 的优势在哪里?

A:iHC 比 mHC/GR 简单不少,成本更低,性能却能打平。


Q:Hy4 flash 为什么用 SWA,而不用 Hy4 那套门控 DSA?A:原因在于 SWA 把 KV cache 压到原来的四分之一,模型服务成本随之明显下降。


Q:后面会不会尝试别的注意力机制,比如——A:会,各种架构上的新东西我们都愿意试。


Q:先不算 Engram 参数,Hy4 flash 是 156B-A12B(总参数 1560 亿、激活参数 120 亿,激活比例 7.7%)。Qwen3.8-Flash 为 125B-A6B(激活比例 4.8%);DSv4.1 是 552B-A16B(激活比例 2.9%),到了预填充阶段还会降到 A8B(1.45%)。稀疏度更高是否更优?

A:不同 MoE 稀疏度的规模阶梯实验我们做过,思路类似


但 156B-A8B 或者 A5B 是另一种性质的取舍:总参数量不动,激活参数量减少。按我的判断,模型质量会因此明显受损。计算预算说到底由激活参数量决定。稀疏度提高能靠效率提升找补一部分,找补不全;激活参数一减,计算量就少,模型就弱。


Q:接着这个话题说,我一直盼着有实验室真把稀疏度再往前推一档。200B-A3B 就挺有意思,现在还能把 Engram 加进去。结果可能很糟,也可能很好。速度快是肯定的,而且我认为它一定会比 35B-A3B 模型更聪明。MoE 的上限到底在哪?

A:在我看来,MoE 太稀疏对推理不友好:GPU 显存占得多,算力却用不满(


Q:你说的这套,在数据中心高并行度服务下确实成立。可放到本地运行,情况就不同了——当前硬件市场上,内存带宽偏低,A12B 在 Strix Halo 和 DGX Spark 上跑得慢,QFN 在同样带宽下速度倒还过得去。

A:明白你的意思。端侧模型我们会换一套设计思路,让模型架构和边缘设备上的 GPU 硬件配合得更紧。


Q:Hy4 flash 在内存上的架构挺有意思:KV cache 缩到原来的 1/6 至 1/24,64B 的 Engram 参数卸载到主机内存,12B 激活参数在 128GB 及以上配置上跑得很快。可 220B 的总参数量,就算 Q4 量化也要 130GB 以上,这里大多数单 GPU 用户和 64GB Mac 用户还是扛不住。如果把这套架构缩成“Hy4-Mini”,比如总参数约 30B–35B、激活参数 3B–4B,Engram 嵌入和 Identity Hyper-Connections(iHC)还能带来同样的提升吗?还是说它们只在 200B 以上规模才占优?

A:模型越小,Engram 和 iHC 带来的收益反而越大。


Q:我研究的是中小型稀疏 MoE 模型和量化。手上有个 35B-A3B 模型,256 个专家、top-8、激活参数约 3B,三值量化后约每个权重 2.1 比特(bpw)。我正试着对部分专家张量上 4-bit 量化,再加低秩校正分支,把模型能力找回来。你们激活参数 12B、512 个专家的 LatentMoE 设计,是我目前最接近的参照。问题有五个,大致按对下一步工作的影响程度排:


1. 你们的 IQ2-AH 版本在 gate/up 投影上用 IQ2_XXS,down 投影上用 Q4_K。换到我的 35B 模型上,反着来效果更好:Q4 gate/up 加三值 down,困惑度(PPL)为 2.34;Q4 down 加三值 gate/up 为 2.68;全部三值量化是 2.93。Hy4 里 down 投影一般更敏感吗?还是说这只是 LatentMoE 和 1536 维专家潜空间的特性?你们依据什么信号,决定哪个专家投影多分比特?另外,大型细粒度 MoE 里,按专家做混合精度值不值得费这些周折,还是按张量分配通常就够?

A:普通 Transformer 层里,激活值有离群值,down 投影对量化更敏感,所以比特会给得多一些。位宽靠基于 Hessian 的敏感度来选。按专家做混合精度不如按张量分配,原因是很多推理引擎把所有专家当成一个堆叠矩阵处理,按专家设精度会把这套处理方式弄坏。按张量分配,迁移起来也更省事。


2. 量化之后恢复 MoE 能力,你们会训练路由器吗?我把路由器冻住了,结果出现路由漂移,工具使用能力也退化了;保留原始路由器同样没解决问题。量化后路由器的协同适应是不是非做不可?你们怎么让它稳住?

A:会训练。QAT 过程中,路由器和模型其余部分一起训,路由器才能保持稳定。


3. 量化模型主体冻结的情况下,你们是在 MoE 和注意力模块的输出处加低秩分支,还是用覆盖整个模型的 LoRA/QLoRA,或者对量化权重做量化感知训练(QAT)?稀疏 MoE 里适配器该放哪儿?我在 Transformer 块(block)的输出处用了秩为 512 的分支 LoRA,效果还是不够,不想在更大规模的实验里再走一遍弯路。

A. 我们更倾向全参数 QAT,模型质量更好。LoRA 实验还没做过,适配器放哪儿,给不了建议。


4. 激活参数量由 12B 缩减至 3B 后,哪几项能力会最先掉队?三值或 2-bit MoE 是否存在一个失效的临界点?若手里有一个激活参数 3B 的模型,额外的比特预算或算力预算该投向何处:加大激活参数容量、上 Engram、抬高位宽,还是走潜空间专家?

团队预计,推理深度、长上下文跟踪与工具调用可靠性会最先退化;而 2-bit 训练后量化(PTQ)失效的时间点,会远远早于三值 QAT。


5. 激活参数为 12B 时,Engram 的贡献能占多大比重?把它加进激活参数 3B 的模型是否划算?n-gram 表是每层各用一张,还是全模型共享一张、再靠各层投影区分?内存与能力之间,团队倾向怎么取舍?

Engram 的参数不纳入 12B 激活参数的计算。n-gram 表按层独立设置。只要内存预算还撑得住,团队更愿意把能力做上去。


问:模型一旦编错命令语法或参数标志,CLI 就容易出岔子。团队如何用强化学习应对这类问题,同时又不把上下文弄丢?

答:工具调用的准确性上,团队在强化学习数据上下了很大功夫,其中特意放入了模型容易翻车的高难度案例。奖励也做到了细粒度,关键细节出错会被罚得更重。

上下文保留方面,团队正不断拉长强化学习训练所用的上下文长度,并针对模型的上下文压缩能力做专门提升。


问:顺雨最早的 ReAct 工作我很喜欢。训练 Hy4 和 Hy4 flash 跑长时程智能体/CLI 循环任务时,多轮强化学习里最难缠的奖励投机(reward hacking)或状态漂移问题是什么?

答:最难缠的是环境设计留了漏洞,智能体钻空子拿奖励。比如得防着它直接上网搜答案,而不是真把任务做出来。


问:欢迎!Hy4 正式版和 Hy4 preview 一样,有时推理时间还是偏长。这种“过度思考”是强化学习的奖励设计造成的,还是训练数据分布导致的?模型能不能学会该停就停?

答:Hy4 追求的是把智能水平尽量做高,思维链(CoT)过长因此成了已知问题。不过这也让团队能把它蒸馏成性价比很高的 Hy4 flash。flash 这边,团队用强化学习把思维链压短。


问:后训练阶段,哪种行为最难改?

答:过度思考。


问:研发过程里,最难熬的是哪个时刻?

答:对团队来说,是从 Hy3 扩到 Hy4 那段。围绕数据做的详细消融实验,没达到团队期望的充分程度,所以开训时不确定性很多。说实话,训练刚起步那会儿,心里挺紧张。


问:抛开发布成果不谈,研发过程本身最让你开心的是什么?

答:运气不错,训练最后跑得出奇顺利。感觉像把筹码全押上,结果真赢了。


//模型安全:防护措施与负责任的开源

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  2. NVIDIA 开源连续扩散语言模型,14 个检查点同步放出

    2026年11月21日AI资讯:NVIDIA发布Nemotron-Labs-Sigma连续扩散语言模型并开源14个检查点;腾讯混元团队回应Hy4后训练空间及更大模型计划;Inkling 2 Mini上架Ollama降低本地智能体门槛;OpenAI反蒸馏防护将思考链提取成功率压至0.2%;Dragos揭露AI服务链隐私泄

    来源 AI 应用前沿
  3. Hy4 flash横评:办公任务首稿最快,成本1.66元低于DeepSeek

    作者|董道力微信|ddl941110腾讯发布新一代旗舰模型 Hy4 的时候就预告即将发布一款 Flash 模型,十二天后 Hy4 flash 如期而至并在今天宣布开源,开发者可以在 GitHub、 Hugging Face 等地方直接下载部署。看着旗舰模型攻城略地、在各种极限榜单上刷新上限固然过瘾,但回到真实的工作场景

    来源 腾讯网
  4. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  5. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  6. OhanASR开源:亚美尼亚语专用ASR模型,流式版同步发布

    Metric-AI 团队发布了首个开源亚美尼亚语自动语音识别模型 OhanASR。该系列包含针对录音优化的 v0.1 版本和用于实时场景的 Streaming 版本,在 ArmBench-ASR 基准测试中表现优异。文章详细解读了模型性能数据、适用场景及当前存在的局限性,为开发者提供技术参考。

    来源 AI 应用前沿
  7. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  8. 华为云开源CloudRobo-WM1.2:两项评测第一,11月30日开放权重

    11 月 16 日,华为云发布了昇腾原生具身世界模型 CloudRobo-WM1.2,并表示将在 11 月 30 日开放该模型权重、推理代码和后训练代码。该模型采用共享世界模型骨干网络,通过预测增强世界表征,并基于世界模型原生 DualAct 架构实现动作生成。据华为云介绍,CloudRobo-WM1.2 在 Robo

    来源 AI 行业观察
  9. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  10. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  11. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  12. 可灵Kling Image 4.0发布:8K原生分辨率,单图支持2000字

    过去几年,AI 生图模型在真实感、分辨率和光影表现上不断刷新人们的认知。但当这些图片真正被用于海报、广告这些商业场景时仍会面临文字能否准确呈现、局部修改是否能保留原有设计等问题。 这些看似不起眼的要求,至今仍是图像模型的难题。(雷峰网) 今年 3 月,微软研究院发布了一项名为 BizGenEval 的商业视觉生成评测,

    来源 AI 行业观察
  13. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
向下滚动自动加载更多