姚顺雨率混元团队Reddit首答:两小时聊了什么?
姚顺雨现身Reddit答问两小时:混元后训练最难的问题

开源大模型之间的较量,眼下正从排行榜上的分数,转向开发者社区里的真实评价。
北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员,出现在Reddit的r/LocalLLaMA社区,进行了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队第一次在开发者社区公开答问,一共收到三百多条留言,从架构怎么取舍一直聊到安全评测。
往前不到一个月,混元刚连着发布了两款模型。11月4日的Hy4第一次进入全球最强开源模型行列,在第三方评测机构Artificial Analysis的智能指数榜单上排中国模型第二,在Agent Arena榜单上则拿下开源模型第一。一周多之后发布的Hy4 flash,定位是“日常工作的极致性价比模型”,单任务成本只有Hy4的二十分之一。
九个月里,发布了两次
从时间节奏来看:
- 今年2月,混元重建预训练与强化学习基础设施,定下三项原则:能力体系化,不做偏科的模型。评测真实性,用真实任务检验模型,而不是看榜单分数。性价比追求,让智能用得起、用得好。
- 这之后基本每两个月迭代一个大版本,走的是“preview先行、正式版跟进”的路子,把真实使用中的反馈不断带回研发。
- 11月4日,Hy4发布,跻身全球最强开源模型之列。
- 一周多后,Hy4 flash发布,单任务成本降到Hy4的二十分之一。
距2月那次重建,只过去了九个月。
Hy4和Hy4 flash的分工,对应着两条路线。前者把模型尺寸和数据规模做大,去探智能的上限;后者压成本,让日常任务用得起。
答问中团队确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者提到字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元还停留在700B级,团队的回应是:Hy3和Hy4已经说明,做得扎实的较小模型,常常能胜过更大的模型,成本还更低,过程中学到的东西也更多。
产品线的另一头,Hy4 mini已经出现在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型也在考虑之中,视频模型同样有了新消息。端侧视觉理解方面,团队判断激活参数约30亿的A3B模型,已经能承担理解截图与图表并展开推理的任务。
路线图上还留着循环式MoE与持续学习的位置,前者的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在换代,Hyra 3.0已在开发中。
取舍排在参数前面
被问到为什么最后选了MLA而不是GQA,团队讲了一段反复权衡的经过。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会卡在算力上。可在相同的KV cache大小下,MLA的模型质量比GQA更好。引入DSA之后,解码阶段的计算强度被压了下来,权衡的天平也就跟着倾斜。
Hy4 flash的另外几项设计,延续的是同一套取舍。SWA把KV cache降到原来的四分之一,服务成本明显下降。再配合把64B Engram参数卸载到主机内存的设计,128GB以上配置就能流畅运行激活参数12B的模型。
有开发者列出一组稀疏度对比:Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%。Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。更高的激活密度对智能有多重要?团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会明显受损,因为激活参数量本质上决定了计算预算。
在团队看来,过于稀疏的MoE架构对推理并不友好,占着大量显存却用不满算力。相同吞吐量下,完全可以跑总参数相同、激活参数更多的模型。端侧则是另一套思路,架构要和边缘设备的GPU硬件更紧密地协同设计。
量化这块,down 投影对量化更敏感,原因是激活值里有离群点,因此分到的比特更多,位宽靠 Hessian 敏感度定。量化完成后,路由器会跟 QAT 一起训练,为的是保持稳定;团队更愿意走全参数 QAT,觉得这样模型质量更好。整场答问里,工程细节讲得最密的就是这组回答。
最难的是过度思考
问到后训练阶段哪种行为最难改,答复就四个字:过度思考。Hy4 要冲智能上限,思维链偏长是早就知道的问题。办法带着产品闭环的意味:先把 Hy4 的长思维链蒸馏给性价比更高的 Hy4 flash,再用强化学习让后者把思维链压短。
有开发者拿写作当理由发问,说一个模型如果能把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。
那 Hy4 能不能自己跑起来、再长出下一代模型?回应是递归自我改进还早,不过内部已经做了几个基准,用来评估关键能力。有人请团队按 Levels of AGI 分级给 Hy4 定位,成员自评是 2.5 级。
技术提问之外,聊天里也夹杂着研发往事的回忆。团队把从Hy3扩到Hy4的阶段称作最难熬的一段:数据消融实验没达到预期,训练刚启动时前景不明,有人直言“训练刚开始时,我相当紧张”。而在事后复盘时,这段经历被形容成“感觉就像把筹码全押上,结果真的赢了”。
把边界讲明白,本身也是一种开源态度。
为了让开源做得更稳妥,混元在训练数据中剔除了以漏洞利用、进攻攻击为主的网安内容,再叠加训练层面的拒答防护,并做了红队评估。有开发者担心,这么做会削弱防守一方;限制逆向工程,也会波及恶意软件分析和取证。团队给出的评估结论是:Hy4发现漏洞的能力较强,利用漏洞的能力偏弱。至于过度拒绝,团队也承认这仍是需要重点改进的方向。
生态适配方面,llama.cpp的支持正在推进,不久后将向社区发布;与vllm、sgl的合作也在加深。Hy4和Hy4 flash已经被广泛用于OpenCode、Claude Code和Cline,回答里点明了具体项目和工具名。答问进行到一半,还有开发者插进来做实测:在其内部的智能体编程与PR审查基准上,Hy4 flash成为首个拿到满分的模型,完成速度超过Qwen 3.8 Flash Next、GLM 5.3 Flash和DeepSeek V4.1 Flash。
那为什么没公布GPQA Diamond、SWE Bench这些常见基准的成绩?团队的说法是,这些基准问世较早,分数早已饱和,他们拿出来的是Agents’ Last Exam、ProgramBench等更新、更难的任务。评测要讲真实性,这条原本属于内部信条,如今变成了对外的公开表态。
三百多条留言中,开发者盯的不只是跑分,真实任务里的表现、用起来的成本、生态适配情况都被反复追问。开源模型之间的较量,维度比榜单上看到的更宽。两小时里,混元团队给出的优先次序是:先把基础打扎实,让模型在真实任务中更趁手,再去摸能力的边界。
那些被亲口承认还没解决的问题——过度思考、创意写作、递归自我改进——正好拼成了下一轮迭代的路线图。九个月前,混元重建了预训练与强化学习的基础设施;九个月后,两款模型加上这场两小时的答问,成了重建之后的阶段性成果。思路还是那句话:基础先打牢,边界再探索。
余下的部分,留给下一个版本去回答。