姚顺雨Reddit两小时答问:混元后训练最大难题为何是过度思考?
Hy4追求智能上限,思维链过长是已知问题。
(本文作者为 AGI-Signal,钛媒体经授权发布)

开源大模型之间的较量,眼下正从打榜成绩转向开发者社区里的真实口碑。北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员现身Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything,随便问)。三百多条留言涌进来,从架构怎么取舍一直问到安全评测怎么做。这是混元团队头一回在开发者社区公开答问。
往前推不到一个月,混元连着放了两款模型出来。11月4日的Hy4头一次挤进全球最强开源模型行列,第三方评测机构Artificial Analysis的智能指数榜单上排中国模型第二,Agent Arena榜单上则拿下开源模型第一。一个多星期后Hy4 flash登场,定位是“日常工作的极致性价比模型”,跑单个任务的成本只有Hy4的二十分之一。
九个月里发布了两回
按时间顺序捋一遍:
- 今年2月,混元把预训练和强化学习的基础设施推倒重建,定下三条原则:能力要成体系,不做偏科的模型;评测要较真,拿真实任务检验而不是看榜单分数;性价比要抠,让智能既用得起也用得好。
- 打这以后,大体上每两个月迭代一个大版本,走的是“preview先行、正式版跟进”的路子,把真实使用中的反馈一轮轮带回研发。
- 11月4日,Hy4发布,进入全球最强开源模型之列。
- 一个多星期后,Hy4 flash发布,单任务成本降到Hy4的二十分之一。
从2月那次重建算起,才过去九个月。
Hy4和Hy4 flash各自对应一条路线:前者往大了做,扩模型尺寸、扩数据规模,去探智能的上限;后者往省了做,压成本,让日常任务都用得起。
答问中团队确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者提到字节跳动、Kimi等公司正在推3T甚至5T参数的超大规模模型,而混元还停在700B级,团队的回答是:Hy3和Hy4已经说明问题,做得扎实的较小模型常常能赢过更大的模型,成本还更低,过程中学到的东西也更多。
产品线的另一头,Hy4 mini已经写进路线图,35B-A3B档位的Flash-Lite被确认正在推进,更小的开源图像模型也在考虑,视频模型同样有了新消息。端侧视觉理解这块,团队的判断是激活参数约30亿的A3B模型已经能看懂截图和图表,并在此基础上展开推理。
路线图上还留着循环式MoE和持续学习的位置。前者的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在换代,Hyra 3.0已在开发中。
先谈取舍,再谈参数
有人问为什么最后选了MLA而不是GQA,团队翻出一段反复权衡的经过。MLA的计算强度比GQA高出一截,在推理GPU上做推测解码,瓶颈会卡在算力上。可在相同的KV cache大小下,MLA的模型质量又强过GQA。引入DSA之后,解码阶段的计算强度被压了下来,天平这才倾斜过去。
Hy4 flash另外几项设计,走的是同一套取舍逻辑。SWA把KV cache压到原来的四分之一,服务成本跟着明显下降。再配上把64B Engram参数卸载到主机内存的做法,128GB以上配置就能流畅跑激活参数12B的模型。
有开发者摆出一组稀疏度对比:Hy4 flash不算Engram是156B总参数、激活12B,激活比例7.7%;Qwen3.8-Flash为4.8%,DSv4.1低到2.9%。激活密度高对智能到底有多要紧?团队拿规模阶梯实验来答:激活参数量固定时,稀疏度往上提,计算效率会跟着涨。可要是总参数不动、单纯砍激活参数,模型质量会明显掉下来,因为激活参数量说到底决定了计算预算。
在团队看来,过分稀疏的MoE架构对推理并不友好,显存占得多,算力却用不充分。同样的吞吐量下,完全可以跑总参数相同、激活参数更多的模型。端侧又是另一套思路,架构得跟边缘设备的GPU硬件贴得更紧来设计。
问到量化方案,回答是down投影因为激活值有离群点,对量化更敏感,会被分到更多比特,位宽按Hessian敏感度来选。量化之后路由器随QAT一起训练以保持稳定,团队也更倾向全参数QAT,图的是模型质量更好。这部分是整场答问里工程细节最密的地方。
最难改的是过度思考
被问到后训练阶段最难改善的行为,回复只有四个字:过度思考。Hy4奔着智能上限去,思维链过长是已知的老毛病。解法带着点产品闭环的意思——把Hy4的长思维链蒸馏给高性价比的Hy4 flash,再用强化学习保证后者思维链够短。
有开发者拿写作说事,表示一个模型如果能把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应说创意写作与可读性非常重要,正当作重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对于大模型写作能力普遍退化的观察,他们也承认有所注意,觉得可能跟训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。
有人问Hy4能不能自己跑起来、自己迭代出下一代模型。团队回应说,递归自我改进还早得很,不过内部已经搭了一些基准来盯关键能力。被要求按Levels of AGI分级给Hy4定位时,成员给出的自评是2.5级。
技术问答之间夹着不少研发往事。团队把从Hy3扩到Hy4那段称作最难熬的时刻:数据消融实验没达到预期,训练一启动就充满变数。有人回忆,“训练刚开始时,我相当紧张”。结果出来后,团队的说法是,“感觉就像把筹码全押上,结果真的赢了”。
把限制说清楚,也是一种开源
开源要负责任,混元在训练时就把以漏洞利用、进攻攻击为主的网安数据筛掉了,训练层面配上拒答防护,还做了红队评估。有开发者担心这会削弱防御一方,限制逆向工程也会影响恶意软件分析和取证。团队评估后的结论是,Hy4找漏洞的能力较强,利用漏洞的能力相对偏弱。过度拒绝的问题,他们承认仍是重要的改进方向。
适配方面,llama.cpp正在推进,不久会向社区发布,和vllm、sgl的合作也在加深。Hy4与Hy4 flash已经在OpenCode、Claude Code和Cline里被广泛使用,回答里点到了具体项目和工具名。答问进行到一半,还有开发者插播实测:Hy4 flash在其内部智能体编程与PR审查基准上成了首个满分模型,速度比Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash都快。
至于GPQA Diamond、SWE Bench这些常见基准成绩为什么不公布,团队的解释是它们推出得早,分数已经饱和,他们拿出来的是Agents’ Last Exam、ProgramBench这类更新、更难的基准。评测要真实,这条原则从内部信条变成了对外表态。

三百多条留言里,开发者盯的不只是跑分,真实任务表现、使用成本、生态适配被反复追问。开源模型比的东西,比榜单上看到的要宽。两小时里,混元团队给出的优先次序是:先把基础打牢,让模型在真实任务里更好用,再去探能力边界。
被亲口承认的那些未解问题——过度思考、创意写作、递归自我改进——正好勾出了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施;九个月后,两款模型加一场两小时的答问,成了重建之后的阶段性成绩。先把基础打牢,再探索边界。
剩下的,交给下一个版本。