姚顺雨谈混元取舍:700B级模型与算力约束下怎么走
11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队的研究员,在 Reddit 上做了一场两小时的 AMA(Ask Me Anything),收到 300 多条留言。这是混元第一次在开发者社区公开答问。

11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队研究员在 Reddit 上做了一场两小时的 AMA(Ask Me Anything),收到 300 多条留言。混元此前没有在开发者社区公开答过问,这是头一回。
有开发者的提问很直接:字节、Kimi 都在往 3T 甚至 5T 的模型上走,混元为什么还停在 700B 级别?
混元的说法是,Hy3 和 Hy4 已经证明,规模小一些但做得扎实的模型同样能赢过更大的模型,成本还更低,研发过程中能学到的东西也更多。可另一边,他们在另一个回答里又讲得很清楚:下一代模型的规模一定会显著扩大。
一边说小模型有价值,一边承诺继续做大。这种看上去自相矛盾的回答,在姚顺雨最近两次交流里都能看到。三天前的 11 月 18 日晚,他回到母校清华,和本科同学、交叉信息院助理教授吕凯风做了一场闭门对谈。两次分享难得地把他对混元的思考呈现得更完整,他正在建立一套彼此牵制的优先次序。
这些取舍背后有很现实的处境。同样在 11 月 18 日,腾讯管理层在三季度业绩会上提到,新收紧的先进算力限制会影响中国所有参与者,模型训练也会受波及,短期内下一代混元可能需要更长时间才能推出。
眼下中国所有模型追赶者面对的,是一个还在往前移动的前沿;而支撑追赶的先进算力,未必能按计划到位。就算追上了某一项能力,还要应付另一批迅速跟进、愿意用更低价格卖这项能力的竞争者。

这种处境下,务实很容易变成一句正确的空话。说到底,资源花在了哪里、为此接受了哪些代价、又打算靠什么撑住下一轮竞争,才是真问题。姚顺雨的分享给了这些问题少见的细节。
1
1 相信规模 也要看眼前
小模型的故事再动人,也绕不开一个问题:混元现在的规模,是主动克制,还是算力有限下的没办法?
两场分享都没能给出足以把这两者彻底分开的证据。团队确实相信 Scaling law,也明确计划继续训练更大的模型;管理层同样承认了训练算力上的约束。如果把现有规模全解释成主动选择,等于替一家还在追赶的实验室把它面对的困难抹掉了。
不过姚顺雨显然也没有从约束里推出“小就够了”这个结论。
据清华对谈的现场整理,他讲了自己博士后期的一次受挫:提出 ReAct 之后,他试着在 LLaMA 13B 上用相关轨迹做训练,效果很差,一度怀疑自己的研究判断。后来他意识到,模型规模可能是其中一个重要因素。小模型上失败,不代表方法本身没用;小模型上有效的改进,也未必能直接搬到更大模型上。
这段经历能解释他对算力的态度。有些能力要到一定规模才会显现,研究者不能因为手头小实验没成功,就断定那条路走不通。反过来说,多花钱也不会自动消掉实验设计上的问题,还得靠规模阶梯实验,判断哪些规律值得带进下一轮大训练。
规模阶梯说的是在几个不同规模上检验同一项设计,看收益怎么随模型和计算投入变化。混元比较 MoE 稀疏度时就做过这类实验。小实验因此能提供向更大规模外推的线索,研究者也要检查,原来的优势会不会随着规模变大而消失。
清华那场分享里有个关于具身智能创业的问题,他的回答可以用来理解混元。你选的技术路线,能不能持续从更多算力里获益?如果数据供应和训练方法消化不了新增算力,手里卡再多也没用。
所以混元眼下的取舍,是在回答一个有截止时间的问题:在这一轮资源条件下,先把多大规模的模型真正训好,怎么获得可信的经验,再把哪些东西带向下一轮。
AMA 里,一位研究员坦言,从 Hy3 扩到 Hy4 时,数据消融实验没做到他希望的充分程度,开训前心里很紧张。好在训练最终出乎意料地顺利,他形容那种感觉,像是把筹码全押上,结果赢了。
会庆幸,就说明“做扎实”也有边界。训练周期、算力预算和发布节奏,都不会等研究者把不确定性全部消除。实验室总要在证据不完整的时候做决定。
国产模型今天的难处就很具体了:先进算力更难拿到,一次训练押错方向,损失里还包括下一次试验的机会,牵一发动全身。于是,提高每一轮训练能带回来的知识,和提高这一轮的模型分数一样重要。
1
2 大模型和小模型的账
开发者们在 AMA 上问得最多的问题之一,就是模型能不能在本地跑起来。混元团队给出的答复很直接:尺寸更小的 Hy4-mini 已经排进路线图。还有人提议做一款 Flash-Lite,专门应付客户聊天、文档解析这类开销不高的任务,团队回应称“敬请期待”。
清华对谈里,姚顺雨讲过一种模型层级体系:先把基础模型训到足够强,再通过蒸馏等办法做出不同尺寸的版本,分别对应不同的延迟和成本预算。
Hy4 和 flash 正好能说明这一点。Hy4 在后训练阶段最让人头疼的毛病是过度思考——答案是对的,可思考拖得太长。团队在 AMA 里也承认,思维链过长属于已知问题。好在 Hy4 的推理能力够强,可以拿来当蒸馏的来源,让 flash 把这份能力接过去,再通过强化学习把思维链缩短。
混元在 flash 模型卡里披露,强化学习让平均端到端输出 Token 减少了 50%。所以说,“让模型少想一点”也是训练要解决的问题:尽量减掉多余步骤,同时保住完成任务的能力。
这两类任务并不相同。旗舰模型的任务是把尚不会做的事做出来,日常模型则要把已经会做的事,用用户能接受的速度和价格交付出去。日常模型省下来的成本,才有可能让旗舰模型的研发投入覆盖更多使用场景。
混元团队在架构上做取舍,也沿着这条线走。
有人提过一个问题:总参数量不变,把 flash 每次生成时调用的激活参数从 12B 压到 8B 甚至 5B,质量会损失多少?团队预计会明显变差。激活参数量决定了计算预算,稀疏度提高能换回一部分效率,但补不回全部。MoE 过于稀疏,还可能占着大量 GPU 显存,算力却用不满。
注意力机制这块,团队在 GQA 和 MLA 之间权衡了很长时间。KV cache 大小相同时,MLA 的质量更好,可计算强度更高,在推理 GPU 上做推测解码会撞上算力瓶颈。直到引入 DSA、把解码阶段的计算强度降下来,天平才偏向 MLA。到了 flash,又换成混合滑动窗口注意力,缓存开销进一步减少。
flash 对专家网络的计算方式也做了改动:LatentMoE 让专家在维度更低的空间里干活,每个 Token 从 512 个路由专家里激活 16 个,外加一个共享专家;Engram 则用可学习的查表表示,把相邻词元组合的信息补进来。这些设计说到底都在重新分配有限的计算与存储预算,能不能保住能力,得在训练里验证。
从这些细节能看出来,“模型小”和“服务便宜”中间隔着一整套硬件与软件的配合。参数表上省下的计算量,如果变成了更严重的显存或带宽瓶颈,用户未必能少花钱。
连量化都可能需要重新训练。量化用更少的比特表示权重,省空间,但会带来误差。团队在 AMA 中表示,更倾向于全参数的量化感知训练(QAT),让路由器与模型其余部分一起训练。MoE 里负责决定任务交给哪些专家的路由器,得和专家权重共同适应这种变化。
端侧面临的是同一个问题。有开发者提到,在 Strix Halo、DGX Spark 这类设备上,内存带宽会让云端看起来高效的模型跑得很慢。混元团队的回应是,端侧模型会采用不同设计,让架构与边缘设备的 GPU 配合得更紧。团队认为,约 30 亿激活参数的模型已经能承担有用的视觉理解,但要把这种能力交到用户手里,还得适配实际硬件。
姚顺雨在清华还讲了对模型定价的判断。在他看来,商品能卖多少钱,很大程度上由竞争格局决定。他估计一项新能力的领先窗口可能只有三到六个月;同等能力的替代品一出现,价格就会承压。
也就是说,国产模型即便做到了“能力接近、价格更低”,也不等于自动有了一门能长期成立的生意。便宜能带来使用量,收入能不能覆盖训练和推理投入,还要看实际成本、付费意愿,以及竞争者下一次降价。
腾讯还公开过另一组数字:内部日常工作评测 WorkIndex 显示,flash 跑完单个任务的成本只有 Hy4 的大约二十分之一。不过这个结论限定在特定任务范围内,不能据此说所有场景下都便宜二十倍。它真正给出的启发是另一种衡量口径,比看 Token 单价更有意义——用户把一件事办完,实际掏了多少钱。
对一个会反复调用工具的 Agent 来说,便宜的 Token 可能被多余的思考和重试吃掉。一次完成任务的可靠性,加上推理价格,一起决定实际成本。混元要压缩的,最终还是整件工作的开销。
1
3 判断力和taste
在姚顺雨的清华分享里,Taste 这个词反复出现。放到训练数据上,它可以理解为一种判断力:什么值得教给模型。
他认为,未来一两年还有大量数据潜力可挖。高质量代码获取成本高,训练时可能要反复使用,可重复多了,模型可能只是把它背下来。同一份代码,第二遍、第三遍,还值不值得再占一份算力?合成数据增加了供给,却又带来质量退化的问题。
数据配比决定的,就是这些材料各自占用多少训练预算。提高某类样本的采样权重,模型接触它会更频繁,但其他任务的学习机会也被挤占。高质量数据该重复多少遍、什么时候加入更难的任务,都要结合训练阶段和模型规模来判断。材料本身好,也不保证放进当前配方就一定有效。
Hy4 的模型卡里有一行小字可供对照。基础模型在中期训练阶段大量接触合成指令数据,到了少样本测试时,偶尔会不按规定的作答格式输出,分数因此受影响。AMA 中团队对此的说法是,加入这批数据是为了提升智能体能力。
同一批数据可能帮模型完成真实任务,同时也改变它接受测试的方式。分数变了,研究员还得区分是解题能力变了,还是交答案的格式变了。只看最后一个数字,容易把两者混在一起。
这也是姚顺雨警惕刷榜的原因之一。在他看来,今天评测的价值在于发现自己还不知道的短板,围绕测试题反复优化,反而会慢慢耗尽它提供新信息的能力。一个用来认识模型的工具,最后可能只剩下对外证明模型的用途。
对追赶中的团队来说,这种失真尤其昂贵。榜单让管理者相信差距已经弥合,真实任务中的缺陷却还在,照这样下去,有限的算力就可能继续投错方向。
AMA 中被问到为什么没有公布某些常见基准时,混元团队回答:这些基准较早、分数已趋于饱和,因此更重视 Agents' Last Exam、ProgramBench 等新高难度基准。
姚顺雨在清华还谈了一个技术判断:大模型后训练中,策略梯度及其变体仍然重要,原因之一是引入的额外假设相对少,更容易扩展。这延续了他的规模观——一种方法的价值,要放到它能否在大规模训练中持续生效上来看。
策略梯度的思路大致是:让模型去尝试各种回答或动作,再依据奖励高低,调高或调低这些行为被生成的概率。他举的 GRPO 就是一例——针对同一个问题采样出一组回答,拿组内奖励当比较基准,判断哪些回答更该被强化,这样就不用另外训练一个价值模型。算法本身的形式能写得很精简,可落到实际系统里,工程上的活儿一点不少。
训练过程里,既要让模型生成尝试,又要跑工具、等环境返回结果,然后拿这些结果去更新参数。任务拉得越长,单次采样就越贵;各任务完成时间参差不齐,资源调度也更难做。把 GPU 吞吐提上去、让更多尝试真正产生有效反馈,直接决定了同样预算下能跑多少轮学习。
落到 Agent 身上,奖励还得细化到执行层面。AMA 中有人提问:模型只要编造一个命令参数,整个流程就可能失败,强化学习如何处理这种情况?团队回应称,会把模型容易出错的高难度案例纳入训练,并对关键细节上的错误加重惩罚。另一头,强化学习训练所用的上下文长度也在持续扩展,重点就是提升上下文压缩能力。
那些靠扔掉高难度基准换来的进步,替不了这些活儿。
1
4 组织进化,关键也在于设计奖励
上面这些技术主张,最后都会撞上组织问题。
某个架构设计在研究员的小实验里跑得通,放到大规模服务上未必合适;某个训练方法在论文里看着新鲜,也可能让基础设施更脆弱。模型要训出来、还要交付出去,局部最优之间常常得有人让步。
清华那场分享里,姚顺雨谈到自己看重的团队特质,点了 Low ego、Co-design 和 Solid。
别过度自负,能跨环节协同,细节也做得扎实。听起来像一般性的管理要求,关键还得看混元的具体选择里有没有对应的信号。
举例来说,做注意力机制的人得考虑推理 GPU 会不会卡住,做小模型的人得知道用户机器的带宽有多少,做后训练的人则要接受一个现实:思考更长能换来能力收益,也可能伤到产品体验。每个环节都得理解别人的约束。

Solid 对应的那些工作,往往最难被漂亮的指标记下来。姚顺雨举过排查异常重复数据、追查下游调用参数设置的例子。这类问题不一定能让哪个榜单往上跳,却会让团队此前以为靠谱的实验结果重新过一遍。
组织如果只奖励参数更大、分数更高、算力利用率更好看,这些工作就很容易吃亏。修正确性问题的人,可能花了两周才证明,大家之前测到的一个好结果其实站不住。他必须能因为揭示问题而获得信任,团队才能持续纠错。
这也是姚顺雨强调判断力时一个容易被忽略的前提。管理者得懂得足够多,才认得出那些暂时变不成漂亮数字的进展。把指标往下分解、让团队内部竞争,替代不了这种理解。
从两场分享呈现出的优先次序看,混元眼下更看重在已有方向上集中资源,把架构、数据、训练系统与产品接起来。对需要尽快提升整体能力的追赶者来说,这种工程收敛有很强的现实理由。
不过,还有个问题得接着看。姚顺雨讲到的 OpenAI 经验中,不少重要的新方向,最初都是小团队摸索出来的。一支队伍把已知路线做扎实之后,还能留出多大空间,让一项一时说不清价值的研究继续跑下去?
工程收敛能缩短沿已知路线追赶的时间。混元如果要持续接近前沿,还得给可能改变路线的工作留出资源。而这些都涉及实打实的“抢卡抢人”,作为话事人的姚顺雨怎么安排,会深刻影响最终的竞争结果。
1
5 最终也是腾讯的取舍
实验贵、人也稀缺,那能不能让模型自己来做?
RSI(递归自我改进)眼下讨论度不低。AMA 上有人提问:如果让 Hy4 自主运行,能否借助 RSI 做出下一代模型?混元的答复是,这方面的能力还在早期,团队内部已经建了好几套基准,用来衡量其中的关键能力。至于下一步,他们提到 Hyra 3.0 正在开发中。
姚顺雨在清华的说法,和这一点对得上。他的主张是回到具体的工程问题上去,让模型参与数据合成、实验验证和代码重构。研发自动化确实能带来实际收益,可要证明递归自我改进,还得讲清楚这一轮拿到的提升,如何让下一轮改进也更有效,并且能持续得到验证。
混元已经演示过一种尝试:用 Hy4 搭配 Hyra 2.0,去改进小模型的训练基础设施。但一次实验有收益,不等于自我改进就能反复转起来,中间还有不少环节需要证明。
问及多轮强化学习里最棘手的问题,团队给出的答案是环境设计上的漏洞所引发的奖励投机。举例来说,得防着智能体直接上网搜答案,把原本要考查的解题过程绕过去。看到前沿模型各式各样的钻空子手法之后,团队要一遍遍修环境,也要反复调整出站网络的允许列表和阻止列表。
当模型参与研发,这种问题会更棘手。它改动的可能恰好包括实验代码、评测流程与数据处理。研究员必须分清,结果提高是来自真实能力进步,还是衡量结果的方式被悄悄改了。
这样一来,“判断力”和“验证”又被绑在了一起。模型提方案、写代码都更快了,实验室照样得守住可信的尺度,判断哪些结果能进入下一轮训练。自动化走得越深,验证一旦失真,错误被放大的速度也越快。
执行能力也带来了安全问题。会写代码、会用工具的模型,既能帮防守方,也可能被拿来攻击。混元在 AMA 中称,网络安全训练以防御、漏洞分析和修复为主,把以漏洞利用和进攻为主的数据排除在外,同时开展红队评估。可有开发者追问防御任务被误拒的情况,他们也承认,减少过度拒绝依然是要改进的地方。
对一个选择开放权重的团队来说,这个取舍很难一步到位。滥用风险要压住,合法使用者也得能正常干活。数据过滤、拒答训练、发布前评测,各自能挡住多少风险,需要不断检查。只有把安全放进研发过程里,模型能力涨上去之后,交付才可能保持稳定。
在清华的交流中,姚顺雨提到一个现象:实验室里的技术进步往往是平滑、连续的,而公众感觉到的跳变,多半出现在交互方式变了、或者某项能力跨过实用门槛的时候。损失函数降一点、评测分数涨几分,用户不一定察觉得到;真正能改变使用习惯的,是把一件此前做不了的事完整交出去。
这也能说明混元为何既谈难题、也谈日常任务。研究级数学和长程编程,能力上限还得继续往上推;文档解析、表格处理、客户聊天这些场景,则要让已经具备的能力以合适成本反复用起来。大模型和小模型之间怎么分工,还得靠产品把任务安排妥当。腾讯手上已有现成的机会:办公、开发、社交等不同产品线都在,还有 WorkBuddy 这类承接复杂任务的应用。管理层在业绩会上说得很明确,把混元部署进产品,能拿到高价值用户的反馈,模型和产品可以一起继续改进。
不过,有入口不代表反馈就会自动变成模型的进步。用户到底因为什么失败,问题出在基础能力、工具接口还是产品设计,又该怎么把它转成下一轮训练里有效的任务,这些都要专门去处理。看上去琐碎的数据工作,其实和腾讯的产品资源直接挂钩。

说到底,这些取舍既是姚顺雨的取舍,也是混元的取舍,归根到底还是腾讯的取舍。

点个“爱心”,再走吧