混元Hy4开源后团队首登Reddit,姚顺雨回应模型路线
姚顺雨团队首次公开AMA:混元为什么不做“更稀疏”的模型?「甲子光年
11月20日,腾讯开源Hy4大模型,模型权重同步上传至GitHub、Hugging Face、ModelScope和GitCode四个平台。
第二天凌晨,腾讯混元团队多位成员在Reddit开源大模型社区r/LocalLLaMA办了一场AMA(Ask Me Anything),腾讯首席AI科学家、混元大模型负责人姚顺雨也在其中,请社区成员一起聊模型怎么搭起来、推理速度和成本如何、真实场景里怎么用。
图片来源:Reddit社区
这是腾讯混元团队头一回在Reddit集中跟外界对话。11月4日混元Hy4模型、11月16日Hy4 Flash相继发布之后,混元对外的声音明显多了起来。11月18日,姚顺雨还去了清华姚班,跟学弟学妹聊技术和商业,多家媒体对此做了报道。
这场问答持续了两个小时,姚顺雨和混元团队一共回应了100多个问题,话题集中在模型大小、MoE稀疏性、刷榜评测、多模态以及RSI等外界关注的方向上。
姚顺雨此前提出的不少想法,眼下正慢慢变成团队的共同判断。拿合唱来打比方,从这次9名团队成员的回答里能看出来,混元对外表达的一致性已经不必再靠姚顺雨一个人“独唱”来维持,多名成员在各自的声部里就能唱出同一个旋律。
讨论时间不算长,回答也偏精简,不过这场技术味很浓的交流,从多个侧面反映了混元团队目前的思考。
⌈甲子光年⌋依据这次AMA的内容,梳理出以下观点。
1.模型大小,要有不同分工
混元团队在这次AMA里又一次说明了自己和行业模型参数之间差在哪。
Hy4推出后,在Artificial Analysis智能指数中排到中国模型第二,在Agent Arena里排开源模型第一。可它的参数规模只有770B(7700亿)。另一边,字节跳动、Kimi的模型正朝着3万亿乃至5万亿参数推进。
团队给出的回答很干脆:Hy3和Hy4已经证明,把功夫下扎实的小模型同样能超过更大的模型。它们的成本更低,团队在这个过程中也能学到更多、得到更多。
当然,这不意味着放弃Scaling。团队说,下一代模型的规模“肯定会大幅扩大”,只是没透露具体数字。现在混元一边加码更大规模的强化学习、为训练更大的模型做准备,一边接着推进Hy4-mini、Flash-Lite和端侧模型。Hy4-mini已进入路线图,24B—31B稠密模型和Hy-27B也在考虑范围内。针对社区对本地部署的需求,团队还确认,后续会推出更多小模型,覆盖24GB显存、64GB—128GB内存等不同硬件条件。
姚顺雨在清华姚班讲过类似的话。他当时批评行业一味追“几万亿参数、几万亿Tokens”,觉得可量化指标的分量已经压过了“怎么把事情做正确”。不过他没否定大模型:任务越复杂越得靠大模型,成本也跟着上去;往后可以用大模型蒸馏出各种尺寸的小模型,普通活交给端侧,数学、科学这类难题再上云端调大模型和超级算力。
所以混元走的不是“大模型还是小模型”二选一,而是一套分层安排:大模型去探能力上限,Flash、Mini和端侧模型把能力带到成本更低、调用更频繁的实际场景里。
2.MoE架构,不是越稀越好这次AMA里有一段技术含量挺高、混元此前很少对外讲的内容,说的是模型架构的稀疏度。
有位开发者算了笔账:Hy4 Flash激活参数占比7.7%,Qwen3.8-Flash是4.8%,DeepSeek V4.1只有2.9%。他的问题是,混元为什么不做得更稀疏些?
团队分两层来答。激活参数定死的情况下,稀疏度往上走,效率确实能提;可总参数不动、硬砍激活参数,比如从12B激活砍到8B乃至5B,模型质量会掉得明显。像“总参数2000亿、激活只有30亿”这种稀疏过头的设计,显存吃掉一大块,算力却跑不满,推理端反而不划算。
那砍激活参数时,最先坏的是哪块?团队的判断是推理深度、长上下文追踪,还有工具调用的可靠性。
这些取舍最终体现在Hy4 Flash的结构上。它延续了Hy4的iHC、门控MLA和DSA,又添了混合滑动窗口注意力(SWA)、LatentMoE和Engram。光SWA一项,KV缓存就压到原来的1/4,推理成本随之下降。团队还说明了GQA和MLA之间为何最后挑后者:同样的KV缓存下MLA质量更优,它计算强度偏高的问题,上了DSA之后也得到缓解。
端侧是另一套打法。Strix Halo、DGX Spark这类设备内存带宽偏低,混元会针对端侧GPU单独设计架构,而不是把云端模型直接缩一缩搬过去。
不盯榜单之后,混元拿什么证明自己?参数量之外,姚顺雨重点调整的另一个环节是评测。
在清华姚班的那场对谈里,他把行业的通病叫作“指标量化崇拜”:参数量、榜单分数、算力利用率,这些都好写进汇报;可清洗一批错误数据、修掉一个底层Bug,短期数字未必好看,却可能真正决定模型质量。
姚顺雨认为,评测本来的作用是帮团队找到模型的短板。问题是,一旦围着测试集反复调参、刷分,评测就失去了诊断能力,用他的话说,等于“把自己的雷达弄瞎”。混元内部因此定了一条规矩:核心测试集只测一次,测完封存,不再对着同一套题持续优化。
AMA上,这套思路被追问到了具体细节。有人问,Hy4为什么不公布GPQA Diamond、SWE-bench这些常见基准的成绩?团队的回答是,这些老基准已接近饱和,分不出模型强弱,他们转而展示Agents’ Last Exam、ProgramBench这类更新、更难的测试。第三方排行榜呢?团队的态度很直接:没有哪个网站能决定一个模型在真实世界里有没有人用,判断模型要把内部基准、公开基准、第三方评测和真实用户反馈放在一起看。
腾讯自己也在用产品矩阵给混元搭一套更贴近真实任务的评价体系。Hy4已经进入QQ小Q、微信读书、企业微信、腾讯新闻、《和平精英》和ima等产品,接受搜索、阅读、复杂信息检索、新闻问答、AI NPC和推理等不同场景的检验。
新模型的能力也出现在这次AMA的部分评论里。有开发者用Hy4-Flash做Agent编程、PR审查、开发环境管理以及多种编程语言任务,认为它在完成速度和工具调用效率上有优势。一位做计算生物学的提问者说,他用Hy4 Flash做分子对接测试,部分工具调用场景的表现甚至超过了Claude Sonnet和Haiku 5.5。团队确认,目前Hy4和Hy4 Flash已经在OpenCode、Claude Code、Cline等编程工具里被使用。
图像、视频和本地部署同样在推进。
这场AMA还放出一个信号:混元后续的动作不会只落在旗舰模型上。
Hy4-Flash会一直迭代下去。预训练和后训练两条线,团队都在同步打磨。他们的思路不是隔三差五发一个互不相干的新模型,而是靠强化学习和蒸馏,把现有Flash模型的能力、速度、成本继续往好里推。
图像这边,HunyuanImage 3.0体量太大,本地跑起来费劲。团队回应说,更小的图像模型已经在考虑范围内,视频模型也在加紧研究。翻译模型Hy-MT很快会升级,中文网文、仙侠小说这类更细的翻译需求同样被列进了考量。
开源和本地部署的问题,团队答得很明确:眼下继续开源,相近规模的开放权重模型也会接着发。推理框架适配上,Strata、llama.cpp等都在推进,vLLM、SGL等社区也有合作。社区反馈的模型尺寸、量化版本、部署方式,团队还在持续吸收。用他们的话说,让模型在家用设备上跑起来,是想要走的方向。
把这些拼起来看,混元在铺一条完整的产品线:更大的基础模型、持续迭代的Hy4-Flash、更小的Mini和Flash-Lite,再加上图像、视频、翻译等不同模态的模型。
5.对RSI祛魅,
但保留AI for AI的想象空间
RSI(递归自我改进)最近被讨论得不少,混元团队的态度却偏谨慎。按他们的说法,这项能力还处在早期,内部已经建了几套基准,用来衡量RSI的关键能力。眼下更要紧的还是把基础打牢、把模型智能提上去,并且跟产品贴紧,把实际体验做好。
姚顺雨在清华姚班说得更直白。在他看来,RSI说到底就是“怎么用AI更好地开发AI”,真正的进展不靠概念热炒,靠的是修Bug、洗数据、改实验的那些人。
不过他同时判断,RSI或者说AI for AI,对小模型帮助不小。大模型可以去做数据生成、数据筛选、代码改进和实验验证,再把能力蒸馏给不同尺寸的小模型。蒸馏效果好不好,关键不在某一种固定技术,而在团队能不能判断出什么才算真正的好数据。
说到底,参数多大、榜单多高、概念多热,都只是路径,最后还得落到真实任务跑得怎么样、用户用起来如何、成本划不划算。
整场AMA听下来,宏大的技术宣言不多,成员们的回答反而偏收敛:有的方向还在琢磨,有的能力刚起步,有的产品只能先来一句“敬请期待”。不过围绕参数规模、模型评测、成本效率和RSI这几个话题,他们给出的判断大体是一条线上的。
放到眼下的竞争格局里看,这也不难对上。各家模型能力越拉越近,开源权重流通得越来越快,行业比的东西正从参数和榜单挪向成本、稳定性、部署门槛,以及真实任务里究竟能不能干成。发模型不再是终点,能不能进产品、交给用户检验、再按反馈一轮轮改,才是更长的路。
可话说回来,一次开源加上一场AMA,还证明不了混元就已经赢了。小模型这条路能不能走通,新评测体系能不能不再自说自话,腾讯那套庞大的产品生态又能不能顺顺当当变成模型能力,后面还得再看。