姚顺雨谈混元下一代模型:显著扩容,同时推小模型
姚顺雨与腾讯混元团队首次公开问答:下一代模型将显著扩容
腾讯混元打算把下一代模型的体量继续往上推,同时也会做面向低成本调用和本地部署的小模型。
11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员一起出现在Reddit开发者社区,做了一场AMA(Ask Me Anything,在线问答)。混元团队在开发者社区公开答问,这是头一回,话题覆盖下一代模型怎么规划、技术架构、本地部署以及安全防护等。
这场交流紧跟在混元接连发布Hy4和Hy4 flash之后。腾讯方面提供的信息显示,11月4日亮相的Hy4在第三方评测机构Artificial Analysis的智能指数榜单上排在中国模型第二位,Agent Arena榜单上则拿下了开源模型第一;之后推出的Hy4 flash主打使用成本,跑一个任务的成本只有Hy4的二十分之一。两款产品,一个指向更强的模型能力,一个指向更低的使用门槛。
问答中,混元团队说得很明确:下一代Hy模型的规模会“进一步显著扩大”,大规模强化学习的投入也会继续。有用户追问参数量是不是要扩到1.5万亿至2万亿,团队没有给出具体数字。另外,Hy4-mini已经写进路线图,Flash-Lite模型也被提前预告;团队还表示在考虑24B至31B的稠密模型,以及尺寸更小的图像模型。
模型做大和适合本地跑的小模型,对架构的要求并不一样。混元团队的解释是,混合专家模型(MoE)如果过于稀疏,显存会吃掉一大块,GPU的算力反倒用不满;到了端侧设备上,设计思路要换一套,让模型和硬件配合得更紧。Hy4 flash用上滑动窗口注意力(SWA),目的也是压小KV缓存、把服务成本降下来。
模型眼下有哪些短板,团队没有回避。在他们看来,后训练阶段最难纠正的行为是过度思考。团队称,Hy4的目标是把智能水平尽量做高,思维链偏长确实是已知问题;到了Hy4 flash上,会靠强化学习把思维链缩短。
用户对Hy4提得比较集中的问题,还有创意写作、可读性和风格约束这几块。团队表示,希望模型写出来的东西更像人写的、少一些套路化表达,这些能力都还有提升余地。
智能体能不能持续自主干活,也是这场问答的焦点之一。混元团队称,正在用高难度训练案例和细粒度奖励来提升工具调用的准确性,同时扩展强化学习训练的上下文长度、改进上下文压缩能力。至于模型能否通过递归自我改进来研发下一代模型,团队的说法是相关能力还处在早期,当前优先做的是提升基础智能,并和产品侧协作改善用户体验。
开源模型的安全边界,引出了更具体的讨论。有开发者担心,把进攻性网络安全数据过滤掉,会连累防御性工作。团队回应称,训练重点里包含防御性任务、漏洞分析和修复,同时承认减少过度拒绝仍是需要改进的方向。开发者关心的本地使用门槛和生态适配,团队表示正在推进llama.cpp支持,也在和vLLM、SGLang等社区合作。这场问答透露了不少研发方向,但下一代模型和小模型什么时候发布,还没有给出时间。
以下是本次问答实录,文字略经编辑。
一、模型路线:大小模型、多模态与下一步计划
问:Hy4和Hy4 flash这两个模型,训练时更偏编程,还是偏通用用途?
混元团队:通用用途。
问:会不会出Hy4-mini,也就是尺寸更小的模型?
混元团队:当然!这已经在我们的路线图上了,敬请期待。
问:24B至31B的稠密模型有可能推出吗?
混元团队:有可能,正在考虑中。
问:谢谢你们开放模型权重!腾讯有没有在考虑做一个“Flash Lite”模型,比如35B-A3B?这类模型可能挺有用,像面向客户的聊天机器人、文档解析、分类、简单自动化,还有其他吃低开销和高速度的任务。
混元团队:是的,敬请期待一款前沿的Flash-Lite模型。
问:有计划发布新的开源图像模型吗?HunyuanImage-3.0很棒,但对大多数配置来说太大了。希望先做一个5B至12B的较小模型供本地使用,再做更大的模型,因为我们需要更多开源图像模型。我也希望看到新一代HunyuanVideo。
混元团队:我们会考虑做一个更小的图像模型;视频模型也敬请关注。
问:端侧智能体的视觉理解能力也是我关心的方向。你们做实验时,模型规模最小到多少,还能给出有用的视觉理解?这里说的是能看懂图像、UI 截图或图表,并基于这些内容做推理,并非只做 OCR 或简单的图像描述。
混元团队:我认为,A3B(激活参数约30亿)的模型已经可以用于你提到的任务。
问:你们觉得这些模型已经到容量上限了吗,也就是已经“吸收”了它们能容纳的全部智能?未来更智能的Hy模型是不是需要更多参数,还是说你们能在同样的规模下给出更强的模型,比如进一步后训练的Hy4?
混元团队:我认为空间还大得很。
我们相信Hy4还有不少可以往上走的地方,后训练尤其如此。大规模强化学习是我们眼下重点投入的方向,用户体验和模型安全性也在同步打磨。后面的更新值得留意。
此外,更大的模型我们也在规划中。Scaling law我们信,投入会继续。
问:字节跳动、Kimi这些公司好像在往超大规模模型上推,参数量做到3T甚至5T,你们还停在700B。原因是什么?参数量对智能到底有多大实际影响,你们怎么看?这方面有没有安排?
混元团队:Hy3和Hy4已经说明一点:规模小一些但做得扎实的模型,照样能赢过更大的模型。更关键的是成本更低,而且这个过程里能学到的东西、能收获的东西也更多。
问:到Hy4.5,参数量会扩到1.5万亿至2万亿,是这样吗?
混元团队:下一代Hy模型的规模,一定会明显再往上扩。
问:循环式MoE模型有没有可能做?
混元团队:当然有可能。后面可以继续关注。
问:持续学习(continual learning)这块进展怎么样?
混元团队:这个方向很有前景,我们正在积极研究。
问:按附的那张“Levels of AGI”图的分级,Hy4现在处在哪一级?以后的模型有可能到哪一级?
混元团队:在我看来,是2.5级。
问:假如让Hy4自己跑,你们觉得它现在能不能靠递归自我改进(RSI)做出下一代模型?另外,除了“自主完成n小时任务、调用工具m次”这种衡量方式,你们有没有基准来评估它的自主性?
混元团队:RSI能力我们还处在早期。内部已经做了若干基准,用来评估RSI的关键能力。
当前的优先任务是把基础打牢、把模型智能提上去,同时和产品紧密配合,把用户体验做好。
问:靠Hy4和Hyra 2.0,你们已经改进了训练基础设施,也训出了更好的小模型。接下来会做什么实验,来证明这一轮训出来的模型,在下一轮里更擅长做模型研发?模型怎么才能更会自我学习?
混元团队:Hyra 3.0我们正在开发,敬请期待!
问:未来你们会不会把强化学习当作科学研究的重点方向,尤其是针对Hy4 flash到500B参数这种中等规模的模型?另外,中国的实验室能不能挑战Claude在生物学领域的主导地位?
混元团队:用于科学研究的强化学习技术,我们在积极投入,安全问题同样非常重视。
二、模型技术路线:架构取舍与研发难题
问:训练和架构方面我挺好奇:每次调网络层,你们凭的是什么?比如在Hy4初始架构上做flash时,哪些层必须保留,你们是怎么“挑”的?
混元团队:欢迎加入!Hy4 flash的技术底子来自Hy4,比如iHC、门控MLA和DSA,同时加了几项新的架构组件:混合SWA、LatentMoE和Engram。这些设计选择背后,是我们在不同规模的阶梯实验里做的大量验证,也包括模型与推理系统之间的精细协同设计。
问:除了Hy4最后采用的那套设计,团队还认真考虑过、但最终放弃的架构方案里,最有竞争力的是哪个?为什么放弃?
混元团队:GQA和MLA这两条路线,我们来回比较了很久。MLA的计算强度比GQA高出一截,放到推理GPU上做推测解码,瓶颈就会卡在算力上。可只要KV cache大小一样,MLA的模型质量又比GQA更好。后来DSA加进来,MLA在解码阶段的计算强度被压了下去,权衡的结果也跟着变了,我们最终选了MLA。
问:iHC和mHC、Gated Residuals(GR,门控残差)比,优势在哪?
混元团队:比起mHC/GR,iHC要简单得多,成本更低,性能却不相上下。
问:Hy4用的是门控DSA,Hy4 flash为什么改选SWA?
混元团队:SWA把KV cache大小压到原来的四分之一,模型服务成本随之明显下降。
问:以后会不会考虑QSA之类的其他注意力机制?
混元团队:当然!架构上的各种创新,我们都愿意尝试。
问:不算Engram参数,Hy4 flash是156B-A12B(总参数1560亿、激活参数120亿,激活比例7.7%)。Qwen3.8-Flash是125B-A6B(激活比例4.8%);DSv4.1是552B-A16B(激活比例2.9%),到了预填充阶段降为A8B(1.45%)。激活密度更高,对智能到底有多要紧?156B-A8B或156B-A5B这样的配置,你们测过模型质量会掉多少吗?
混元团队:不同MoE稀疏度的规模阶梯实验我们做过,思路和MAI-Thinking-1论文里那组实验类似,结论也差不多:激活参数量定死之后,稀疏度往上提,计算效率会跟着涨。这条路是走得通的。但156B-A8B或A5B是另一种权衡,性质完全不同:总参数量不动,激活参数量往下砍。我的判断是,模型质量会因此明显受损。激活参数量说到底就是你的计算预算。稀疏度提高带来的效率提升能补回一部分,补不齐全部;激活参数一减,落到实处的就是算力更少、模型更弱。
问:接着这个话题说,我一直盼着有实验室把稀疏度真正推到一个新高度。200B-A3B就挺有意思,现在还能量上Engram。结果可能很糟,也可能很好。速度肯定快,而且我确信它比35B-A3B模型聪明。MoE到底能走多远?
混元团队:我的看法是,MoE稀疏过头,推理这边并不好受:GPU显存占掉一大块,算力(FLOPs)却用不满。同样的推理吞吐量,完全可以跑一个总参数量相同、激活参数更多的模型。
问:你说的在高并行度的数据中心服务里确实成立。可看看现在的硬件市场,本地跑就是另一回事了。内存带宽低,A12B在Strix Halo和DGX Spark上跑得偏慢,QFN在同样带宽下速度倒还行。
混元团队:你的意思我明白。端侧模型我们会换一套设计思路,让模型架构和边缘设备上的GPU硬件做更紧密的协同设计。
问:Hy4 flash在内存上的架构挺有意思:KV cache缩到原来的1/6至1/24,64B的Engram参数卸载到主机内存,12B激活参数在128GB及以上配置上跑得很快。可220B的总参数量,就算Q4量化也要130GB以上,这里大多数单GPU用户和64GB Mac用户还是吃不消。把这套架构缩成“Hy4-Mini”,比如总参数约30B至35B、激活参数3B至4B,Engram嵌入和Identity Hyper-Connections(iHC)还能带来同样的提升吗?还是说,它们只在200B以上规模时才有优势?
混元团队:模型越小,Engram和iHC带来的收益反而越大。
问:我研究的是中小型稀疏MoE模型和量化。手上有个35B-A3B模型,256个专家、top-8、激活参数约3B,三值量化后大约是每个权重2.1比特(bpw)。我正试着对部分专家张量上4-bit量化,再配一个低秩校正分支,把模型能力找回来。你们激活参数12B、512个专家的LatentMoE设计,是我目前最接近的参考。我有五个问题,大致按对下一步工作的影响程度排了序:
1. 你们的IQ2-AH版本,gate/up投影用IQ2_XXS,down投影用Q4_K。换到我的35B模型上,反过来的效果更好:Q4 gate/up加三值down,困惑度(PPL)是2.34;Q4 down加三值gate/up是2.68;全部三值量化是2.93。Hy4里down投影是不是一般更敏感?还是说,这只是LatentMoE和1536维专家潜空间带来的特性?你们依据什么信号,来判断该给哪个专家投影多分比特?另外,在大型细粒度MoE里,按专家做混合精度,这些复杂性值得付吗,还是按张量分配通常就够?
2. 量化之后要恢复MoE能力,你们会训练路由器吗?我把路由器冻住了,结果出现路由漂移,工具使用能力也退了,保留原始路由器也没能解决。量化之后,路由器的协同适应是不是少不了?你们怎么让它稳下来?
3. 量化模型主体冻结的情况下,你们会在MoE和注意力模块的输出处加低秩分支,还是用覆盖整个模型的LoRA/QLoRA,或者对量化权重做量化感知训练(QAT)?稀疏MoE里,适配器该放在哪?我在Transformer块(block)的输出处用了秩为512的分支LoRA,效果还是不够,不想在更大规模的实验里再踩一遍坑。
4. 激活参数量从12B降到3B,哪些能力会最先掉?有没有一个临界点,过了它三值或2-bit MoE就走不通了?如果你们手上有个激活参数3B的模型,多出来的比特预算或计算预算会往哪投:更多激活参数容量、Engram、更高位宽,还是潜空间专家?
5. 激活参数12B的时候,Engram的贡献有多大?加到激活参数3B的模型里值不值?你们是每层各用一张独立的n-gram表,还是共享一张表、再配各层的投影?内存和能力之间,你们更倾向怎么权衡?
混元团队:
- 普通Transformer层里,激活值会出现离群值,down投影因此对量化更敏感,团队便给它分更多比特。位宽怎么定?靠基于Hessian的敏感度来选。至于精度分配,混元没有按专家走混合精度,而是按张量来分。原因在于不少推理引擎把全部专家当成一个堆叠矩阵处理,按专家设精度会打乱这种处理方式;按张量分配,迁移起来也更省事。
- 路由器会一起训。QAT过程中,它和模型其余部分同步训练,以此保持稳定。
- 全参数QAT是混元更偏好的路线,模型质量更好。LoRA实验还没做过,所以适配器该放哪儿,目前给不出建议。
- 团队预计,推理深度、长上下文跟踪和工具调用可靠性会最先出现退化;2-bit训练后量化(PTQ)失效的时间点,则会远早于三值QAT。
- Engram参数不算进12B激活参数里。n-gram表是每层各用一张、彼此独立。只要内存预算还撑得住,混元更愿意把模型能力往高了做。
问:模型一旦编造命令语法或参数标志,CLI就很容易出错。你们如何通过强化学习处理这些问题,同时避免丢失上下文?
混元团队:工具调用准确性上,团队在强化学习数据上下了很大功夫,模型容易出错的高难度案例也被放了进去。奖励机制做得比较细,关键细节上的错误会被罚得更重。
上下文保留方面,强化学习训练用的上下文长度在持续加长,模型压缩上下文的能力也有专门提升。
问:我非常喜欢顺雨最早的ReAct工作。训练Hy4和Hy4 flash执行长时程智能体/CLI循环任务时,多轮强化学习里最难解决的奖励投机(reward hacking)或状态漂移问题是什么?
混元团队:最难的一关是环境设计有漏洞,智能体钻空子。比如得防着它直接上网搜答案,而不是真去解决任务。
问:Hy4 正式版跟 Hy4 preview 一样,推理有时还是会拖很久。这种“想太多”究竟是强化学习的奖励机制造成的,还是训练数据分布导致的?模型能不能自己判断什么时候该停?
混元团队:Hy4追求的是尽可能高的智能水平,思维链(CoT)过长因此是个已知问题。不过这也带来一个好处:可以把它蒸馏成性价比很高的Hy4 flash。flash这边,团队用强化学习把思维链压短。
问:在后训练阶段,最难改善的行为是什么?
混元团队:过度思考。
问:在研发过程中,最困难的时刻是什么?
混元团队:从Hy3扩展到Hy4那段时间最难。数据上做的详细消融实验,离团队期望的充分程度还有距离,训练一开始就带着很多不确定性。说实话,刚开训时相当紧张。
问:除了发布成果,研发过程中本身最让你开心的事是什么?
混元团队:运气不错,训练最后顺利得超出预期。感觉像把筹码全押上,结果真赢了。
三、模型安全:防护措施与负责任的开源
问:Hy4 的红队测试细节让人挺高兴。一般来说,安全调优一加强,开放模型就会拒掉基础的渗透测试、逆向工程或者 CTF 任务。你们是怎么做到不把这些攻防两用的编程提示拒得太狠的?
混元团队:网络安全训练里,重点是防御性任务、漏洞分析和修复,以漏洞利用和进攻性攻击为主的数据则被排除在外。红队评估也会做,用来评估潜在风险。
过度拒绝的问题,仍然是需要重点改进的方向。
问:训练时为什么要把网络安全红队测试数据拿掉?完全可以搭一个执行框架,让模型进到循环里去跑同样的任务。这么做只会让模型变弱,实际收益一点没有。替代方案你们想过没有?
混元团队:过滤这类数据属于更基础的一步,同时还得配合训练中建立起来的拒答安全防护机制。这些都是为了负责任地开源。
问:漏洞发现和逆向工程本身并不天然带有攻击属性。事件响应团队做恶意软件分析、去混淆和取证调查,靠的就是逆向工程,以此摸清攻击者是怎么进来的。站在防御一侧,赶在攻击者前头找到漏洞,本身就是压缩关键基础设施攻击面的重要手段。照这个逻辑,给模型的网络安全能力设限,岂不是让防御方吃亏?何况这类能力天然兼具攻防两面,卡住一头,另一头也会被严重削弱。
混元团队:我们评估下来,Hy4 在漏洞发现上表现较强,漏洞利用方面则相对偏弱。
问:训练和评测过程中,你们上了哪些监控系统?
混元团队:训练、评测全程我们都会盯着潜在的投机行为和失对齐问题,一旦冒头就修复对应的环境。
问:内部跑训练、评测、部署的时候,特别是智能体任务,会采取哪些网络管控手段?比如对出站网络访问设允许列表或阻止列表?另外谢谢你们答得这么细,安全说明我会认真读完。
混元团队:允许列表和阻止列表都会用。评测时我们发现前沿模型钻空子的路子很多,所以环境和这些列表会一遍遍修正。
四、使用与本地部署:硬件配置和工具接入
问:你们是希望用户在家里的硬件上跑这个模型吗?还是说,你们在其他讨论里提过的小型 MoE 模型才是冲着这个来的?就这次 flash 发布,我真开始琢磨买一个服务器机架了。做得不错,也谢谢你们把成果开放给全世界。
混元团队:是的。
问:我还在学本地 AI 模型,问题可能很基础:96GB 显存,内存是“128 RAM”,能跑 flash 吗?
混元团队:能跑。主要权重和注意力模块放 GPU 上,一部分专家层卸载到系统内存,Engram 表也可以放在内存里。
问:Hy4 在 OpenCode、Claude Code 或 Cline 里能开箱即用吗?还是得定制提示词效果才好?换句话说,它能直接顶替现有模型,还是需要额外配置?谢谢!
混元团队:Hy4 和 Hy4 flash 在 OpenCode、Claude Code 和 Cline 里已经被广泛使用。
五、模型能力与评测:编程、写作和真实任务
问:就在五分钟前,Hy4 flash 在我们内部的智能体编程和 PR 审查基准上拿了满分:第一个全部测试都通过的模型,速度还比 Qwen 3.8 Flash Next、GLM 5.3 Flash 和 Deepseek V4.1 Flash 都快。太棒了!
接着问一句,不涉及内部信息的话:你们的智能体编程任务主要覆盖哪些场景?比如 3D、大型单一代码仓库(monorepo)、短时零样本任务、文档编写与代码更新、代码/注释/文件结构的可理解性,还有多轮过程里的代码整洁性——能不能无人介入自主跑数百轮,同时把代码保持整洁?
混元团队:这些场景都在覆盖范围内,任务多样性我们看得很重。
问:创意写作和可读性,你们投入了多少精力?要是有个模型讲事情明显更易读、更好懂,这就是我从 Qwen 3.8 Flash Next 换过去的重要理由。
混元团队:创意写作和可读性我们同样认为很重要,正把它当作重点改进方向。
关注是关注了不少,但还有提升空间。有时候,一个好例子比五段文字更管用。
问:我留意到大语言模型的写作能力在退步。以前我用 Claude 3.5 编辑文本,现在 5.5 已经不用了。能输出勉强够用的代码文档的模型,我只找到 Gemini Pro。Qwen 3.6 的写作也比 3.8 好。这是模型拿代码训练、过拟合了,还是别的原因?
混元团队:这点我们也发现了。我们的判断是,可能和模型的训练目标有关。我们希望模型写出来的东西更像人,少一些套路化表达。正在改,敬请期待!
问:你们会不会考虑多关注一下不可验证的指令遵循能力?我注意到不少西方闭源模型在这方面更强,比如遵守风格约束。
混元团队:记下了!
问:GPQA Diamond、tau bench、IFBench、SWE Bench 这些常见基准的成绩,你们并没放出来,是出于什么考虑?
混元团队:说实话,我们亮出来的是偏新的高难度基准,比如 Agents’ Last Exam、ProgramBench 这类。你点到的那些基准出现得比较早,分数早就挤满了。
问:我注意到以 PHP 为主的代码仓库上的测试结果,Hy4 flash 把 shell 和 DevOps 任务完成得不错,像 ZFS 数据集迁移里的边界情况也扛住了。PHP 类型推断那些特殊麻烦,你们是怎么对付的?
混元团队:训练数据更好,内部评测也多样,再加上“不刻意刷榜”,哈哈。
六、开源与社区:反馈、生态合作和研究者心声
问:翻 llama.cpp 的 PR 时,我看到两天前有人提了支持 Hy4 flash 的 PR。你们是会在模型大范围发布前就跟 llama.cpp 这类项目一起做适配,还是更倾向先发出去、让用户后来补支持?我也赞成别人提的需求,希望能有总参数 35B 至 70B、最高到 120B 的 MoE 模型。
混元团队:llama.cpp 的适配我们正在推,应该过不了多久就会向社区发布。眼下我们跟 vLLM、SGLang 这些社区也在深入合作。
问:最后想请几位答问的研究者聊聊个人感受:参与开放权重模型的研发,你是什么体会?
问:要是能许一个愿,你希望大语言模型以后替你做什么?现实的、天马行空的都行,比如生成动漫伴侣,或者一张完美的馒头图片,这种好玩的回答也完全可以。谢谢你们抽时间参加这次 AMA,期待以后用上你们更多成果!
混元团队:我这个十足的吃货,就盼着大语言模型能给我创出全新的食谱,还得保证做出来的味道正好合我口味!