腾讯混元团队AMA:Hy4之后还有mini版和更大模型
今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球
Q:Hy4 和 Hy4 flash 这两个模型训练时更偏向编程,还是面向通用场景?A:通用用途。
Q:会不会推出尺寸更小的 Hy4-mini?A:当然会,已经排进路线图,等着看就行。
Q:24–31B 这个量级有可能吗?A:有可能,团队正在考虑。
Q:谢谢你们把模型权重开放出来,腾讯是否在考虑推出其他规格?A:在考虑,前沿的 Flash-Lite 模型可以期待一下。
Q:新的开源图像模型有发布计划吗?A:更小尺寸的图像模型会纳入考虑,视频模型也请留意。
Q:我也很关心这类任务能不能跑得动。A:激活参数约 30 亿的 A3B 模型,用来做你提到的任务已经够了。
Q:这些模型是不是已经到容量上限了,把能装的智能都装满了?往后更聪明的 Hy 模型要靠更多参数,还是同等规模下也能更强,比如继续做后训练的 Hy4?A:潜力还很大。
我们判断 Hy4 的提升余地仍然不小,后训练这块尤其明显。大规模强化学习正在重点投入,用户体验和模型安全性也在持续打磨,后续更新可以留意。
另外,更大的模型也在训练计划里。我们相信
Q:字节跳动、Kimi 等公司在推 3T 甚至 5T 的超大规模模型,你们还停在 700B,原因是什么?参数量对智能到底有多大实际影响,这方面有什么打算?
A:规模不大但做得扎实的模型,同样能赢过更大的模型。更关键的是成本更低,过程中能学到和收获的东西也更多。
Q:到 Hy 4.5,参数量会扩到 1.5 万亿至 2 万亿,对吗?A:下一代 Hy 模型的规模肯定会明显再上一个台阶。
Q:有没有可能推出?A:当然有可能,持续关注就好。
Q:
A:这个方向前景不错,团队目前正加紧研究。
Q:对照图中给出的分级([[保留2]]),原提问附上了“Levels of AGI”分级[[保留3]],你们怎么看?
A:按我的判断,大概在 2.5 级。
Q:假如让 Hy4 自己跑起来,你们觉得它眼下能过哪一关?
A:RSI 这块我们还在早期。内部已经搭了几套基准,专门测 RSI 的关键能力。眼下的重点是先把基础打扎实,把模型智能提上去,同时跟产品端贴紧,把用户体验做好。
Q:靠着 Hy4 和后续能力,
A:Hyra 3.0 正在做,等着看吧。
Q:往后强化学习会不会成为你们科研的主攻方向,特别是 Hy4 flash 到 500B 参数这一档中等规模的模型?另外,中国实验室有没有机会在生物学领域撼动 Claude 的位置?
A:科研用的强化学习我们投入不少,安全这块同样看得很重。
//模型技术路线:架构取舍与研发难题
Q:不知道是不是来晚了。训练和架构上我挺好奇:每次动网络层,你们凭啥做判断?比如在 Hy4 初始架构上做 flash 时,哪些层必须留下,是怎么“挑”出来的?确实很想了解。
A:欢迎!Hy4 flash 是站在 Hy4 的技术基础上做的,比如
Q:除了 Hy4 最后定下的方案,团队还认真评估过、但最终没采用的最有竞争力的架构是哪一个?放弃的原因是什么?
A:我们在
好在上了 DSA 之后,MLA 在解码阶段的算力压力降了下来。权衡的结论也跟着变了,最后我们选了 MLA。
Q:和 mHC、Gated Residuals(GR,门控残差)比起来,iHC 的优势在哪里?
A:iHC 比 mHC/GR 简单不少,成本更低,性能却能打平。
Q:Hy4 flash 为什么用 SWA,而不用 Hy4 那套门控 DSA?A:原因在于 SWA 把 KV cache 压到原来的四分之一,模型服务成本随之明显下降。
Q:后面会不会尝试别的注意力机制,比如——A:会,各种架构上的新东西我们都愿意试。
Q:先不算 Engram 参数,Hy4 flash 是 156B-A12B(总参数 1560 亿、激活参数 120 亿,激活比例 7.7%)。Qwen3.8-Flash 为 125B-A6B(激活比例 4.8%);DSv4.1 是 552B-A16B(激活比例 2.9%),到了预填充阶段还会降到 A8B(1.45%)。稀疏度更高是否更优?
A:不同 MoE 稀疏度的规模阶梯实验我们做过,思路类似
但 156B-A8B 或者 A5B 是另一种性质的取舍:总参数量不动,激活参数量减少。按我的判断,模型质量会因此明显受损。计算预算说到底由激活参数量决定。稀疏度提高能靠效率提升找补一部分,找补不全;激活参数一减,计算量就少,模型就弱。
Q:接着这个话题说,我一直盼着有实验室真把稀疏度再往前推一档。200B-A3B 就挺有意思,现在还能把 Engram 加进去。结果可能很糟,也可能很好。速度快是肯定的,而且我认为它一定会比 35B-A3B 模型更聪明。MoE 的上限到底在哪?
A:在我看来,MoE 太稀疏对推理不友好:GPU 显存占得多,算力却用不满(
Q:你说的这套,在数据中心高并行度服务下确实成立。可放到本地运行,情况就不同了——当前硬件市场上,内存带宽偏低,A12B 在 Strix Halo 和 DGX Spark 上跑得慢,QFN 在同样带宽下速度倒还过得去。
A:明白你的意思。端侧模型我们会换一套设计思路,让模型架构和边缘设备上的 GPU 硬件配合得更紧。
Q:Hy4 flash 在内存上的架构挺有意思:KV cache 缩到原来的 1/6 至 1/24,64B 的 Engram 参数卸载到主机内存,12B 激活参数在 128GB 及以上配置上跑得很快。可 220B 的总参数量,就算 Q4 量化也要 130GB 以上,这里大多数单 GPU 用户和 64GB Mac 用户还是扛不住。如果把这套架构缩成“Hy4-Mini”,比如总参数约 30B–35B、激活参数 3B–4B,Engram 嵌入和 Identity Hyper-Connections(iHC)还能带来同样的提升吗?还是说它们只在 200B 以上规模才占优?
A:模型越小,Engram 和 iHC 带来的收益反而越大。
Q:我研究的是中小型稀疏 MoE 模型和量化。手上有个 35B-A3B 模型,256 个专家、top-8、激活参数约 3B,三值量化后约每个权重 2.1 比特(bpw)。我正试着对部分专家张量上 4-bit 量化,再加低秩校正分支,把模型能力找回来。你们激活参数 12B、512 个专家的 LatentMoE 设计,是我目前最接近的参照。问题有五个,大致按对下一步工作的影响程度排:
1. 你们的 IQ2-AH 版本在 gate/up 投影上用 IQ2_XXS,down 投影上用 Q4_K。换到我的 35B 模型上,反着来效果更好:Q4 gate/up 加三值 down,困惑度(PPL)为 2.34;Q4 down 加三值 gate/up 为 2.68;全部三值量化是 2.93。Hy4 里 down 投影一般更敏感吗?还是说这只是 LatentMoE 和 1536 维专家潜空间的特性?你们依据什么信号,决定哪个专家投影多分比特?另外,大型细粒度 MoE 里,按专家做混合精度值不值得费这些周折,还是按张量分配通常就够?
A:普通 Transformer 层里,激活值有离群值,down 投影对量化更敏感,所以比特会给得多一些。位宽靠基于 Hessian 的敏感度来选。按专家做混合精度不如按张量分配,原因是很多推理引擎把所有专家当成一个堆叠矩阵处理,按专家设精度会把这套处理方式弄坏。按张量分配,迁移起来也更省事。
2. 量化之后恢复 MoE 能力,你们会训练路由器吗?我把路由器冻住了,结果出现路由漂移,工具使用能力也退化了;保留原始路由器同样没解决问题。量化后路由器的协同适应是不是非做不可?你们怎么让它稳住?
A:会训练。QAT 过程中,路由器和模型其余部分一起训,路由器才能保持稳定。
3. 量化模型主体冻结的情况下,你们是在 MoE 和注意力模块的输出处加低秩分支,还是用覆盖整个模型的 LoRA/QLoRA,或者对量化权重做量化感知训练(QAT)?稀疏 MoE 里适配器该放哪儿?我在 Transformer 块(block)的输出处用了秩为 512 的分支 LoRA,效果还是不够,不想在更大规模的实验里再走一遍弯路。
A. 我们更倾向全参数 QAT,模型质量更好。LoRA 实验还没做过,适配器放哪儿,给不了建议。
4. 激活参数量由 12B 缩减至 3B 后,哪几项能力会最先掉队?三值或 2-bit MoE 是否存在一个失效的临界点?若手里有一个激活参数 3B 的模型,额外的比特预算或算力预算该投向何处:加大激活参数容量、上 Engram、抬高位宽,还是走潜空间专家?
团队预计,推理深度、长上下文跟踪与工具调用可靠性会最先退化;而 2-bit 训练后量化(PTQ)失效的时间点,会远远早于三值 QAT。
5. 激活参数为 12B 时,Engram 的贡献能占多大比重?把它加进激活参数 3B 的模型是否划算?n-gram 表是每层各用一张,还是全模型共享一张、再靠各层投影区分?内存与能力之间,团队倾向怎么取舍?
Engram 的参数不纳入 12B 激活参数的计算。n-gram 表按层独立设置。只要内存预算还撑得住,团队更愿意把能力做上去。
问:模型一旦编错命令语法或参数标志,CLI 就容易出岔子。团队如何用强化学习应对这类问题,同时又不把上下文弄丢?
答:工具调用的准确性上,团队在强化学习数据上下了很大功夫,其中特意放入了模型容易翻车的高难度案例。奖励也做到了细粒度,关键细节出错会被罚得更重。
上下文保留方面,团队正不断拉长强化学习训练所用的上下文长度,并针对模型的上下文压缩能力做专门提升。
问:顺雨最早的 ReAct 工作我很喜欢。训练 Hy4 和 Hy4 flash 跑长时程智能体/CLI 循环任务时,多轮强化学习里最难缠的奖励投机(reward hacking)或状态漂移问题是什么?
答:最难缠的是环境设计留了漏洞,智能体钻空子拿奖励。比如得防着它直接上网搜答案,而不是真把任务做出来。
问:欢迎!Hy4 正式版和 Hy4 preview 一样,有时推理时间还是偏长。这种“过度思考”是强化学习的奖励设计造成的,还是训练数据分布导致的?模型能不能学会该停就停?
答:Hy4 追求的是把智能水平尽量做高,思维链(CoT)过长因此成了已知问题。不过这也让团队能把它蒸馏成性价比很高的 Hy4 flash。flash 这边,团队用强化学习把思维链压短。
问:后训练阶段,哪种行为最难改?
答:过度思考。
问:研发过程里,最难熬的是哪个时刻?
答:对团队来说,是从 Hy3 扩到 Hy4 那段。围绕数据做的详细消融实验,没达到团队期望的充分程度,所以开训时不确定性很多。说实话,训练刚起步那会儿,心里挺紧张。
问:抛开发布成果不谈,研发过程本身最让你开心的是什么?
答:运气不错,训练最后跑得出奇顺利。感觉像把筹码全押上,结果真赢了。