姚顺雨首场Reddit AMA回应混元路线:Hy4之后还有mini和Flash-Lite
下一代混元将大幅度扩参。
头图由ChatGPT生成。
11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队的研究员出现在Reddit LocalLLaMA社区,办了一场面向全球开发者的公开AMA。这是混元团队史上第一次做这种形式的交流。

图片来源:x
两小时里,姚顺雨和团队一共回答了300多条开发者提问,内容从底层架构怎么取舍,到长期路线怎么规划,再到量化落地的经验和开源生态的适配,当前开源大模型领域几乎所有核心争议和关切都被涉及。而在此前不到一个月,混元刚完成一轮密集的产品发布:11月4日推出的Hy4首次进入全球最强开源模型行列,拿到Agent Arena开源模型榜首、Artificial Analysis中国模型第二;一周后,主打「极致性价比」的Hy4 flash紧跟着上线,单任务成本只有Hy4的二十分之一,上线首日Token调用量就突破50万亿。
再往前推九个月,今年2月,混元才刚把预训练与强化学习基础设施全面重建完。从重建底座到连发两款标杆级模型,九个月里平均每两个月就出一个大版本,靠的是「preview先行、正式版跟进」的研发闭环:真实业务场景的反馈直接进入研发链路,在解决实际问题中完成能力跃升。模型路线上,团队选择双线并行:一方面相信规模化的潜力,继续训练更大的模型去探能力上限;另一方面同步布局小尺寸模型和端侧场景,想在能力、成本与速度之间找一个更务实的平衡点。
具体到技术选择,不管是注意力机制选型、MoE稀疏度设计,还是量化方案怎么取舍,团队的判断都锚定实验结果、硬件适配条件和实际部署效率,参数规模或榜单分数并不是核心决策标准。对当前的能力短板,团队同样没有回避:过度思考仍是后训练阶段的核心难题,创意写作与文本可读性还有提升空间,递归自我改进相关技术还处在早期摸索阶段。
开发者普遍关心的实操问题也在问答范围内,包括本地运行门槛、工具调用适配、开源生态合作进展。安全层面则提到有害数据过滤、训练防护、红队评估等治理机制,团队同时坦言,模型的过度拒绝问题仍需进一步优化。
极客公园从本次Reddit AMA中提炼出核心问题,覆盖模型路线、技术架构、研发难点、开源生态等维度。
混元的整体产品路线是什么?接下来还有哪些新模型?
混元的产品思路是「两端并行」:一头扩大模型与数据规模,探索智能上限;一头压低推理成本,主打极致性价比,Hy4与Hy4 flash分别对应这两个方向。后续路线也已经清晰:更小尺寸的Hy4-mini、Flash-Lite模型已在规划中;24–31B稠密模型正在评估;5–12B级小型开源图像模型、新一代视频模型都在考虑范围之内;循环式MoE、持续学习等前沿方向也在积极研究。
不跟风3T/5T超大规模参数,混元对模型规模的判断是什么?
团队认为,打磨扎实的小尺寸模型同样能胜过大参数模型,部署成本还更低,研发过程中也能沉淀更多技术经验。不过混元同时相信Scaling law的有效性,下一代模型的参数量会显著扩大,会持续向更大规模投入研发。
Hy4与Hy4 flash的架构核心差异在哪?关键取舍逻辑是什么?
Hy4 flash继承了Hy4的iHC、门控MLA、DSA技术底座,同时新增混合SWA、LatentMoE、Engram三大组件。
每一项架构选择都围绕「性能-成本-硬件适配」做综合权衡。比如改用SWA替代门控DSA,KV cache体积能压缩到原有的1/4,服务成本随之大幅下降;DSA技术则解决了MLA解码阶段计算强度过高的问题,团队在长期权衡后放弃GQA,选择了效果更优的MLA。另外,iHC、Engram这类架构创新并非大模型专属,用在小尺寸模型上带来的性能收益甚至更大。
MoE是不是越稀疏越好?极端稀疏路线为什么行不通?
在激活参数量固定的前提下,提高稀疏度确实能提升计算效率;但如果总参数量不变、只是单纯降低激活参数,模型质量会明显受损——激活参数本质上决定了计算预算,稀疏度带来的效率提升填不上计算量减少造成的能力损失。放到数据中心部署看,过于稀疏的MoE并不友好:占掉大量显存却用不满算力,相同吞吐量下,还不如跑总参数相当、激活参数更高的模型;端侧场景则会采用独立的架构-硬件协同设计思路。
端侧视觉模型的最小可用规模是多少?多模态有什么规划?
面对图像推理、UI/图表理解这类深度视觉任务(不是单纯的OCR或图像描述),团队验证过,激活参数约30亿(A3B)级别的模型已经能支撑相关能力。
多模态产品线上,团队还在酝酿 5–12B 规模的小型开源图像模型,目的是把本地部署的门槛压下来;新一代混元视频模型同样在推进当中。

图片来源:reddit
后训练阶段最难解决的问题是什么?
「过度思考」被团队视为后训练阶段最不好收拾的一个毛病。Hy4 追求极致智能,思维链偏长是早就知道的事;Hy4 flash 则用强化学习专门管住思维链的长度,把效率放在第一位。
长程智能体任务上,强化学习要落地,最大的坎是环境漏洞带来的「奖励投机」——智能体不自己解题,转头去搜答案交差。这需要一遍遍修正环境规则和奖励机制。
MoE 量化如何避免能力退化?混元有哪些实操经验?
团队在这件事上攒下了四点经验:
- down 投影的激活值里存在离群值,对量化更敏感,位宽分配时会给它更多比特;具体分多少,靠 Hessian 敏感度来判断。
- 精度颗粒度方面,团队更愿意按张量来分配混合精度,而不是逐个专家去设,免得打乱推理引擎处理堆叠矩阵的逻辑。
- 做量化感知训练(QAT)时,路由器跟模型主体一起训,路由漂移和工具调用能力退化都能避开。
- 方案取舍上,全参数 QAT 的模型质量好过 LoRA 类适配器方案,是团队的首选。
对标行业 AGI 分级,Hy4 处在什么水平?提升空间还有多大?
团队给 Hy4 的自评是 AGI 分级 2.5 级。他们同时明确,Hy4 离容量上限还远,后训练层面仍有很大提升余地;眼下正大规模投入强化学习技术,用户体验和模型安全性也在持续优化。
递归自我改进(RSI)进展如何?当前研发优先级怎么排?
递归自我改进还处在早期,团队已经做了若干内部基准来评估核心能力。不过 RSI 并不是当前排在最前面的任务。现阶段的核心目标是打牢模型基础能力、把通用智能水平提上去,再结合产品场景把真实体验磨好,模型自我迭代并不优先。
开源模型如何平衡安全能力与「过度拒绝」问题?
安全上,混元走的是有害数据过滤、训练防护、红队评估三级机制,以此来推进负责任开源:网络安全方向重点训练漏洞分析、修复这类防御性任务,进攻性利用类的数据则被过滤掉。团队也承认,减少过度拒绝是重要的改进方向。内部评估显示,当前 Hy4 找漏洞的能力较强,利用漏洞的能力相对偏弱。
本地部署的门槛有多高?开源生态适配进展如何?
硬件门槛方面,96GB 显存加 128GB 系统内存就能跑 Hy4 flash;部分专家层和 Engram 表可以卸载到主机内存,显存压力随之降低。生态适配上,llama.cpp 的适配正在推进,即将向社区发布;vllm、sgl 等主流推理框架社区也已深度合作。
现在 Hy4 和 Hy4 flash 已经能直接在 OpenCode、Claude Code、Cline 等开发工具里使用。
为什么不卷传统基准榜单?混元的评测理念是什么?
混元在评测上有一条底线,叫「评测真实性」:模型行不行,要看它在真实任务里的表现,榜单分数不作数。
团队发现,GPQA、SWE-bench 这些传统基准的分数已经饱和,参考意义在往下走。所以混元更愿意亮出 Agent 编程、真实工程任务这类高难度新基准上的成绩。研发时也不专门去刷榜,而是拿更丰富的训练数据、内部多种真实任务评测,一点点把模型的实际可用性磨出来。