姚顺雨谈混元路线:Hy4 后训练还有空间,将训练更大模型
腾讯混元团队在 Reddit 举办 AMA,回应为何未跟进万亿参数模型。团队称 Hy3 和 Hy4 证明小模型做扎实也能胜出,成本更低,但仍计划训练更大规模模型。##腾讯混元##姚顺雨##大模型#
11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队成员出现在 Reddit,进行了一场持续 120 分钟的 AMA,面向全球开发者回答关于混元的各种问题。
有人提到,字节跳动、Kimi 等似乎都在朝 3 万亿乃至 5 万亿参数的超大模型推进,混元却还停留在 7000 亿,追问其中原因,以及参数量对模型能力的实际影响和团队的相关计划。
混元团队的说法是:“Hy3 和 Hy4 已经表明,小模型只要做得扎实,同样能胜过更大的模型。这类模型的成本还更低,而且在这个过程中,能学到的东西更多、收获也更大。”
但团队也承认,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”
被问到是否会推出 240 亿到 310 亿参数的稠密模型时,该团队表示:“有可能,我们正在考虑。”
至于会不会发布对标 Qwen 27B 稠密模型的小模型,团队的回答是:“第一个,有可能。第二个,大概不会。”

姚顺雨本科毕业于清华大学姚班,后获普林斯顿大学计算机科学博士学位,2024 年加入 OpenAI,参与智能体产品 operator 与 deep research 的开发。他的研究聚焦语言智能体与现实世界交互,提出的 ReAct 方法首创“推理 — 行动”结合的智能体范式,被学术界与工业界广泛采纳。
腾讯在 2025 年 12 月对大模型研发架构做了升级,新设 AI Infra 部、AI Data 部、数据计算平台部,把大模型研发体系和核心能力整体加强。姚顺雨担任“CEO / 总裁办公室”首席 AI 科学家,汇报对象是腾讯总裁刘炽平;他还兼任 AI Infra 部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。
今年 7 月,腾讯把混元多模态模型部门与大语言模型部门合并为基础模型部,由姚顺雨统一管理,目的是提升模型研发和协同效率,探索全模态模型的智能上限。