腾讯混元深夜AMA:为什么停在700B,姚顺雨团队回应
“像赌一把全押”,腾讯姚顺雨领衔混元开源后的一场深夜问答
北京时间11月21日凌晨刚过零点,腾讯首席AI科学家姚顺雨带着混元团队现身海外社交媒体社区,进行了一场文字AMA(公开问答)。全球开发者抛来的问题,前后答了两个多小时。
在这些提问的开发者看来,中国的开源模型已经形成一张彼此对照的名单,混元被摆在一起比较的是千问和Kimi。
有人当面问:字节跳动、Kimi等的参数量似乎都在朝3T乃至5T推,你们为何停在700B?混元团队的答复是:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。”
团队同时承认,Hy4还有不小的提升余地,后训练是重点方向。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”
团队成员在谈到开发过程中最难熬的阶段时表示:“Hy3 到 Hy4 这一步走得特别不容易。详细的消融实验我们做得并不多,所以训练刚起步时,未知因素一大堆。刚开始训练那会儿,我确实特别紧张。没想到训练到最后会那么顺。说白了,就像把所有筹码都押上去赌了一把,居然还赌赢了。”
技术取舍方面,混元团队透露了架构选型的曲折:在MLA(Multi-head Latent Attention,多头潜在注意力)与GQA(Grouped Query Attention,分组查询注意力)之间,他们来回权衡了相当长一段时间。MLA的计算强度比GQA高得多,推理GPU上做规格解码时会撞上算力限制;可在相同的KV缓存大小下,MLA的模型质量又优于GQA。
转机来自DSA(DeepSeek Sparse Attention)的引入,它把MLA解码阶段的算力消耗降了下来,天平随之倾斜,团队最终拍板选MLA。说白了,就是挑了一个更吃算力、效果也更好的注意力方案,再用稀疏注意力把推理开销压回去。
被问到后训练中最难纠正的行为,混元团队只给了四个字:过度思考。