腾讯混元深夜AMA:为什么停在700B,姚顺雨团队回应

资讯 网易科技 作者:网易 全文 788 字 · 约 2 分钟读完 分类混元腾讯开源

“像赌一把全押”,腾讯姚顺雨领衔混元开源后的一场深夜问答

所属频道 大厂动态开源生态

北京时间11月21日凌晨刚过零点,腾讯首席AI科学家姚顺雨带着混元团队现身海外社交媒体社区,进行了一场文字AMA(公开问答)。全球开发者抛来的问题,前后答了两个多小时。

在这些提问的开发者看来,中国的开源模型已经形成一张彼此对照的名单,混元被摆在一起比较的是千问和Kimi。

有人当面问:字节跳动、Kimi等的参数量似乎都在朝3T乃至5T推,你们为何停在700B?混元团队的答复是:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。”

团队同时承认,Hy4还有不小的提升余地,后训练是重点方向。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”

团队成员在谈到开发过程中最难熬的阶段时表示:“Hy3 到 Hy4 这一步走得特别不容易。详细的消融实验我们做得并不多,所以训练刚起步时,未知因素一大堆。刚开始训练那会儿,我确实特别紧张。没想到训练到最后会那么顺。说白了,就像把所有筹码都押上去赌了一把,居然还赌赢了。”

技术取舍方面,混元团队透露了架构选型的曲折:在MLA(Multi-head Latent Attention,多头潜在注意力)与GQA(Grouped Query Attention,分组查询注意力)之间,他们来回权衡了相当长一段时间。MLA的计算强度比GQA高得多,推理GPU上做规格解码时会撞上算力限制;可在相同的KV缓存大小下,MLA的模型质量又优于GQA。

转机来自DSA(DeepSeek Sparse Attention)的引入,它把MLA解码阶段的算力消耗降了下来,天平随之倾斜,团队最终拍板选MLA。说白了,就是挑了一个更吃算力、效果也更好的注意力方案,再用稀疏注意力把推理开销压回去。

被问到后训练中最难纠正的行为,混元团队只给了四个字:过度思考。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  2. 姚顺雨回应混元为何不追5万亿参数:Hy4仍待改进,计划训更大模型

    IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还

    来源 AI 行业观察
  3. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  4. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  5. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  6. 香山开源处理器核:从雁栖湖到昆明湖,企业为何开始把它装进芯片

    在2026年11月的集成电路设计业展览会(ICCAD-Expo 2026)上,北京开源芯片研究院的展台里展示了搭载进迭时空CPU芯片V100的RISC-V服务器,V100是业内首颗完整符合RISC-V服务器规范的计算芯片,代表着RISC-V正在迈向真正可部署、可规模化应用的数据中心市场。这颗芯片内集成46颗RISC-V

    来源 AI 行业观察
  7. 秦淮数据联合腾讯等推出GW级AIDC柔性互联电气架构

    秦淮数据与清华大学领衔,联合北京大学、腾讯、南方电网数字电网研究院,共同发布“玄衡·GW级AIDC柔性互联电气架构”。面向极智运维新趋势,秦淮数据同步推出“黑灯数据中心”方案,推动运维模式实现从感知、分析到执行、决策的全景升级。

    来源 TechWeb
  8. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
向下滚动自动加载更多