姚顺雨率混元团队Reddit首答:两小时聊了什么?

资讯 网易科技 作者:网易 全文 2939 字 · 约 8 分钟读完 配图 1 张 分类混元腾讯

姚顺雨现身Reddit答问两小时:混元后训练最难的问题

所属频道 大厂动态开源生态

姚顺雨率混元团队Reddit首答:两小时聊了什么?(配图 1)

开源大模型之间的较量,眼下正从排行榜上的分数,转向开发者社区里的真实评价。

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员,出现在Reddit的r/LocalLLaMA社区,进行了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队第一次在开发者社区公开答问,一共收到三百多条留言,从架构怎么取舍一直聊到安全评测。

往前不到一个月,混元刚连着发布了两款模型。11月4日的Hy4第一次进入全球最强开源模型行列,在第三方评测机构Artificial Analysis的智能指数榜单上排中国模型第二,在Agent Arena榜单上则拿下开源模型第一。一周多之后发布的Hy4 flash,定位是“日常工作的极致性价比模型”,单任务成本只有Hy4的二十分之一。

九个月里,发布了两次

从时间节奏来看:

  • 今年2月,混元重建预训练与强化学习基础设施,定下三项原则:能力体系化,不做偏科的模型。评测真实性,用真实任务检验模型,而不是看榜单分数。性价比追求,让智能用得起、用得好。
  • 这之后基本每两个月迭代一个大版本,走的是“preview先行、正式版跟进”的路子,把真实使用中的反馈不断带回研发。
  • 11月4日,Hy4发布,跻身全球最强开源模型之列。
  • 一周多后,Hy4 flash发布,单任务成本降到Hy4的二十分之一。

距2月那次重建,只过去了九个月。

Hy4和Hy4 flash的分工,对应着两条路线。前者把模型尺寸和数据规模做大,去探智能的上限;后者压成本,让日常任务用得起。

答问中团队确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者提到字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元还停留在700B级,团队的回应是:Hy3和Hy4已经说明,做得扎实的较小模型,常常能胜过更大的模型,成本还更低,过程中学到的东西也更多。

产品线的另一头,Hy4 mini已经出现在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型也在考虑之中,视频模型同样有了新消息。端侧视觉理解方面,团队判断激活参数约30亿的A3B模型,已经能承担理解截图与图表并展开推理的任务。

路线图上还留着循环式MoE与持续学习的位置,前者的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在换代,Hyra 3.0已在开发中。

取舍排在参数前面

被问到为什么最后选了MLA而不是GQA,团队讲了一段反复权衡的经过。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会卡在算力上。可在相同的KV cache大小下,MLA的模型质量比GQA更好。引入DSA之后,解码阶段的计算强度被压了下来,权衡的天平也就跟着倾斜。

Hy4 flash的另外几项设计,延续的是同一套取舍。SWA把KV cache降到原来的四分之一,服务成本明显下降。再配合把64B Engram参数卸载到主机内存的设计,128GB以上配置就能流畅运行激活参数12B的模型。

有开发者列出一组稀疏度对比:Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%。Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。更高的激活密度对智能有多重要?团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会明显受损,因为激活参数量本质上决定了计算预算。

在团队看来,过于稀疏的MoE架构对推理并不友好,占着大量显存却用不满算力。相同吞吐量下,完全可以跑总参数相同、激活参数更多的模型。端侧则是另一套思路,架构要和边缘设备的GPU硬件更紧密地协同设计。

量化这块,down 投影对量化更敏感,原因是激活值里有离群点,因此分到的比特更多,位宽靠 Hessian 敏感度定。量化完成后,路由器会跟 QAT 一起训练,为的是保持稳定;团队更愿意走全参数 QAT,觉得这样模型质量更好。整场答问里,工程细节讲得最密的就是这组回答。

最难的是过度思考

问到后训练阶段哪种行为最难改,答复就四个字:过度思考。Hy4 要冲智能上限,思维链偏长是早就知道的问题。办法带着产品闭环的意味:先把 Hy4 的长思维链蒸馏给性价比更高的 Hy4 flash,再用强化学习让后者把思维链压短。

有开发者拿写作当理由发问,说一个模型如果能把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

那 Hy4 能不能自己跑起来、再长出下一代模型?回应是递归自我改进还早,不过内部已经做了几个基准,用来评估关键能力。有人请团队按 Levels of AGI 分级给 Hy4 定位,成员自评是 2.5 级。

技术提问之外,聊天里也夹杂着研发往事的回忆。团队把从Hy3扩到Hy4的阶段称作最难熬的一段:数据消融实验没达到预期,训练刚启动时前景不明,有人直言“训练刚开始时,我相当紧张”。而在事后复盘时,这段经历被形容成“感觉就像把筹码全押上,结果真的赢了”。

把边界讲明白,本身也是一种开源态度。

为了让开源做得更稳妥,混元在训练数据中剔除了以漏洞利用、进攻攻击为主的网安内容,再叠加训练层面的拒答防护,并做了红队评估。有开发者担心,这么做会削弱防守一方;限制逆向工程,也会波及恶意软件分析和取证。团队给出的评估结论是:Hy4发现漏洞的能力较强,利用漏洞的能力偏弱。至于过度拒绝,团队也承认这仍是需要重点改进的方向。

生态适配方面,llama.cpp的支持正在推进,不久后将向社区发布;与vllm、sgl的合作也在加深。Hy4和Hy4 flash已经被广泛用于OpenCode、Claude Code和Cline,回答里点明了具体项目和工具名。答问进行到一半,还有开发者插进来做实测:在其内部的智能体编程与PR审查基准上,Hy4 flash成为首个拿到满分的模型,完成速度超过Qwen 3.8 Flash Next、GLM 5.3 Flash和DeepSeek V4.1 Flash。

那为什么没公布GPQA Diamond、SWE Bench这些常见基准的成绩?团队的说法是,这些基准问世较早,分数早已饱和,他们拿出来的是Agents’ Last Exam、ProgramBench等更新、更难的任务。评测要讲真实性,这条原本属于内部信条,如今变成了对外的公开表态。

三百多条留言中,开发者盯的不只是跑分,真实任务里的表现、用起来的成本、生态适配情况都被反复追问。开源模型之间的较量,维度比榜单上看到的更宽。两小时里,混元团队给出的优先次序是:先把基础打扎实,让模型在真实任务中更趁手,再去摸能力的边界。

那些被亲口承认还没解决的问题——过度思考、创意写作、递归自我改进——正好拼成了下一轮迭代的路线图。九个月前,混元重建了预训练与强化学习的基础设施;九个月后,两款模型加上这场两小时的答问,成了重建之后的阶段性成果。思路还是那句话:基础先打牢,边界再探索。

余下的部分,留给下一个版本去回答。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  2. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  3. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  4. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  5. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  6. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  7. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  8. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  9. 秦淮数据联合腾讯等推出GW级AIDC柔性互联电气架构

    【TechWeb】11月19日消息,在“2026 CDCC SUMMIT 中国数据中心标准大会”期间,由CDCC、秦淮数据联合主办的“GW级算力基础设施创新实践论坛”成功举办。秦淮数据CTO薛国庆在会上表示:“GW级时代,算力与能源两条曲线加速攀升、抖动加剧。‘柔性’作为新范式,贯穿架构、能源、交付与运维全链路。它不是

    来源 AI 行业观察
  10. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  11. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
  12. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  13. WorkBuddy上线电脑操控:无接口软件也能点击输入,公测支持Win/macOS

    11月20日,WorkBuddy宣布上线电脑操控能力,可识别桌面应用界面并执行点击、输入和滚动,即使目标软件没有API、连接器或网页版,用户也能用自然语言指令完成查询、录入。该功能可用于老旧业务系统和未开放接口的软件,目前处于公测阶段,支持Windows和macOS,需升级至5.11.0及以上版本并授予相关系统权限。

    来源 凤凰科技
向下滚动自动加载更多