姚顺雨现身Reddit答问两小时:混元后训练最难的问题,是过度思考-钛媒体官方网站

资讯 钛媒体 全文 2939 字 · 约 8 分钟读完 配图 1 张 分类混元Hy4腾讯推理模型

Hy4追求智能上限,思维链过长是已知问题。

所属频道 大厂动态模型发布开源生态

姚顺雨现身Reddit答问两小时:混元后训练最难的问题,是过度思考-钛媒体官方网站(配图 1)

开源大模型之间的较量,如今越来越看开发者社区里的真实口碑,而不只是榜单上的名次。北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员现身Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队头一回在开发者社区公开答问,三百多条留言涌进来,从架构怎么取舍一直问到安全评测怎么做。

往前推不到一个月,混元先后发了两款模型。11月4日亮相的Hy4第一次进入全球最强开源模型的行列,在第三方评测机构Artificial Analysis的智能指数榜单上排中国模型第二,在Agent Arena榜单上则拿下开源模型第一。一周多之后登场的Hy4 flash,定位是“日常工作的极致性价比模型”,单任务成本只有Hy4的二十分之一。

九个月,两次发布

时间线大致是这样:

  • 今年2月,混元把预训练与强化学习的基础设施重建了一遍,定下三条原则:能力要体系化,不做偏科的模型;评测要真实,用真实任务检验模型而不是看榜单分数;性价比要追,让智能用得起、也用得好。
  • 打那以后,基本每两个月就迭代一个大版本,走的是“preview先行、正式版跟进”的路子,把真实使用中的反馈不断带回研发环节。
  • 11月4日,Hy4发布,跻身全球最强开源模型之列。
  • 一周多后,Hy4 flash发布,单任务成本降至Hy4的二十分之一。

从2月那次重建算起,不过九个月。

Hy4和Hy4 flash各有各的走法。前者把模型尺寸和数据规模往上推,去探智能的上限;后者压成本,让日常任务用得起。

答问中团队确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者提到字节跳动、Kimi等公司在推3T甚至5T参数的超大规模模型,而混元还停在700B级,团队的回答是:Hy3和Hy4已经说明,做得扎实的较小模型往往能赢过更大的模型,成本还更低,过程中学到的东西也更多。

产品线的另一头,Hy4 mini已经排上路线图,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型也在考虑,视频模型同样有了新消息。端侧视觉理解方面,团队的判断是激活参数约30亿的A3B模型已经能接下理解截图、图表并展开推理的活儿。

路线图上还留着循环式MoE和持续学习的位置。前者的回应是“当然有可能,请持续关注”,后者正在积极研究中。支撑研发的训练基础设施也在换代,Hyra 3.0已在开发。

取舍先于参数

为什么最后选MLA而不是GQA,团队讲了一段反复权衡的经过。MLA的计算强度比GQA高出一截,在推理GPU上做推测解码时,瓶颈会卡在算力上。可同样的KV cache大小下,MLA的模型质量又比GQA好。引入DSA之后,解码阶段的计算强度降了下来,天平也就跟着倾斜了。

Hy4 flash另外几项设计,走的是同一套取舍思路。SWA把KV cache压到原来的四分之一,服务成本明显下降。再配合将64B Engram参数卸载到主机内存的做法,128GB以上配置就能流畅跑起激活参数12B的模型。

有开发者摆出一组稀疏度对比:Hy4 flash不含Engram是156B总参数、激活12B,激活比例7.7%;Qwen3.8-Flash为4.8%,DSv4.1低到2.9%。激活密度高一点对智能有多要紧?团队拿规模阶梯实验来答:激活参数量固定时,稀疏度提高能换来计算效率。可要是总参数不变、单纯砍激活参数,模型质量会明显受损,因为激活参数量说到底决定了计算预算。

在团队看来,过于稀疏的MoE架构对推理并不友好,显存占了一大堆,算力却用不充分。同样的吞吐量下,完全可以跑总参数相同、激活参数更多的模型。端侧又是另一套思路,架构得跟边缘设备的GPU硬件配合得更紧。

问到量化方案,回答是down投影因为激活值有离群点,对量化更敏感,会被分到更多比特,位宽按Hessian敏感度来选。量化之后路由器会跟着QAT一起训练以保持稳定,团队也更偏向全参数QAT,理由是模型质量更好。这部分是整场答问里工程细节最密集的地方。

最难的是过度思考

后训练阶段最难改的行为是什么?回复只有四个字:过度思考。Hy4奔着智能上限去,思维链过长是已知的老问题。解法带着产品闭环的味道——把Hy4的长思维链蒸馏给高性价比的Hy4 flash,再用强化学习给后者把思维链压短。

有开发者拿写作说事,称一个模型如果能把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应说创意写作与可读性非常重要,正作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

至于Hy4能不能自主运行、发展出下一代模型,回应是递归自我改进能力还早,不过已开发出若干内部基准来评估关键能力。被要求按Levels of AGI分级给Hy4定位时,团队成员的自评是2.5级。

技术提问之间,夹着不少研发往事的回忆。团队把从Hy3扩到Hy4的阶段称作最难的时刻:数据消融实验没达到预期,训练刚启动时前景不明。姚顺雨的原话是“训练刚开始时,我相当紧张”。而结果在团队的回忆里则是另一番景象——“感觉就像把筹码全押上,结果真的赢了”。

把限制说清楚,也是一种开源

混元在训练阶段就筛除了以漏洞利用和进攻攻击为主的网安数据,训练中另有拒答防护,红队评估也做了。按团队的说法,开源同样要负责任。有开发者追问:这么处理是否会削弱防御一方,限制逆向工程又会不会波及恶意软件分析和取证。团队评估后称,Hy4 的漏洞发现能力较强,漏洞利用能力相对偏弱。至于过度拒绝,团队也承认这仍是需要重点改进的地方。

llama.cpp的适配正在推进,不久后会向社区发布;与vllm、sgl的合作也在加深。Hy4和Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用,回答里点到了具体项目和工具名。答问进行到中途,还有开发者插播实测:Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型,速度快过Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash。

为什么不公布GPQA Diamond、SWE Bench这类常见基准的成绩?团队的解释是,这些基准推出得早,分数已经饱和,他们拿出来的是Agents’ Last Exam、ProgramBench等更新、难度更高的基准。评测真实性这条原则,也从内部信条变成了对外的公开表态。

三百多条留言里,开发者追问的不只是跑分,真实任务表现、使用成本、生态适配都被反复提起。开源模型比拼的维度,比榜单上看到的更宽。两小时里,混元团队排出的优先次序是:先把基础打牢,让模型在真实任务中更好用,再去持续摸能力的边界。

那些被亲口承认的未解问题——过度思考、创意写作、递归自我改进——拼成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施;九个月后,两款模型加上一场两小时的答问,成了重建之后的阶段性成绩。

剩下的,交给下一个版本。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  2. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  3. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  4. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  5. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  6. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  7. Hy4 flash横评:办公任务首稿最快,成本1.66元低于DeepSeek

    作者|董道力微信|ddl941110腾讯发布新一代旗舰模型 Hy4 的时候就预告即将发布一款 Flash 模型,十二天后 Hy4 flash 如期而至并在今天宣布开源,开发者可以在 GitHub、 Hugging Face 等地方直接下载部署。看着旗舰模型攻城略地、在各种极限榜单上刷新上限固然过瘾,但回到真实的工作场景

    来源 腾讯网
  8. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  9. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
  10. OpenAI反蒸馏防护见效:GPT-6.2 Astra思考链提取率降至0.2%

    IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以

    来源 AI 行业观察
  11. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  12. WorkBuddy上线电脑操控:无接口软件也能点击输入,公测支持Win/macOS

    11月20日,WorkBuddy宣布上线电脑操控能力,可识别桌面应用界面并执行点击、输入和滚动,即使目标软件没有API、连接器或网页版,用户也能用自然语言指令完成查询、录入。该功能可用于老旧业务系统和未开放接口的软件,目前处于公测阶段,支持Windows和macOS,需升级至5.11.0及以上版本并授予相关系统权限。

    来源 凤凰科技
向下滚动自动加载更多