姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图

资讯 AI 行业观察 作者:衡宇 全文 3493 字 · 约 9 分钟读完 配图 9 张 分类混元腾讯

Hy小模型已经在路线图上,面向24GB显存的模型也有计划。

所属频道 大厂动态开源生态

今天凌晨,姚顺雨和腾讯混元团队现身Reddit社区,围绕刚发布的Hy4与Hy4 flash办了一场AMA。

Hy小模型已经排进路线图,面向24GB显存的版本同样在计划之中。

AMA即「Ask Me Anything」,意思是「有什么想问的,尽管问」。网友在评论区发问,混元团队成员直接回帖作答。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 1)

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 2)

参与名单上只挂了Reddit账号,哪个马甲是姚顺雨,目前还没对上号……

这场AMA的主角,是混元本月接连发布的两款模型。

11月4日发布的Hy4是旗舰,能理解文本、图像和视频,适合长程软件工程这类需要多步推理、反复调用工具的复杂任务。

11月16日发布的Hy4 flash,主打日常办公的速度和成本。它支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。

Hy4和Hy4 flash都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里的修表、改文档、做PPT等典型任务纳入了内部评测WorkIndex,按这套评测测算,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。

两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置:96GB显存、128GB内存,能跑Flash吗?

团队说能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。

也有人问llama.cpp,团队说适配正在做。

聊到研发,团队还透露了不少训练背后的秘诀。

Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。

让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。

有网友追问,后训练阶段哪类行为最难改,团队给出的回答只有“Overthinking”,也就是过度思考。旗舰 Hy4 的推理链有时候拉得比较长。到了 Flash 上,团队的做法是先拿旗舰模型做蒸馏,再用强化学习把推理链缩短。

从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。

以下是AMA问答节选,按主题编排,中文译文有删节。

Enjoy~

Hy4为什么「想太久」,Flash又是怎么训练的?

网友:Hy4 正式版和 Hy4 preview 一样,偶尔也会想太久。这到底是强化学习的奖励设计造成的,还是训练数据分布的问题?模型能不能自己学会该在什么时候停?

混元团队:Hy4 追求的是尽可能把智能水平做高,推理链偏长这一点我们清楚。可以把 Hy4 蒸馏成成本更低的 Hy4 flash,再在 Flash 上用强化学习把推理链压短。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 3)

网友:后训练阶段,最难改善的是哪种模型行为?

混元团队:过度思考。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 4)

网友提问:Hy4的参数规模还能往上走多少?将来要做出更强的模型,是不是非得继续堆参数?

混元团队回应:Hy4的提升余地其实还很大,后训练尤其明显。团队正在投入大规模强化学习,同时继续打磨用户体验与模型安全性。更大规模的模型训练也已列入计划。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 5)

有网友问:拿Hy4和Hy4 flash去跑长程Agent任务,多轮强化学习中最难啃的骨头是什么?

混元团队答:训练环境的设计一旦有漏洞,模型就会找空子刷奖励,这是最麻烦的地方。举个例子,得堵住Agent直接上网搜现成答案的路子,逼它自己把任务完成。

网友接着问:命令行任务里,模型写错一个参数,命令就可能跑不通。工具调用的准确率怎么提?长任务中前文信息又怎么记住?

混元团队表示:强化学习数据里已经掺入了模型常犯错的难例,奖励机制也拆得更细,关键细节写错扣分更狠。长任务方面,团队一边持续拉长强化学习所用的上下文,一边增强模型压缩上下文、留住关键信息的能力。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 6)

网友问:姚顺雨常讲,挑训练数据得有判断力。一批数据到底好不好,你们怎么看?

混元团队答:数据质量要拆成很多维度看,领域不同、任务不同,标准也不一样。不管是请人类专家还是用智能体,设计和清洗数据都很费功夫。到头来还得靠实验说话——这批数据能不能带来提升,跑过才知道。

网友关心:HyRA 2.0实验里,Hy4带来的增益主要出自哪里?有没有发现新的架构改进或数据配比?

混元团队解释:这一轮提升大头在底层吞吐优化。模型要想更深地参与研发,判断训练方案的能力还得往上提。用AI做AI研发,本身就是周期长、难点密布的事。

网友追问:Hy4和HyRA 2.0已经帮着改进了训练基础设施,也训出了更好的小模型。下一步会做什么实验,验证这一轮训出的模型在下一轮更擅长研发?

混元团队只回了一句:HyRA 3.0正在做,敬请期待。

网友问:要是让Hy4自己跑,它现在能靠递归自我改进造出下一代模型吗?这种能力你们怎么评估?

混元团队答:递归自我改进还处在早期阶段,内部已经设了几项基准,用来衡量其中的关键能力。

Flash的参数花在哪儿了?

网友提问:不算Engram,Hy4 flash主干大约1560亿参数,每个Token激活约120亿。总参数不动,把激活参数压到80亿或50亿,效果会掉多少?

混元团队回应:不同MoE稀疏度的规模实验做过不少。激活参数量固定时,稀疏度提上去,计算效率会变好。可总参数固定、激活量降到80亿或50亿,按团队的预计,模型质量会明显下滑。每个Token能用多少计算,由激活参数量决定,提高稀疏度只能补回一部分。

网友又问:Hy4 flash为什么给Engram分约635亿参数?这个比例怎么定下来的?

混元团队说:实验里跑出了一条U形曲线。把Engram计入总参数量后,Engram占比在三分之一上下时,最接近实验中的最优点。占比再往下压,计算效率就会掉。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 7)

网友问:Flash为什么选滑动窗口注意力(SWA)?

混元团队答:滑动窗口注意力把KV缓存压到原先的约四分之一,部署成本随之明显下降。

小模型、本地部署和下一步

网友问:会有Hy4 mini吗?也有人想要比Flash更轻的版本,用来跑文档解析、分类和简单自动化。

混元团队答:Hy小模型已经进了路线图。

有网友问,下一代的Hy模型会不会做到1.5万亿至2万亿参数?

混元团队回应称,下一代Hy模型的规模会明显再往上走。

也有人打听,是否会推出更轻的Flash-Lite,拿去处理文档解析、分类和简单自动化这类活儿。

团队给出的答复是:有,Flash-Lite可以期待一下。

网友追问,有没有面向24GB显存设计的模型计划?

混元团队表示有,后续会发布。

一位网友说自己手上是96GB显存加128GB系统内存,问能不能跑Hy4 flash。

团队答:能跑。主要权重和注意力计算交给GPU,一部分专家层可以卸载到系统内存,Engram表同样能放进内存里。

另有网友做了对比测试:同一个工作任务,托管版Hy4 flash全对,本地NVFP4版本却错了约8%。他问这是不是模型本身更难量化。

混元团队解释,量化效果跟采用的方法、校准方式关系很大。团队建议改用GPTQ量化的NVFP4版本,在自家评测里这一版与BF16的差距较小,对准确率敏感的任务更合适。

网友关心llama.cpp的支持会怎么推进,是否会提前和推理框架社区合作。

团队回复,llama.cpp适配正在进行,预计近期在社区放出;同时也与vLLM、SGLang等社区保持合作。

有人问现有的Hy4 flash还会不会继续更新。

混元团队确认会更新,目前正在优化Flash级模型的预训练和后训练方案。

怎么看模型的表现

网友提出疑问:GPQA Diamond、τ-bench、IFBench、SWE-bench这些常见评测,为什么没有公布成绩?

团队的说法是,他们选的是Agents’ Last Exam、ProgramBench这类更新、更难的评测。网友提到的那几项出现时间更早,分数已经接近饱和。

还有网友感觉部分模型的写作能力在退步,问是代码训练用太多导致过拟合,还是另有原因。

混元团队称也观察到了这个现象,可能跟训练目标有关。团队希望模型写出来更像人、套话更少,相关改进正在进行。

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 8)

One More Thing

到这里,这轮QA实录就结束了。

想亲自试Hy4 flash的话,打开WorkBuddy,在模型列表中选择Hy4 flash,把待改的表格或者待整理的会议纪要交给它跑一遍。

11月30日之前,WorkBuddy可以限时免费体验~

姚顺雨与混元团队Reddit开AMA:Hy小模型已列入路线图(配图 9)

参考链接:
https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 姚顺雨回应混元为何不追5万亿参数:Hy4仍待改进,计划训更大模型

    IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还

    来源 AI 行业观察
  2. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  3. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  4. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  5. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  6. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  7. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  8. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  9. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  10. 秦淮数据联合腾讯等推出GW级AIDC柔性互联电气架构

    【TechWeb】11月19日消息,在“2026 CDCC SUMMIT 中国数据中心标准大会”期间,由CDCC、秦淮数据联合主办的“GW级算力基础设施创新实践论坛”成功举办。秦淮数据CTO薛国庆在会上表示:“GW级时代,算力与能源两条曲线加速攀升、抖动加剧。‘柔性’作为新范式,贯穿架构、能源、交付与运维全链路。它不是

    来源 AI 行业观察
  11. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
  12. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  13. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
向下滚动自动加载更多