姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图

资讯 网易科技 作者:网易 全文 3491 字 · 约 9 分钟读完 配图 9 张 分类混元腾讯

姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图

所属频道 大厂动态开源生态
听雨 发自 凹非寺 量子位 | 公众号 QbitAI

Hy小模型已经排进路线图,面向24GB显存的版本同样在计划之中。

今天凌晨,姚顺雨和腾讯混元团队现身Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 1)

AMA全称「Ask Me Anything」,意思就是「有什么想问的,尽管问」。网友在评论区发问,混元团队成员直接回帖作答。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 2)

参与名单上只挂了Reddit账号,哪个马甲是姚顺雨,目前还没对上号……

这场AMA的主角,是混元本月接连发布的两款模型。

11月4日发布的Hy4是旗舰,文本、图像和视频都能理解,适合长程软件工程这类要多步推理、反复调用工具的复杂任务。

11月16日发布的Hy4 flash,主打日常办公的速度和成本。图文输入都支持,上下文最长100万Token,每个Token激活约120亿参数。

两款模型都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里修表、改文档、做PPT等典型任务纳入内部评测WorkIndex,按这套评测测算,Hy4 flash平均单任务成本约为旗舰Hy4的1/20。

两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置:96GB显存、128GB内存,能跑Flash吗?

团队答复是能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。

也有人问到llama.cpp,团队说适配正在做。

聊到研发,团队还透露了不少训练背后的秘诀。

Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。

让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。

有网友追问后训练中最难纠正的行为是哪种,团队给出的答案只有“Overthinking”(过度思考)这一个词。旗舰 Hy4 的推理链有时确实偏长;到了 Flash 上,做法是先由旗舰模型蒸馏,再用强化学习把推理链压短。

从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。

以下是AMA问答节选,按主题编排,中文译文有删节。

Enjoy~

Hy4为什么「想太久」,Flash又是怎么训练的?

网友提问:Hy4 正式版和 Hy4 preview 一样,有时推理时间会拉得很长。这跟强化学习的奖励设计有关系,还是跟训练数据的分布有关系?模型能不能学会在什么时候停下来?

混元团队回应:Hy4 追求的是尽可能高的智能水平,推理链偏长是团队已知的问题。解决办法是把 Hy4 蒸馏成成本效率更高的 Hy4 flash,再在 Flash 上用强化学习缩短推理链。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 3)

网友:后训练阶段,最难改善的是哪种模型行为?

混元团队:过度思考。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 4)

有网友问,Hy4的参数规模还能往上走多少,往后要做更强的模型是不是非得继续堆参数。混元团队的回应是,Hy4的提升余地还很大,后训练尤其明显。团队正在投入大规模强化学习,同时继续打磨用户体验与模型安全性,并且已经计划训练规模更大的模型。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 5)

被问到训练Hy4和Hy4 flash做长程Agent任务时,多轮强化学习里最难的环节是什么,团队说,训练环境设计出漏洞、模型趁机钻空子拿奖励,是最棘手的情况。比如得防着Agent直接上网搜现成答案,逼它自己把任务做完。

还有网友关心命令行任务:模型编错一个参数,命令就可能出错。工具调用的准确性怎么提,长任务里又怎么让它记住前文?

团队的做法是,在强化学习数据里塞进模型容易犯错的难例,奖励也拆得更细,关键细节出错扣得更重。长任务方面,强化学习训练用的上下文在持续拉长,模型压缩上下文、保住关键信息的能力也在提升。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 6)

姚顺雨常讲,挑训练数据要有判断力。网友问这批数据好不好该怎么判断,团队答,数据质量牵涉很多维度,领域不同、任务不同,要求也不一样。不管用的是人类专家还是智能体,设计和清洗数据都得下不少功夫。到头来还是得做实验,看这批数据能不能带来提升。

关于HyRA 2.0实验里Hy4带来的提升来自哪里、有没有发现新的架构或数据配比改进,团队表示,这次的提升主要来自底层吞吐优化。想让模型进一步参与研发,它判断训练方案的能力还得往上提。用AI做AI研发,本身就是周期长、难点多的事。

网友追问:Hy4和HyRA 2.0已经改进了训练基础设施,也训出了更好的小模型,接下来会做什么实验,看这一轮训出的模型在下一轮能不能更擅长做研发?团队的回答是,HyRA 3.0正在做,敬请期待。

如果让Hy4自己跑,它现在能不能靠递归自我改进做出下一代模型,这种能力又怎么评估?团队说,递归自我改进还处在早期,内部已经做了几项基准,用来评估其中的关键能力。

那Flash的参数都花在哪儿了?

网友算了一笔账:不算Engram,Hy4 flash主干约有1560亿参数,每个Token激活约120亿。总参数不变,把激活参数降到80亿或50亿,效果会掉多少?

团队做过不同MoE稀疏度的规模实验。激活参数量固定时,稀疏度提上去,计算效率会变好。可要是总参数固定,再把激活量砍到80亿或50亿,团队预计模型质量会明显下滑。每个Token能用多少计算,由激活参数量决定,提高稀疏度只能补回一部分。

网友又问,Hy4 flash为什么给Engram分约635亿参数,这个比例是怎么定下来的?

团队在实验里看到一条U形曲线。把Engram算进总参数量,它的占比在三分之一左右时,最接近实验中的最优点。占比再往下压,计算效率就会降低。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 7)

Flash为什么选滑动窗口注意力(SWA)?团队的解释是,这种注意力机制能把KV缓存压到原来的约四分之一,部署成本随之明显下降。

小模型、本地部署和下一步

有网友问会不会出Hy4 mini,也有人想要比Flash更轻的版本,用来跑文档解析、分类和简单自动化。团队确认,Hy小模型已经在路线图上。

有网友追问,下一代Hy模型会不会做到1.5万亿至2万亿参数?混元团队的回答是,规模上肯定会再明显扩大一截。

也有人问起更轻的Flash-Lite——拿来做文档解析、分类和简单自动化那种。团队直接给了肯定答复:有的,敬请期待Flash-Lite。

面向24GB显存的模型有没有计划?团队说,有,未来会发布。

一位网友手里是96GB显存加128GB系统内存,想知道能不能跑Hy4 flash。团队确认可以:主要权重和注意力计算放在GPU上,部分专家层能卸载到系统内存,Engram表同样可以搁在内存里。

还有网友做了对比测试,同一个工作任务,托管版Hy4 flash全对,本地NVFP4版本却错了大约8%。他问这是不是模型本身更难量化。团队的说法是,量化质量很大程度上取决于方法和校准方式,建议试试用GPTQ量化的NVFP4版本——在他们的评测里,这个版本与BF16的差距较小,更适合对准确率敏感的任务。

llama.cpp的支持怎么推进、会不会提前和推理框架社区合作?团队表示,llama.cpp适配正在进行,预计近期在社区放出,同时也在与vLLM、SGLang等社区合作。

现有的Hy4 flash还会不会更新?答案是会,团队正在优化Flash级模型的预训练和后训练方案。

模型表现怎么看

有网友问,为什么GPQA Diamond、τ-bench、IFBench、SWE-bench这些常见评测的成绩没有公布。团队解释,他们展示的是Agents’ Last Exam、ProgramBench这类较新、难度更高的评测;网友提到的那几项出现得更早,分数已经接近饱和。

另有人感觉部分模型的写作能力在退步,猜测是代码训练数据太多导致过拟合,或者另有原因。团队回应说自己也注意到了,可能和训练目标有关,他们希望模型写得更像人、少一点套话,这方面正在改进。

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 8)

还有一个彩蛋

QA实录到此结束。想亲自试试Hy4 flash的话,打开WorkBuddy,在模型列表里选中Hy4 flash,把待改的表格或者待整理的会议纪要丢给它跑一遍就行。

11月30日之前,WorkBuddy上可以限时免费体验~

姚顺雨与混元团队Reddit答网友:Hy小模型已列入路线图(配图 9)

参考链接:
https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4正式开源

    北京商报讯(记者 魏蔚 鲁芹)11月20日,腾讯混元宣布Hy4大模型正式开源,开发者可在GitHub、Hugging Face等社区下载模型并自行部署。

    来源 网易科技
  2. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  3. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  4. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  5. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  6. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  7. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  8. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  9. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  10. 秦淮数据联合腾讯等推出GW级AIDC柔性互联电气架构

    【TechWeb】11月19日消息,在“2026 CDCC SUMMIT 中国数据中心标准大会”期间,由CDCC、秦淮数据联合主办的“GW级算力基础设施创新实践论坛”成功举办。秦淮数据CTO薛国庆在会上表示:“GW级时代,算力与能源两条曲线加速攀升、抖动加剧。‘柔性’作为新范式,贯穿架构、能源、交付与运维全链路。它不是

    来源 AI 行业观察
  11. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  12. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
向下滚动自动加载更多