混元Hy4开源后团队首登Reddit,姚顺雨回应模型路线

资讯 AI 行业观察 全文 3915 字 · 约 10 分钟读完 配图 3 张 分类混元腾讯

姚顺雨团队首次公开AMA:混元为什么不做“更稀疏”的模型?「甲子光年

所属频道 大厂动态开源生态
混元Hy4开源后团队首登Reddit,姚顺雨回应模型路线(配图 1)
混元Hy4开源后团队首登Reddit,姚顺雨回应模型路线(配图 2)
混元把自己的技术路线摆到了Reddit上。



11月20日,腾讯开源Hy4大模型,模型权重同步上传至GitHub、Hugging Face、ModelScope和GitCode四个平台。


第二天凌晨,腾讯混元团队多位成员在Reddit开源大模型社区r/LocalLLaMA办了一场AMA(Ask Me Anything),腾讯首席AI科学家、混元大模型负责人姚顺雨也在其中,请社区成员一起聊模型怎么搭起来、推理速度和成本如何、真实场景里怎么用。


混元Hy4开源后团队首登Reddit,姚顺雨回应模型路线(配图 3)

图片来源:Reddit社区


这是腾讯混元团队头一回在Reddit集中跟外界对话。11月4日混元Hy4模型、11月16日Hy4 Flash相继发布之后,混元对外的声音明显多了起来。11月18日,姚顺雨还去了清华姚班,跟学弟学妹聊技术和商业,多家媒体对此做了报道。


这场问答持续了两个小时,姚顺雨和混元团队一共回应了100多个问题,话题集中在模型大小、MoE稀疏性、刷榜评测、多模态以及RSI等外界关注的方向上。


姚顺雨此前提出的不少想法,眼下正慢慢变成团队的共同判断。拿合唱来打比方,从这次9名团队成员的回答里能看出来,混元对外表达的一致性已经不必再靠姚顺雨一个人“独唱”来维持,多名成员在各自的声部里就能唱出同一个旋律。


讨论时间不算长,回答也偏精简,不过这场技术味很浓的交流,从多个侧面反映了混元团队目前的思考。


⌈甲子光年⌋依据这次AMA的内容,梳理出以下观点。




1.模型大小,要有不同分工


混元团队在这次AMA里又一次说明了自己和行业模型参数之间差在哪。


Hy4推出后,在Artificial Analysis智能指数中排到中国模型第二,在Agent Arena里排开源模型第一。可它的参数规模只有770B(7700亿)。另一边,字节跳动、Kimi的模型正朝着3万亿乃至5万亿参数推进。


团队给出的回答很干脆:Hy3和Hy4已经证明,把功夫下扎实的小模型同样能超过更大的模型。它们的成本更低,团队在这个过程中也能学到更多、得到更多。


当然,这不意味着放弃Scaling。团队说,下一代模型的规模“肯定会大幅扩大”,只是没透露具体数字。现在混元一边加码更大规模的强化学习、为训练更大的模型做准备,一边接着推进Hy4-mini、Flash-Lite和端侧模型。Hy4-mini已进入路线图,24B—31B稠密模型和Hy-27B也在考虑范围内。针对社区对本地部署的需求,团队还确认,后续会推出更多小模型,覆盖24GB显存、64GB—128GB内存等不同硬件条件。


姚顺雨在清华姚班讲过类似的话。他当时批评行业一味追“几万亿参数、几万亿Tokens”,觉得可量化指标的分量已经压过了“怎么把事情做正确”。不过他没否定大模型:任务越复杂越得靠大模型,成本也跟着上去;往后可以用大模型蒸馏出各种尺寸的小模型,普通活交给端侧,数学、科学这类难题再上云端调大模型和超级算力。


所以混元走的不是“大模型还是小模型”二选一,而是一套分层安排:大模型去探能力上限,Flash、Mini和端侧模型把能力带到成本更低、调用更频繁的实际场景里。




2.MoE架构,不是越稀越好这次AMA里有一段技术含量挺高、混元此前很少对外讲的内容,说的是模型架构的稀疏度。



有位开发者算了笔账:Hy4 Flash激活参数占比7.7%,Qwen3.8-Flash是4.8%,DeepSeek V4.1只有2.9%。他的问题是,混元为什么不做得更稀疏些?


团队分两层来答。激活参数定死的情况下,稀疏度往上走,效率确实能提;可总参数不动、硬砍激活参数,比如从12B激活砍到8B乃至5B,模型质量会掉得明显。像“总参数2000亿、激活只有30亿”这种稀疏过头的设计,显存吃掉一大块,算力却跑不满,推理端反而不划算。


那砍激活参数时,最先坏的是哪块?团队的判断是推理深度、长上下文追踪,还有工具调用的可靠性。


这些取舍最终体现在Hy4 Flash的结构上。它延续了Hy4的iHC、门控MLA和DSA,又添了混合滑动窗口注意力(SWA)、LatentMoE和Engram。光SWA一项,KV缓存就压到原来的1/4,推理成本随之下降。团队还说明了GQA和MLA之间为何最后挑后者:同样的KV缓存下MLA质量更优,它计算强度偏高的问题,上了DSA之后也得到缓解。


端侧是另一套打法。Strix Halo、DGX Spark这类设备内存带宽偏低,混元会针对端侧GPU单独设计架构,而不是把云端模型直接缩一缩搬过去。




不盯榜单之后,混元拿什么证明自己?参数量之外,姚顺雨重点调整的另一个环节是评测。



在清华姚班的那场对谈里,他把行业的通病叫作“指标量化崇拜”:参数量、榜单分数、算力利用率,这些都好写进汇报;可清洗一批错误数据、修掉一个底层Bug,短期数字未必好看,却可能真正决定模型质量。


姚顺雨认为,评测本来的作用是帮团队找到模型的短板。问题是,一旦围着测试集反复调参、刷分,评测就失去了诊断能力,用他的话说,等于“把自己的雷达弄瞎”。混元内部因此定了一条规矩:核心测试集只测一次,测完封存,不再对着同一套题持续优化。


AMA上,这套思路被追问到了具体细节。有人问,Hy4为什么不公布GPQA Diamond、SWE-bench这些常见基准的成绩?团队的回答是,这些老基准已接近饱和,分不出模型强弱,他们转而展示Agents’ Last Exam、ProgramBench这类更新、更难的测试。第三方排行榜呢?团队的态度很直接:没有哪个网站能决定一个模型在真实世界里有没有人用,判断模型要把内部基准、公开基准、第三方评测和真实用户反馈放在一起看。


腾讯自己也在用产品矩阵给混元搭一套更贴近真实任务的评价体系。Hy4已经进入QQ小Q、微信读书、企业微信、腾讯新闻、《和平精英》和ima等产品,接受搜索、阅读、复杂信息检索、新闻问答、AI NPC和推理等不同场景的检验。


新模型的能力也出现在这次AMA的部分评论里。有开发者用Hy4-Flash做Agent编程、PR审查、开发环境管理以及多种编程语言任务,认为它在完成速度和工具调用效率上有优势。一位做计算生物学的提问者说,他用Hy4 Flash做分子对接测试,部分工具调用场景的表现甚至超过了Claude Sonnet和Haiku 5.5。团队确认,目前Hy4和Hy4 Flash已经在OpenCode、Claude Code、Cline等编程工具里被使用。




图像、视频和本地部署同样在推进。


这场AMA还放出一个信号:混元后续的动作不会只落在旗舰模型上。


Hy4-Flash会一直迭代下去。预训练和后训练两条线,团队都在同步打磨。他们的思路不是隔三差五发一个互不相干的新模型,而是靠强化学习和蒸馏,把现有Flash模型的能力、速度、成本继续往好里推。


图像这边,HunyuanImage 3.0体量太大,本地跑起来费劲。团队回应说,更小的图像模型已经在考虑范围内,视频模型也在加紧研究。翻译模型Hy-MT很快会升级,中文网文、仙侠小说这类更细的翻译需求同样被列进了考量。


开源和本地部署的问题,团队答得很明确:眼下继续开源,相近规模的开放权重模型也会接着发。推理框架适配上,Strata、llama.cpp等都在推进,vLLM、SGL等社区也有合作。社区反馈的模型尺寸、量化版本、部署方式,团队还在持续吸收。用他们的话说,让模型在家用设备上跑起来,是想要走的方向。


把这些拼起来看,混元在铺一条完整的产品线:更大的基础模型、持续迭代的Hy4-Flash、更小的Mini和Flash-Lite,再加上图像、视频、翻译等不同模态的模型。




5.对RSI祛魅,

但保留AI for AI的想象空间


RSI(递归自我改进)最近被讨论得不少,混元团队的态度却偏谨慎。按他们的说法,这项能力还处在早期,内部已经建了几套基准,用来衡量RSI的关键能力。眼下更要紧的还是把基础打牢、把模型智能提上去,并且跟产品贴紧,把实际体验做好。


姚顺雨在清华姚班说得更直白。在他看来,RSI说到底就是“怎么用AI更好地开发AI”,真正的进展不靠概念热炒,靠的是修Bug、洗数据、改实验的那些人。


不过他同时判断,RSI或者说AI for AI,对小模型帮助不小。大模型可以去做数据生成、数据筛选、代码改进和实验验证,再把能力蒸馏给不同尺寸的小模型。蒸馏效果好不好,关键不在某一种固定技术,而在团队能不能判断出什么才算真正的好数据。


说到底,参数多大、榜单多高、概念多热,都只是路径,最后还得落到真实任务跑得怎么样、用户用起来如何、成本划不划算。


整场AMA听下来,宏大的技术宣言不多,成员们的回答反而偏收敛:有的方向还在琢磨,有的能力刚起步,有的产品只能先来一句“敬请期待”。不过围绕参数规模、模型评测、成本效率和RSI这几个话题,他们给出的判断大体是一条线上的。


放到眼下的竞争格局里看,这也不难对上。各家模型能力越拉越近,开源权重流通得越来越快,行业比的东西正从参数和榜单挪向成本、稳定性、部署门槛,以及真实任务里究竟能不能干成。发模型不再是终点,能不能进产品、交给用户检验、再按反馈一轮轮改,才是更长的路。


可话说回来,一次开源加上一场AMA,还证明不了混元就已经赢了。小模型这条路能不能走通,新评测体系能不能不再自说自话,腾讯那套庞大的产品生态又能不能顺顺当当变成模型能力,后面还得再看。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  2. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  3. 混元团队AMA回应十大问题:大模型与小Hy4为何并行推进

    腾讯混元团队第一次在 Reddit 跟开发者公开问答,两小时收了300多条留言。这次问答中,混元团队谈到了两款模型的架构取舍,也透露了下一步计划:继续训练更大的模型,同时推进已列入路线图的更小尺寸的 Hy4 系列。围绕开发者关心的本地部署、工具调用和开源适配,团队逐一作出回应,也谈到后训练中仍待解决的“过度思考”问..

    来源 腾讯网
  4. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  5. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  6. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  7. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  8. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  9. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  10. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  11. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
  12. 肖裕炜创业KnowVoice:AI交互吊坠获李泽湘早期投资

    创始人肖裕炜曾在荣耀工作五年,经历横跨 GPU 底层技术与 AI 终端设备。 作者丨黄艳冰 编辑丨姚单 雷峰网·鲸犀独家获悉,荣耀前高级算法工程师肖裕炜已离职创业,于今年年中创立 AI 交互硬件公司 KnowVoice。其目前正在李泽湘教授的下深圳科创学院孵化,已获得早期投资支持。 创始人兼 CEO 肖裕炜生于 199

    来源 AI 行业观察
向下滚动自动加载更多