姚顺雨首场Reddit AMA回应混元路线:Hy4之后还有mini和Flash-Lite

资讯 极客公园 作者:连然 全文 3215 字 · 约 9 分钟读完 配图 2 张 分类RSI混元腾讯算力

下一代混元将大幅度扩参。

所属频道 大厂动态算力与芯片开源生态前沿研究

头图由ChatGPT生成。

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队的研究员出现在Reddit LocalLLaMA社区,办了一场面向全球开发者的公开AMA。这是混元团队史上第一次做这种形式的交流。

姚顺雨首场Reddit AMA回应混元路线:Hy4之后还有mini和Flash-Lite(配图 1)

图片来源:x

两小时里,姚顺雨和团队一共回答了300多条开发者提问,内容从底层架构怎么取舍,到长期路线怎么规划,再到量化落地的经验和开源生态的适配,当前开源大模型领域几乎所有核心争议和关切都被涉及。而在此前不到一个月,混元刚完成一轮密集的产品发布:11月4日推出的Hy4首次进入全球最强开源模型行列,拿到Agent Arena开源模型榜首、Artificial Analysis中国模型第二;一周后,主打「极致性价比」的Hy4 flash紧跟着上线,单任务成本只有Hy4的二十分之一,上线首日Token调用量就突破50万亿。

再往前推九个月,今年2月,混元才刚把预训练与强化学习基础设施全面重建完。从重建底座到连发两款标杆级模型,九个月里平均每两个月就出一个大版本,靠的是「preview先行、正式版跟进」的研发闭环:真实业务场景的反馈直接进入研发链路,在解决实际问题中完成能力跃升。模型路线上,团队选择双线并行:一方面相信规模化的潜力,继续训练更大的模型去探能力上限;另一方面同步布局小尺寸模型和端侧场景,想在能力、成本与速度之间找一个更务实的平衡点。

具体到技术选择,不管是注意力机制选型、MoE稀疏度设计,还是量化方案怎么取舍,团队的判断都锚定实验结果、硬件适配条件和实际部署效率,参数规模或榜单分数并不是核心决策标准。对当前的能力短板,团队同样没有回避:过度思考仍是后训练阶段的核心难题,创意写作与文本可读性还有提升空间,递归自我改进相关技术还处在早期摸索阶段。

开发者普遍关心的实操问题也在问答范围内,包括本地运行门槛、工具调用适配、开源生态合作进展。安全层面则提到有害数据过滤、训练防护、红队评估等治理机制,团队同时坦言,模型的过度拒绝问题仍需进一步优化。

极客公园从本次Reddit AMA中提炼出核心问题,覆盖模型路线、技术架构、研发难点、开源生态等维度。

混元的整体产品路线是什么?接下来还有哪些新模型?

混元的产品思路是「两端并行」:一头扩大模型与数据规模,探索智能上限;一头压低推理成本,主打极致性价比,Hy4与Hy4 flash分别对应这两个方向。后续路线也已经清晰:更小尺寸的Hy4-mini、Flash-Lite模型已在规划中;24–31B稠密模型正在评估;5–12B级小型开源图像模型、新一代视频模型都在考虑范围之内;循环式MoE、持续学习等前沿方向也在积极研究。

不跟风3T/5T超大规模参数,混元对模型规模的判断是什么?

团队认为,打磨扎实的小尺寸模型同样能胜过大参数模型,部署成本还更低,研发过程中也能沉淀更多技术经验。不过混元同时相信Scaling law的有效性,下一代模型的参数量会显著扩大,会持续向更大规模投入研发。

Hy4与Hy4 flash的架构核心差异在哪?关键取舍逻辑是什么?

Hy4 flash继承了Hy4的iHC、门控MLA、DSA技术底座,同时新增混合SWA、LatentMoE、Engram三大组件。

每一项架构选择都围绕「性能-成本-硬件适配」做综合权衡。比如改用SWA替代门控DSA,KV cache体积能压缩到原有的1/4,服务成本随之大幅下降;DSA技术则解决了MLA解码阶段计算强度过高的问题,团队在长期权衡后放弃GQA,选择了效果更优的MLA。另外,iHC、Engram这类架构创新并非大模型专属,用在小尺寸模型上带来的性能收益甚至更大。

MoE是不是越稀疏越好?极端稀疏路线为什么行不通?

在激活参数量固定的前提下,提高稀疏度确实能提升计算效率;但如果总参数量不变、只是单纯降低激活参数,模型质量会明显受损——激活参数本质上决定了计算预算,稀疏度带来的效率提升填不上计算量减少造成的能力损失。放到数据中心部署看,过于稀疏的MoE并不友好:占掉大量显存却用不满算力,相同吞吐量下,还不如跑总参数相当、激活参数更高的模型;端侧场景则会采用独立的架构-硬件协同设计思路。

端侧视觉模型的最小可用规模是多少?多模态有什么规划?

面对图像推理、UI/图表理解这类深度视觉任务(不是单纯的OCR或图像描述),团队验证过,激活参数约30亿(A3B)级别的模型已经能支撑相关能力。

多模态产品线上,团队还在酝酿 5–12B 规模的小型开源图像模型,目的是把本地部署的门槛压下来;新一代混元视频模型同样在推进当中。

姚顺雨首场Reddit AMA回应混元路线:Hy4之后还有mini和Flash-Lite(配图 2)

图片来源:reddit

后训练阶段最难解决的问题是什么?

「过度思考」被团队视为后训练阶段最不好收拾的一个毛病。Hy4 追求极致智能,思维链偏长是早就知道的事;Hy4 flash 则用强化学习专门管住思维链的长度,把效率放在第一位。

长程智能体任务上,强化学习要落地,最大的坎是环境漏洞带来的「奖励投机」——智能体不自己解题,转头去搜答案交差。这需要一遍遍修正环境规则和奖励机制。

MoE 量化如何避免能力退化?混元有哪些实操经验?

团队在这件事上攒下了四点经验:

  • down 投影的激活值里存在离群值,对量化更敏感,位宽分配时会给它更多比特;具体分多少,靠 Hessian 敏感度来判断。
  • 精度颗粒度方面,团队更愿意按张量来分配混合精度,而不是逐个专家去设,免得打乱推理引擎处理堆叠矩阵的逻辑。
  • 做量化感知训练(QAT)时,路由器跟模型主体一起训,路由漂移和工具调用能力退化都能避开。
  • 方案取舍上,全参数 QAT 的模型质量好过 LoRA 类适配器方案,是团队的首选。

对标行业 AGI 分级,Hy4 处在什么水平?提升空间还有多大?

团队给 Hy4 的自评是 AGI 分级 2.5 级。他们同时明确,Hy4 离容量上限还远,后训练层面仍有很大提升余地;眼下正大规模投入强化学习技术,用户体验和模型安全性也在持续优化。

递归自我改进(RSI)进展如何?当前研发优先级怎么排?

递归自我改进还处在早期,团队已经做了若干内部基准来评估核心能力。不过 RSI 并不是当前排在最前面的任务。现阶段的核心目标是打牢模型基础能力、把通用智能水平提上去,再结合产品场景把真实体验磨好,模型自我迭代并不优先。

开源模型如何平衡安全能力与「过度拒绝」问题?

安全上,混元走的是有害数据过滤、训练防护、红队评估三级机制,以此来推进负责任开源:网络安全方向重点训练漏洞分析、修复这类防御性任务,进攻性利用类的数据则被过滤掉。团队也承认,减少过度拒绝是重要的改进方向。内部评估显示,当前 Hy4 找漏洞的能力较强,利用漏洞的能力相对偏弱。

本地部署的门槛有多高?开源生态适配进展如何?

硬件门槛方面,96GB 显存加 128GB 系统内存就能跑 Hy4 flash;部分专家层和 Engram 表可以卸载到主机内存,显存压力随之降低。生态适配上,llama.cpp 的适配正在推进,即将向社区发布;vllm、sgl 等主流推理框架社区也已深度合作。

现在 Hy4 和 Hy4 flash 已经能直接在 OpenCode、Claude Code、Cline 等开发工具里使用。

为什么不卷传统基准榜单?混元的评测理念是什么?

混元在评测上有一条底线,叫「评测真实性」:模型行不行,要看它在真实任务里的表现,榜单分数不作数。

团队发现,GPQA、SWE-bench 这些传统基准的分数已经饱和,参考意义在往下走。所以混元更愿意亮出 Agent 编程、真实工程任务这类高难度新基准上的成绩。研发时也不专门去刷榜,而是拿更丰富的训练数据、内部多种真实任务评测,一点点把模型的实际可用性磨出来。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  2. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  3. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  4. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  5. 姚顺雨带队混元Reddit答疑:旗舰大模型如何炼成?

    21世纪经济报道记者 彭新 11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在海外社区Reddit,进行了一场持续两小时的AMA(Ask Me Anything,有问必答)公开问答活动。 这是混元团队首次在开发者社区直面全球用户的密集提问,两小时内相关问答页面共收到300多条留言,话题从

    来源 腾讯网
  6. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  7. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  8. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  9. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  10. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  11. 腾讯WorkBuddy日活破1000万,单季AI拖累利润152亿元

    WorkBuddy交出了千万日活、超5亿美元收入年化运行率的亮眼成绩单,但腾讯AI转型仍有更难的一道财务考题:高额算力投资与持续经营投入何时转化为利润? 与此同时,字节系在短视频、短剧和AI入口上的扩张不断争夺用户时长。2027年可能是投入与竞争压力集中释放的一年,2028年能否迎来现金流与资本效率改善,将决定这场转型

    来源 华尔街见闻
  12. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  13. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  14. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  15. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
向下滚动自动加载更多