腾讯混元AMA回应算力瓶颈:下一代Hy模型将大幅扩容
智东西11月21日报道,今天凌晨,腾讯混元团队在社交媒体平台Reddit举行了一场AMA活动,与全球开发者围绕Hy4系列模型展开交流。姚顺雨也出现在了评论区,只是哪个是他的马甲我们不得而知。 ▲姚顺雨在X预告本次Reddit AMA活动(图源:X) 此次AMA处于一个非常有趣的时间点。 就在昨天,腾讯刚刚开放旗舰模型H
11月21日消息,腾讯混元团队凌晨在Reddit办了一场AMA,和全球开发者聊Hy4系列模型。姚顺雨也出现在评论区,至于哪个账号是他,外界并不清楚。

▲姚顺雨在X预告本次Reddit AMA活动(图源:X)
这场AMA的时间点很有意思。
就在前一天,腾讯刚开放旗舰模型Hy4的权重,一并放出模型安全评估卡片(System Card)。再往前几天,主打低成本、高效率的Hy4 flash也已推出。两款模型接连落地,腾讯混元的技术路线成了社区讨论的热点。
另一边,AI行业的竞争格局也在变。第三方模型评测机构Artificial Analysis近期大幅调整评测体系,部分中国模型的评分随之波动。高端算力获取受限,全球前沿模型又在持续迭代,中国模型怎么缩小与顶尖模型的差距,成了开发者关心的事。
智东西也参加了这次AMA,向腾讯混元团队提问:先进AI芯片的获取限制越来越多,腾讯Hy模型未来还能不能继续缩小与全球前沿模型的差距?
腾讯混元团队成员答道:“我们正在尽可能充分地利用现有资源,以追赶前沿水平。”

▲混元团队回答智东西提问(图源:智东西)
算力之外,腾讯混元团队在这场交流里还透露了不少新消息。
模型规模上,混元团队明确表态,下一代Hy模型会进一步扩大参数规模,大规模强化学习的投入也会继续。
更小的模型也有安排。该团队透露,Flash-Lite、面向24GB显存设备的模型等产品正在规划中。
技术层面,腾讯首次在交流中披露了Hy4的部分架构选型细节。团队曾在GQA和MLA两种注意力机制之间反复权衡,最后因为DSA降低了MLA在解码阶段的计算开销,才拍板采用MLA架构。
模型评测、安全限制、AI编程生态,以及模型能否实现递归自我改进(RSI)等问题,腾讯Hy团队也一一作了回应。
Hy4是腾讯最新一代旗舰模型,重点强化长程软件工程、工具调用、视觉理解和科研等能力。Hy4 flash则进一步优化推理成本,总参数量224B,包含64B Engram参数,每Token仅激活12B参数。
腾讯披露的数据显示,在自建日常工作任务评测WorkIndex中,Hy4 flash的单任务成本只有Hy4的1/20。一场涉及85名内部用户、259项工作任务的盲测里,其单任务成本约为0.26元。
不过,Hy4在部分高难度任务上仍与全球顶尖闭源模型存在差距。有限算力下怎么继续提升模型能力,同时兼顾推理成本、产品体验和开源生态,仍是混元团队要面对的问题。
以下是智东西从此次AMA中整理的重点内容,为了方便阅读,我们做了不改变原意的整理:
完整问答地址:
https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/
01 .
用有限算力追赶前沿
下一代模型将大幅扩容
小尺寸模型在路上
智东西问:先进AI芯片越来越难拿到,腾讯Hy眼下最卡脖子的是哪一环——算力、训练效率,还是算法?往后Hy系列还能不能接着把和全球最强模型之间的差距往下压?
腾讯混元:我们正在尽可能充分地利用现有资源,以追赶前沿水平。
(2)网友提问: 未来Hy4.5是否计划将模型参数规模扩大至1.5万亿至2万亿?
下一代Hy模型会继续大幅扩大规模,腾讯混元给出了明确答复。
有网友问,Hy系列是否已接近能力上限,往后更强的模型是必须加参数,还是维持现有规模靠后训练继续提升?混元方面的说法是,Hy4的提升空间依然很大,后训练尤其如此。团队正把大量资源投向大规模强化学习(RL),用户体验和模型安全性也在同步改进,后续更新值得等。此外,规模更大的模型同样在训练计划之内。混元强调自己相信Scaling的价值,这条路会一直走下去。
字节跳动、Kimi等公司看起来正朝3T乃至5T参数的超大规模模型推进,腾讯Hy系列却还停在700B左右,为什么选这条路线?参数规模对模型智能水平究竟有多大影响?未来会不会也把规模做上去?混元的回答是,Hy3和Hy4已经说明,规模偏小但训练扎实的模型,往往能跑赢更大的模型。更关键的是,小尺寸模型成本更低,研发过程中团队学到的东西、攒下的经验也更多。
综合多位网友的提问:腾讯后面会不会出Hy4-mini,以及24B—31B规模的稠密模型?有没有能在24GB显存、64GB—128GB内存设备上跑的小尺寸模型?100B参数以下、专攻编程任务的模型又有什么安排?混元表示,Hy4-mini已经列入开发路线图,之后还会有更多小型模型。24B—31B的稠密模型团队正在考虑,更小规模的稠密模型也有可能推出,但眼下大概不会专门去做100B参数以下、面向编程优化的模型。
本地部署这块,混元团队确认会推出面向24GB显存设备的模型,适合64GB—128GB内存设备运行的模型也会继续开发。对于和当前模型规模相近、经过Q4量化后能在128GB内存设备上运行的开放权重模型,团队同样给了肯定答复。
Hy4 flash也会持续更新,团队正在打磨Flash级模型的预训练和后训练方案。至于Hy4和Hy4 flash的定位,两款都是通用模型,并非专为编程任务训练。
综合多位网友的提问:语言模型之外,腾讯会不会推出更小的开源图像模型,视频生成和翻译模型是否升级?Hy4能否支持方言识别、实时语音翻译?持续学习和通用人工智能(AGI)方面又有什么进展?混元回答,图像生成方面正在考虑推出更小的图像模型,同时建议开发者近期留意视频模型的动态,但没有透露具体发布时间。
翻译方面,团队确认Hy-MT模型即将升级,用户提出的中文网络小说翻译建议也会认真考虑。
方言识别和实时语音翻译,混元团队坦言Hy4目前还不支持音频理解或音频生成,不过用户可以试试
腾讯元宝的语音识别(ASR)和语音合成(TTS)功能,或许能满足相关需求。
持续学习被团队视为很有前景的研究方向,相关研究正在积极开展,具体成果没有披露。
还有网友对照AGI能力分级体系,问Hy4目前处在什么水平。混元团队成员给出的个人判断是——“大约是2.5级。”

▲Google DeepMind提出的AGI能力分级体系(图源:Reddit)
02 .
架构选择曾经反复权衡
MoE并非越稀疏越好
有网友问:腾讯是否计划推出面向低延迟任务的Flash-Lite小尺寸模型?与mHC和门控残差(GR)相比,iHC优势在哪?Hy4 flash为何选择滑动窗口注意力(SWA),以后会不会尝试QSA等其他注意力机制?另外,Hugging Face上旧版开放权重模型的许可证是否会更新,以覆盖欧洲经济区(EEA)用户?
混元回复:很棒,技术问题不少。
第一,会的,一款技术先进的Flash-Lite模型敬请期待。
第二,iHC比mHC和GR简单得多,成本更低也能做到相近性能。
第三,SWA能把KV Cache规模缩小4倍,推理服务成本因此明显下降。
第四点,答案当然是肯定的。各种架构上的新尝试,我们都愿意接纳。
(8)有网友问:参与开放权重模型研发、给开源社区做贡献,是什么体验?
腾讯混元:能帮上开源社区,成就感很强。看到这么多人关注我们的工作,这种感觉更明显。
(9)网友问:研发过程里,你个人最难熬的是哪一段?
腾讯混元:从Hy3扩到Hy4那一段,对我来说最艰难。
训练数据上的详细消融实验,没有做到我期望的程度。所以真正开训的时候,很多地方还悬着。说实话,刚开训那会儿我特别紧张。
结果训练过程顺利得出乎意料。那种感觉,像押上全部赌了一把,最后真赢了。
(9)网友问:要是能许一个愿,你希望未来的大语言模型替你做什么?
腾讯混元:我是个十足的美食爱好者。我希望未来的大语言模型能发明全新的食谱,还能保证做出来的味道完全合我的口味。
(10)网友问:除了最终采用的Hy4架构,腾讯Hy团队认真考虑过、但最后放弃的替代架构里,最有竞争力的是哪个?为什么放弃?
腾讯混元:GQA和MLA,我们之前反复权衡过。
MLA的计算强度比GQA高出一截。到了推理GPU上做推测解码(Speculative Decoding)的时候,算力就成了性能瓶颈。
但在KV Cache大小一样的前提下,MLA给出的模型质量比GQA更好。
好在DSA引入之后,MLA在解码阶段的计算强度降了下来。两种架构的权衡结果因此改变,我们最终选了MLA。
(11)网友问:从Hy4的原始架构走到Hy4 flash,哪些网络层或架构组件该留,你们怎么定?每次调整神经网络层,主要看什么?
腾讯混元:Hy4的多项技术被Hy4 flash继承下来,包括iHC、门控MLA和DSA。同时它又加了混合SWA、LatentMoE和Engram这些新组件。
这些设计选择背后,是团队在不同模型规模Scaling实验里攒下的大量结果,也是模型架构与推理系统协同设计的产物。
(12)网友问:额外的参数密度对模型智能水平有多重要?你们试过把Hy4 flash调成156B总参数、8B或5B激活参数吗?模型质量会掉多少?
腾讯混元:不同MoE稀疏度的Scaling实验我们做过,和MAI-Thinking-1论文里的研究类似,结论也大体一致。
激活参数量不变时,稀疏度提上去,计算效率会更好。这条技术路线是走得通的。
但156B-A8B或A5B是另一种权衡。总参数量不动,激活参数量往下减,我预计模型质量会明显受损。
激活参数量说到底决定了模型的计算预算。稀疏度提高能找回一部分计算效率,可激活参数减少带来的影响补不全。
归根结底,激活参数少了,计算投入就少,模型能力也就更弱。
(13)网友问:我一直盼着有实验室把MoE稀疏度推到新高度,比如做一个200B总参数、3B激活参数的模型,再配上Engram。它可能表现很差,也可能好得出人意料,但推理速度应该很快。MoE到底能做到多稀疏?
腾讯混元表示,MoE架构如果做得过于稀疏,对推理并不友好。这类设计会占用大量GPU显存,可GPU的算力(FLOPs)却用不满。
其实换个做法也成立:把总参数规模做到一样,让激活参数多一些,推理吞吐量照样能对齐。
有网友接着问:(14)放到数据中心的高并发推理服务里,这个判断确实没问题。但本地部署是另一回事。受内存带宽限制,A12B模型跑在Strix Halo和DGX Spark上速度偏慢,反倒是一些激活参数更少的模型表现更好。
腾讯混元答复说,端侧模型会走另一套设计思路,会跟边缘设备GPU的硬件特性贴得更紧,把模型架构和硬件放在一起设计。
网友提问:(15)Hy4 flash里,约63.5B的Engram参数和约155.5B的神经网络主干参数,这个比例是怎么定下来的?Engram论文里提到,20%—25%左右对它的模型比较理想,你们实验里是否也发现了相近的规律?
腾讯混元称,当Engram参数占到总参数量(含Engram本身)约1/3时,平衡点最好,正好落在U形曲线的最低处。
网友提问:(16)假如让Hy4完全自主运行,它现在有没有通过递归自我改进(RSI)去开发下一代模型的能力?你们有没有建立相关基准测试,能超越简单的运行时长和工具调用次数,去评估模型真正的自主研发能力?
腾讯混元回应,RSI能力还处在早期。内部已经做了多个评测基准,用来考察RSI的关键能力。另外,Hyra 3.0也在开发中,目的是持续为模型研发积累更好用的可复用工具。
网友提问:(17)往后看,Hy系列模型最主要的能力提升路径是什么?
腾讯混元表示,当前最要紧的是把基础打牢、把模型智能水平提上去,同时和旗下产品紧密配合,把用户体验做好。
网友提问:(18)Hy4正式版和Hy4 Preview一样,有时候推理时间拖得很长。这种过度思考,是强化学习的奖励机制设计造成的,还是跟训练数据分布有关?模型能不能学会该停的时候停下来?
腾讯混元称,Hy4的目标是把模型智能水平拉到最高,所以较长的思维链(CoT)是个已知问题。
但这也带来一个好处:可以通过蒸馏,把Hy4的能力迁移到Hy4 flash上,成本效率不错。至于Hy4 flash,团队用强化学习把思维链控制在较短的长度。
网友提问:(19)模型一旦编出错误的命令语法或参数标志,命令行工具(CLI)就容易出错。你们怎么用强化学习提升工具调用的准确性,同时又不让模型丢掉上下文?
腾讯混元表示,为了把工具调用做准,团队在强化学习数据上投入了很多精力,其中包含模型容易出错的高难度案例。
另外还用了细粒度奖励机制,关键细节上一旦出错,惩罚会更重。
上下文保持方面,强化学习训练用的上下文长度在持续加长,模型在上下文压缩上的能力也有专门提升。
网友提问:(20)在不泄露内部信息的前提下,能不能说说Hy4的Agent编程任务主要集中在哪些场景?
比如3D建模、大型单体代码仓库、短时间零样本编程、文档编写与代码更新、代码及注释和文件结构的可理解性,还有多轮开发中的代码整洁度。模型能否在无人干预的情况下自主执行数百轮操作,同时保持代码质量?
腾讯混元答复,上述场景都有覆盖,而且很看重任务的多样性。
网友提问:(21)Hy4 flash怎么确定不同网络层和专家的量化精度?量化过程中,MoE路由器的稳定性怎么保证?如果进一步减少激活参数量,模型的哪些能力会受影响?
腾讯混元称,精度按网络层对量化的敏感程度来分配。比如down投影通常更敏感,就需要更多比特。相比给每个专家单独设精度,团队更愿意按张量分配,这样推理引擎的兼容性更好。
在量化感知训练(QAT)里,MoE路由器会和模型其他部分一起训练,路由器因此保持稳定。相比LoRA等方案,团队更倾向全参数QAT,模型质量更好,不过LoRA相关实验目前还没做。
如果把激活参数量从12B减到3B,腾讯混元预计,推理深度、长上下文追踪能力和工具调用可靠性会最先出现退化。
Engram 的参数并不算在 12B 激活参数里面。每层都配了独立的 N-gram 表,只要内存预算撑得住,团队会先把模型能力放在优先位置。
(22)有网友问:小米 MiMo 团队前不久把训练过程详细公开了,你们怎么看这种做法?方便的话,能不能说说 MiMo 的后训练方法和你们的方案是否接近?还是在训练成本、数据规模、任务类型比例这些方面差别明显?
腾讯混元:MiMo 团队愿意分享研究工作,我们很高兴看到。我们的强化学习训练规模要更大一些。
(23)有网友问:以后会不会推出采用循环式 MoE 架构的模型?
腾讯混元:完全有可能,敬请关注。
(24)有网友问:我看到了 Hy4 flash 在大量 PHP 代码仓库上的测试结果,一些 Shell 和 DevOps 任务它完成得不错,比如 ZFS 数据集迁移这种特殊场景。PHP 类型推断里的那些特殊问题,你们是怎么处理的?
腾讯混元:靠更好的训练数据、多样化的内部评测,还有“不针对基准测试刷分”(non-benchmaxing)。
(25)有网友问:GPQA Diamond、τ-bench、IFBench、SWE-bench 这些常见基准测试的成绩,你们为什么没有公布?是不是有什么具体原因?
腾讯混元:我们展示的是近期比较先进的基准测试结果,比如 Agents' Last Exam、ProgramBench 等。你提到的那些推出得相对较早,分数已经趋于饱和。
(26)有网友问:你们有没有计划从零开始训练三值模型(Ternary Model),好把推理服务效率大幅提上去?
腾讯混元:目前没有从零开始训练三值模型的计划。
(27)有网友问:创意写作和内容可读性这两块,你们投入了多少关注?要是有款模型解释问题时表达更清楚、更好懂,这会是我放弃 Qwen3.8 Flash Next、转用其他模型的重要原因之一。
腾讯混元:创意写作和可读性我们也认为非常重要,正在把它列为重点改进方向。这方面已经做了不少工作,但仍有改进空间。有时候,一个好的例子胜过五段文字。
模型在实际使用中的表现我们非常重视,写作质量和可读性都是其中的重要组成部分。这两方面的能力正在积极改进。
(28)有网友问:我注意到大语言模型的写作能力有所下降。以前我会用 Claude 3.5 编辑文本,现在已经不再使用 Claude 5.5。我发现只有 Gemini Pro 生成的代码文档勉强符合要求。Qwen3.6 的写作能力也比 Qwen3.8 更好。这种现象是因为大模型越来越偏重代码训练,还是由于过拟合,或者其他原因?
腾讯混元:这一现象我们也注意到了。我们认为,这可能和模型的训练目标有关。
我们希望自己的模型写得更像人类,表达更自然,而不是千篇一律、充满模板感。这个问题正在努力改善,敬请期待。
03 .
仍会坚持开源
单一榜单并不能决定模型能力
(29)有人提问:腾讯今后会走 Meta 转向闭源那条路,还是继续坚持开源?要是腾讯将来搞出了 AGI,或者做出了能力最强的 AI 模型,到时候还会开源吗?
腾讯混元:就目前而言,是的,我们会继续保持开源。
(30)有网友问:Artificial Analysis 榜单对美国闭源模型存在明显偏向,这在多大程度上损害了腾讯 Hy 以及其他中国前沿模型实验室的商业利益?
腾讯混元:一款模型在现实世界中是否被采用,单一网站并不能真正决定。各种不同的评测我们都会参考,包括内部基准测试、公开评测、第三方评测,以及真实用户反馈。
要真正判断一款模型的表现,需要看完整的评价结果。说到底,这才是用户真正关心的。
(31)有网友问,除了发论文交流,你们会不会也跟别的开源大模型团队沟通?
腾讯混元:我们正主动向开放的大模型社区取经,也盼着把自家更多研究成果回流给社区。
(32)网友提问:团队平时怎么用大语言模型?用的是开源模型、腾讯内部模型,还是别的闭源模型?
腾讯混元:好用的模型我们都会用,不分开源闭源。当然,Hy系列模型在内部也用得很广。
(33)网友提问:腾讯会不会针对不同硬件配置推出量化版本,或者参与支持低显存部署的项目,让Hy4也能跑在显存有限的设备上?另外,像Kimi那样限制或移除模型网络安全能力的压力,你们感受到了吗?
腾讯混元:Hy4对Strata的适配正在推进,相关支持很快会上线。为了负责任地开源,我们对模型的部分网络安全能力做了限制。我们认为这么做有必要。
(34)网友提问:EXL3量化对低配硬件做本地推理很有帮助,腾讯打算支持这种量化格式吗?
腾讯混元:眼下我们没有适配EXL3版本的官方计划。不过模型权重已经开放,我们相信开源社区很快会陆续推出相应版本。
(35)网友提问:我刚接触这款模型,还没上手试。它的参数规模有多大,内存、显存要求是多少?
腾讯混元:你可以在M5 Max和128GB的Spark设备上运行Hy4 flash模型。
(36)网友提问:如果最终目标是做端侧Agent,你建议开发者现在就动手,在PC或Mac上跑较小的本地模型、搭Agent Harness,并测试真实应用场景吗?
腾讯混元:我们建议现在就开始。我认为本地部署始终会遇到效率方面的挑战,相关技术也会持续迭代。
(37)网友提问:腾讯未来会不会优先投入面向科学研究、特别是生物学任务的强化学习?尤其是Hy4 flash至500B参数规模之间的模型。
腾讯混元:我们正在积极投入面向科学研究的强化学习,同时也高度重视安全性。
(38)网友提问:你觉得什么会开启人工智能的下一个时代?模型架构上的突破、更多或更高质量的训练数据,还是别的因素?
腾讯混元:我们始终认为,数据和评测是实现通用人工智能(AGI)最重要的工具。数据决定模型能具备哪些能力,评测则引导我们朝正确的方向走。
(39)网友提问:现在想入行做AI工程师,该怎么起步?
腾讯混元:现在你可以直接问AI,AI工程工作该怎么开展,或者AI该怎么学。
(40)网友提问:如果不看模型跑分,而是按团队技术实力、研究质量这些因素来评,你怎么看DeepSeek、智谱、月之暗面、阿里巴巴等其他开源模型实验室?非要选前三名的话,你怎么排?
腾讯混元:我才不上这个当呢,大家都很优秀。
04 .
主动限制部分网络安全能力
Hy4漏洞发现能力较强
漏洞利用能力相对较弱
(41)网友提问:一般来说,大量安全对齐训练会让开源模型拒绝执行基本的渗透测试、逆向工程或CTF任务。你们是怎么避免模型对这些具有双重用途的编程请求过度拒答的?
腾讯混元在网络安全训练上把重心放在防御性任务、漏洞分析与修复,涉及漏洞利用和攻击性攻击的数据则被排除在外。团队还会做红队评估,用来判断潜在风险。
至于过度拒答,腾讯混元承认这仍是一个有待改进的重要领域。
(42)网友提问:系统卡里 Hy4 提到,腾讯在筛选网络安全训练数据时有意只留下与漏洞复现、修复相关的部分,把漏洞利用、逆向工程这类进攻性内容剔除了,以此压住模型的网络安全能力,这么做的结果是不是反倒让做防御的人吃了亏?
腾讯混元的答复是,按自家评测结果,Hy4在漏洞发现上表现较强,漏洞利用方面则偏弱。
(43)网友提问:腾讯为何要把网络安全红队相关的内容从训练数据里拿掉?这么做有可能让模型变弱,实际的安全收益却未必拿得到。有没有评估过别的做法?
腾讯混元表示,过滤这类数据属于更基础的一步,还得配上经过训练的安全防护机制,在需要时拒掉相关请求。按团队说法,这么做是为了实现负责任的开源。
(44)网友提问:过去发生过的 AI 对齐失败事件,腾讯自己碰上的也好,别家实验室公开披露的案例也好,有没有被你们拿来当过训练数据或评测目标?
腾讯混元称,这些案例只在评测环节使用,用于跟踪和监测。
(45)网友提问:模型在内部跑的时候,训练、评测、部署这几个环节,尤其是 Agent 任务里,你们会做哪些网络访问方面的管控?
腾讯混元介绍,允许列表和阻止列表都会用上。评测过程中,由于已经发现前沿模型存在多种攻击方式,测试环境及相关的访问控制列表需要反复修复、调整。
另外,整个训练和评测期间,团队会持续盯住潜在的黑客攻击与模型对齐问题,一旦发现就着手修复相关环境。