腾讯开源Hy4预览版：770B参数MoE架构，单Token仅激活49B

腾讯这次开源的模型叫Hy4 preview，走的是MoE路线，也就是混合专家架构。

整个模型主干一共78层。最底下那层还是标准稠密FFN，往上77层全换成了MoE结构，每一层里放着256个路由专家，外加1个共享专家。每处理一个Token，模型只从这256个里挑8个路由专家调用，共享专家也一并算上。

这个说法可能有点绕，打个比方：

可以把MoE想成一家养了一大批专家的研究机构。机构里各领域的人都有，但真去解一道具体题目时，用不着全员上阵，把最对口的几位叫来就够了。

所以，770B说的是模型总共攒下的参数家底，49B才是每个Token真正参与运算的那部分。

这么设计，模型的总容量能往上扩，单次推理要算的量又压得住。可770B权重终归得完整存下来、完整部署，普通消费级电脑想轻松跑起来还是不现实。

长上下文是Hy4 preview的另一处核心升级。

100万Token的上下文，意味着模型一次能吞下更长的项目文档、代码库、会议资料和多文件任务，材料被反复切碎、信息在窗口之间倒来倒去的麻烦能少一些。

上下文一长，注意力计算的压力也跟着涨。Hy4 preview为此上了两项关键设计：Gated DSA稀疏注意力，以及IndexCache跨层索引复用。

传统的全注意力机制，得让当前Token跟大量历史Token逐一建立关联，序列越长，算起来越吃力。稀疏注意力的思路是先挑出跟当前任务更相关的内容，再集中算这些。

具体到Gated DSA，它会为查询位置最多挑出2048个相关Token；IndexCache则让一部分层直接复用邻近层已经算好的稀疏索引，省掉重复筛选的工夫。

换个说法，面对一座大型图书馆，模型不用每回都把所有的书从头翻一遍，先定位到最可能相关的页面，后面处理时再把部分检索结果接着用。

100万Token说的是模型能装下多少内容，不代表每一条信息它都能记牢、随取随用。文档怎么排布、信息密不密、问题怎么问，都会影响实际表现。

二、iHC与原生MTP：拓宽信息通路，让生成更快

注意力机制之外，Hy4 preview还把iHC（identity Hyper-Connections）放进了残差通路。过去Transformer一般只靠一条主要残差通路传信息，这次残差流被扩成4条，层与层之间传递信息的路子更多了。

模型主干外头另挂了一层原生MTP，专门做推测解码。这一层有10B总参数、0.7B激活参数，先提前生成候选Token，再交给主模型验证，部署环境合适的话，生成效率能提上来。

这些设计指向同一件事：模型规模和上下文窗口都在扩，长文本处理与实际推理的算力开销要压下去。

基准成绩和内部盲测，表现如何？

腾讯公布的数据显示，Hy4 preview在长程编程、工具调用这类任务上进步明显。Terminal-Bench 2.1里它拿到85.4分，Hy3是70.8分，高出14.6分；DeepSWE真实软件工程长任务测试中，成绩由28.0升至64.3。

腾讯还拉了163名内部专家，对203个工程任务做盲测。Hy4 preview平均2.99分，比GLM-5.3的2.92分、Kimi K3的2.94分都略高一点。

但这组对比是腾讯自己内部的测试，任务怎么分布、评估环境怎么搭，也由腾讯定。拿它看模型在真实工程流程里的表现可以，直接当成第三方榜单上的全面领先就不行了。

所以说，更准确的说法是：Hy4 preview已经站进开源模型第一梯队，编程、工具调用和生产力任务上有部分达到领先水平，但要说它在所有维度都是“最强开源模型”，目前还撑不住。

Hy4 preview这次训练和优化的重心，明显不再只是把问题答对，而是把一整件事做完。软件工程场景里，它补强了长程开发任务的理解、规划、调试与验证；办公分析场景里，它主打跨文件协作，能围绕多份材料做数据分析，最后交付文档、表格和演示文稿。游戏开发上，它可按需求生成可玩原型，再结合游戏引擎反复修改；科学研究方面，腾讯把它用到了AI研发、分子动力学、凝聚态物理和基础数学等问题上。

接入渠道也已铺开。WorkBuddy、CodeBuddy、元宝和ima目前都已接入Hy4 preview，开发者还能通过腾讯云TokenHub和OpenRouter调用。

权重方面，模型以Apache 2.0协议开放，部署、量化和微调方案一并给出。也就是说，开发者除了调API，还能按自己的实际需求做私有化部署和二次开发。不过Hy4 preview并非没有短板。

770B总参数摆在那里，完整部署仍需较高的硬件投入；百万Token上下文也不代表所有长文本任务都能稳定跑完。腾讯自己也承认，这一版本处理复杂任务时思考时间偏长、存在过度自我验证的问题，预训练和后训练都还有继续优化的余地。

还有一点需要分清：眼下已经发布并开源的是Hy4 preview。10月29日，腾讯宣布正式版Hy4即将发布，会进一步强化长程任务和真实生产力能力，提高思维链效率，并首次引入视觉理解能力。

via https://mp.weixin.qq.com/s/6dmmAIhpnc2AKMTWLz5vBA

https://mp.weixin.qq.com/s/5L1-ON3EUhqrJqjmAuKpaw