Huginn与Ouro循环模型对比:三个可调旋钮决定性能差异

资讯 腾讯网 作者:科技行者 全文 4657 字 · 约 12 分钟读完 配图 1 张 分类Transformer存储

你有没有想过,一个只有7.3亿参数的模型,怎么能装下相当于1120个Transformer层那么大的计算量?答案是循环。把同一组参数反复用很多遍,就像用一把钥匙开很多道门。这个思路听起来很聪明,省内存、省显存,但问题是,具体怎么循环才是对的?把哪些层拿出来重复用,输入信息要不要反复喂进去,循环状态要不要搞得花里胡哨,这

所属频道 算力与芯片

一个参数量只有7.3亿的模型,凭什么能装下相当于1120个

靠的是循环。同一组参数被反复调用多遍,好比一把钥匙开很多道门。省内存、省显存,思路听起来很聪明。可问题在于,循环到底怎么做才对?哪些层拿出来重复用,输入信息要不要反复喂进去,循环状态要不要搞得复杂,这些细节在此前的研究里没人认真拆开看过。

这正是这篇论文要处理的问题。论文来自循环模型真正做对"这个说法听着有点狂,但读下去会发现,一个被大家糊在一起的问题,确实被一刀一刀切开了。

一笔糊涂账是怎么形成的

循环语言模型

这个领域目前分成两大门派,一个叫

问题来了。Huginn效果看起来更好,可没人清楚到底是哪个部件在起作用。是三明治"结构本身厉害,还是反复喂入输入信息厉害,还是那个单独初始化的状态厉害?好比吃了一顿好吃的火锅,锅底好、蘸料好、食材新鲜,功劳全混在一起,分不清楚。

不把这几个变量拆开单独测试,永远只能说Huginn整体上更好",却说不出为什么更好"。说不出原因,就没法把好的部分抽出来用到别的架构上,比如

三个被拧在一起的旋钮

研究者把循环架构抽象成一个统一的数学框架,其中包含三个可以独立调节的旋钮。

迭代外壳

输入注入

循环状态组织

这三个旋钮,Ouro全拨到简单"那一侧:外壳是全栈循环,没有

研究者的做法是从Ouro出发,一次只拨一个旋钮,看每拨一下会发生什么。像调一台老式收音机,同时转音量、调台、调音色三个旋钮,永远不知道是哪个让声音变好了。一次只转一个,才能听出差别出在哪儿。

旋钮一:把循环挪到中间,到底图什么

第一个实验只改外壳。Ouro的全栈循环4次",换成Huginn式的8层打底+中间12层循环8次+8层收尾",参数量和总计算量完全对齐,其他一切不动。

结果相当惹眼。在336B训练数据的规模下,

但同时,

这个结果挺有意思。三明治结构的好处,主要体现在需要在给定材料上反复折腾、层层推导"的任务上,而不是直接从脑子里掏知识"的任务上。研究者的解释是:循环被限制在中间一小段,等于让网络的首尾专心做输入编码和输出解码,中间那部分则把全部力气花在反复打磨同一个状态上。

打个比方。要写一篇需要大量计算和逐步推导的论文,会把查资料""打草稿反复修改""最终定稿排版"三件事全交给同一个人同时做吗?大概不会。更合理的安排是:查资料的人专心查资料,打草稿的人反复改草稿,定稿的人专心定稿。中间那个反复修改"的环节,才是真正需要被重复利用的核心劳动力。一个人同时兼顾三件事,每做一轮都要重新适应角色,效率反而更低。三明治结构的本质,就是把反复打磨"从输入输出"的职责里剥离出来,专心交给中间那部分重复使用的层。

好处是有代价的。知识类任务靠的是参数里死记硬背的东西,不是反复推理能解决的。三明治结构没增加任何新知识,只是让推理过程更有效率,所以知识类任务上它帮不上忙,甚至因为首尾层变薄,表现还可能略微下滑。

旋钮二:反复把输入塞回去,是帮忙还是添乱

第二个实验测输入注入。外壳结构保持不变,只测要不要在每一轮循环前,把一份固定的输入表示重新塞进去"。

结果出现明显分裂。Huginn式的三明治结构里,加上输入注入后,BBH-CoT涨了6.63分,代码测试HumanEval+涨了5.49分,

数学推理测试却反过来了。

这个对比揭示了一件挺反直觉的事。很多人觉得反复提醒模型输入是什么"肯定是好事,不怕记性差,就怕忘。可数学题这类任务需要层层推导、状态不断往前演化,反复把原始输入塞回去,就像把一个正在专心解题的人每隔几秒钟拽回去重读一遍题目。他已经算到第三步,硬被拉回起点附近,思路被打断。

这就像心算一道连续加减法,算到一半,有人凑到耳边把原题又念了一遍。脑子里攒下的中间结果被这声“提醒”冲淡,出错概率反倒更高。研究者的说法大体类似:数学任务需要让循环状态慢慢“离开”输入的原始表示,毕竟中间算出来的东西才是关键;可输入一直在注入,就会把状态不断拽回输入附近,这种逐步偏离的过程也就被挡住了。

有意思的是,数学上虽有这个负面效果,把三明治结构和输入注入叠在一起的完整版本,在十个测试里仍有八个压过了同样加了输入注入的全栈Ouro,只有ARC-C和

旋钮三:随机初始化与“快慢双状态”,究竟值不值

第三个实验考察的是循环状态怎么组织。这里拆成两个子问题:随机

随机初始化这事,不少研究者一直当成“必须有”的标配,因为它能让模型从不同起点出发都收敛到同一个答案,对需要反复迭代到稳定的算法类任务有好处。论文的结果却泼了盆冷水:跟直接把输入表示当初始状态相比,随机初始化在ARC-C和GSM8K上各涨约2到3分,可在MMLU、MATH500、HumanEval+和MBPP+上都掉了一分以上。十项测试里六项打平或更差,普遍优势没看出来,还多出一步采样噪声的计算开销。

至于“高低双状态”的设计,灵感来自大脑里快慢两套节律系统分工合作的理论模型(

三个旋钮测下来,一张挺清晰的地图就出来了:真正起作用的是外壳结构和输入注入这两个因素;额外的状态复杂度,在共享参数的前提下,并没有带来靠得住的收益。

这个发现本身值得细想。架构设计上不少“花活”听着逻辑自洽,甚至有神经科学背书,可一放进严格对照实验,就露出“看着合理不等于真有用”的底子。说到底,架构创新光凭直觉和类比不够,还得靠扎实的受控实验来验证。

把结论搬进MoE模型试水

混合专家模型*:一种神经网络架构,内部含多个“专家”子模块,每次只激活其中一小部分(比如25个专家里选2个),这样在扩大总容量的同时把实际计算量控制住。

前面那些实验都在稠密模型上做。这些结论能不能搬到更复杂的MoE模型上?研究者把Ouro和Huginn两套完整架构都改成MoE版本:28个物理层,每层25个专家,每次激活2个,共80亿常驻参数,但每次前向传播只激活7.94亿参数,循环展开后相当于320亿参数规模,激活参数应用相当于32亿。两边完全对齐,差别只在循环方式。

结果跟稠密模型那边基本一致。十项测试里Huginn八项胜过Ouro,数学任务上的优势尤其突出,GSM8K涨了4.70分,MATH500涨了3.60分。知识类任务中,MMLU涨了2.78分,

更让人在意的是专家路由的表现。研究者测了一个叫“

这能说明什么?Huginn式架构不光答得更准,连“内部资源调度”都更合理,专家分到的任务更均衡,没出现某几个专家累死累活、其余专家闲着的局面。

研究者还做了个很硬核的验证。他们强行冻结循环第一轮选中的专家身份,让后面七轮都重复用同一批专家,中途不许换人。结果六项测试全部掉分,MMLU掉了11.2分,

这实验有点像在使“排除法”。怀疑团队里某个岗位到底有没有用,直接的办法就是把这岗位的人换成提前写死的脚本,看整体表现会不会垮。结果表现大幅下滑,说明“每轮循环挑不同专家来处理”不是摆设,确实在起作用,循环的每一轮都在根据当前状态动态决定该交给谁。

与传统大模型过招

最后一项对比,是拿Huginn式循环MoE模型,去比一个112层、完全不共享参数的传统MoE模型。这个传统模型存了320亿参数,是Huginn循环模型(80亿常驻参数)的四倍。

在同样的训练和推理计算量预算下,传统大模型七项测试领先,但Huginn在DROP和GSM8K上反超,MATH500打平。更关键的是把差距拉出来看:稠密模型设定下Huginn平均落后4.96分,到了MoE设定下,这个差距缩到了1.71分。

这说明MoE那种“按需激活”的机制跟循环架构搭在一起,能把“小身材”和“大块头”之间的距离进一步拉近。换句话说,循环加稀疏路由这两样“省资源”的手段叠起来,效果比单用哪一种都更明显,用四分之一的常驻参数,追到了离满分只差一步的位置。

写在后面

读完这篇论文,真正打动我的不是哪个具体分数涨了多少,而是它示范了一种做研究该有的较真劲儿。领域里两大门派在架构上争了很久,可没人真把变量拆干净过。这篇论文花大把篇幅,做的就是这件“拆干净”的苦活。

有个细节我想单独拎出来说。研究者发现,输入注入对数学推理是负面的,对知识检索和代码生成却是正面的;这种分裂在稠密模型和MoE模型里各出现了一次,两次重复,说明它不是偶然噪声,而是比较稳定的现象。这意味着,以后设计循环架构,未必该追求一套“放之四海而皆准”的注入策略,而要按任务类型动态决定要不要反复提醒模型“原始输入是什么”。这个思路再往前推一步,甚至能联想到人类学习里的现象:死记硬背知识时,反复复习原始材料有帮助;做复杂推理题时,反复回头看题目反而容易打断思路,高效的做法往往是读一遍题,然后专心推导,中途尽量少回头确认。

另一点让我意外的是随机初始化“失宠”。这个设计在循环模型和不动点理论的文献里几乎是标准配置,论文的受控实验却显示它在实际语言建模任务里收益寥寥。这倒不是说随机初始化没用,论文也坦诚指出,他们没有测试“路径独立性”和“超出训练深度的外推能力”,这些场景下随机初始化或许仍有价值。只是提醒我们,一个理论上优雅的设计,不代表在具体任务和具体规模下也优雅。

论文没有回避短板。规模仅做到7.3亿参数、MoE下80亿常驻参数,百亿乃至千亿规模下结论是否还站得住,尚未验证;多次随机种子的重复实验也还没做。这些留白被如实写了出来,留给后来者去补。对做模型架构设计的人来说,这篇论文的提醒很直接:设计新机制之前先想清楚,它到底解决什么具体问题、代价又是什么,别只因为"听起来合理"或者"有生物学灵感"就拿来用。

Q&A

Q1:Huginn和Ouro这两种循环模型架构,最核心的区别在哪?Ouro的做法是把整个Transformer堆栈原样重复使用,输入直接充当循环的起始状态。Huginn只让中间一部分层参与循环,首尾各留独立的层,分别做输入编码和输出解码;每轮循环都会重新注入一份固定的输入表示,循环状态也单独初始化,不直接继承输入。

Q2:输入注入机制对所有任务都有帮助吗?并非如此。实验里,知识检索、上下文理解和代码生成类任务受益明显,BBH-CoT涨了6.63分;数学推理类任务却受到负面影响,MATH500和GSM8K都出现下降。原因在于反复注入可能打断推理状态的渐进演化过程。

Q3:循环架构用到MoE上还有效吗?有效。论文把Huginn和Ouro都改造成MoE版本做对比,相同参数预算下,Huginn在十项测试的八项上超过Ouro,专家负载也更均衡;用四分之一的常驻参数,它就在部分任务上追平甚至超过了四倍参数规模的传统MoE模型。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌工程师让打印机跑2.7亿参数模型:每词元约60秒

    IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约

    来源 腾讯网
  2. AI硬件的牛市结束了

    最强势的市场,也顶不住这轮AI回调了。 从10月的高点算起,涵盖AI硬件全链条的费城半导体指数跌去27.8%。其中,算力龙头英伟达跌去36.1%、存储龙头美光跌去43%,就连给他们供货的寡....

    来源 腾讯网
  3. 孙正义曾探讨收购SK海力士:规模或达1万亿美元,目前已不再推进

    软银创始人孙正义的AI扩张野心,再度瞄准全球存储芯片巨头。据The Information近日报道援引知情人士,孙正义近期曾就收购韩国SK海力士一事接触华尔街机构,探讨融资可能性,交易规模或高达1万亿美元。不过,软银随后确认曾探讨这一方案,但表示目前已不再积极推进。软银发言人称:“软银会探索许多机会,这一项目目前已不在

    来源 腾讯网
  4. 苹果拟与三星签四至五年DRAM长约:2027年生效,锁定最低采购量

    11月18日报道,受人工智能算力基础设施需求激增引发的芯片供应紧张影响, 苹果公司 拟与三星电子达成一项罕见的四至五年期DRAM内存供应协议,于2027年上半年生效并延续至2031或2032年,以锁定最低采购量、保障未来 iPhone 与 MacBook 等终端产能。 长期以来,苹果依赖庞大订单量与

    来源 AI 开发者社区
  5. NVIDIA SEED:让Qwen预填充计算降25%,显存占用砍半

    NVIDIA 发布 SEED 技术,针对 Qwen3.8-Flash-Next 等混合架构模型进行推理优化。通过“浅层编码深层记忆”和“循环状态低秩分解”,SEED 在不改变原模型权重的前提下,将预填充阶段的计算量减少约 25%,单请求循环状态内存占用从 113MB 降至平均 43MB。实测显示,在 GB300 GPU

    来源 AI 应用前沿
  6. 微软公布 USB4 多 Win11 电脑协同 AI 方案,搭积木式叠加内存 / 显卡算力跑本地模型

    IT之家 11 月 20 日消息,微软昨日(11 月 19 日)发布博文,宣布以开发者预览方式,推出基于 USB4 的远程直接内存访问(RDMA)体验,实现多台 Windows 11 电脑合力跑 AI 模型体验。 IT之家注:RDMA 是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和 CPU

    来源 AI 行业观察
  7. 谷歌50天连发4款模型:Gemini 4 Neon登场,世界模型同步开放

    OpenAI时隔75天的顶级模型刚刚发布,社区里的吐槽就炸开了。有人直言新模型“几乎没法用”,有人抱怨它过分谨慎、难以指挥,还有人认为,这家伙解释起自己的工作就像在“说外星话”。甚至有人用漫画玩了个梗,吐槽GPT-6.2 Astra的语言风格,根本是防御过当。图片来源网络前·赛博义父Tibo在X上表示,他已经收到了关于

    来源 腾讯网
  8. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  9. 三星电子非半导体板块内存平均采购价今年前九个月同比暴涨 263%

    IT之家 11 月 20 日消息,据韩联社当地时间 18 日报道,根据三星电子同日发布的详细三季报,该企业负责非半导体板块的 DX(设备体验)部门今年 1~9 月的内存平均采购价格同比暴涨 263%。 而在相同时间内,DX 部门的移动应用处理器平均采购价格上涨了 8%,旗下 MX(移动体验)业务的 Galaxy 智能手

    来源 AI 行业观察
  10. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  11. TrendForce看跌2027年NAND闪存价格:中国云厂砍单规模超北美新增需求

    集邦咨询预测,受供给端产能扩张、中国云服务商大幅削减企业级固态硬盘订单及消费电子需求疲软三重压力影响,NAND闪存合约价格将于2027年一季度开始下滑,二季度起全面进入下行周期。2027年全球位供给量预计同比增长25%至30%,供过于求格局贯穿全年。

    来源 华尔街见闻
  12. 美光新加坡 HBM 先进封装厂首台设备进驻,预计 2027 年初首批产出

    IT之家 11 月 20 日消息,当地时间 11 月 19 日,美光位于新加坡的高带宽内存(HBM)先进封装厂举行了首台设备搬入仪式,庆祝第一台制造设备搬入厂内无尘室。 美光科技全球封装与测试高级副总裁陈国兴表示,该 HBM 先进封装厂的建设进展顺利,预计将于 2027 年初实现首批产出。 2025 年 1 月,美光新

    来源 AI 行业观察
  13. 群联推出Pascari Space:为商业航天打造定制固态硬盘

    IT之家 11 月 20 日消息,固态硬盘与其控制器制造商群联 (Phison) 近日在 SC26 上推出了 Pascari Space。这一全新的产品类别旨在为商业航天和轨道基础设施打造满足严苛环境要求的存储解决方案。 群联表示,通过其 IMAGIN+ 设计服务定制的 Pascari SSD 已经达到 TRL-9 级

    来源 AI 行业观察
  14. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  15. 台积电限供16纳米以下:大陆AI芯片代工通道收窄

    指引写明,中国大陆的设计公司一般将被限制在更老的 28 纳米和 40 纳米工艺,前提是这些芯片不使用高带宽内存(HBM),也不需要先进封装。 另有一名直接了解情况的消息人士说,周四之前,仍有一些中国人工智能芯…

    来源 搜狐科技
  16. 半导体材料设备板块回暖:行业标准获批,国产设备多工序拓展

    近期,半导体材料设备板块震荡回升,产业端也迎来新进展。行业专属质量管理体系标准获批,前期扩产订单陆续转化为收入,国产设备新品加快导入客户产线,零部件企业持续拓展供货。分析人士认为,国内晶圆厂新建产能与存储厂工艺升级同步推进,有望带动设备采购及配套耗材需求增长。国内厂商正从供应单一机型向覆盖多道关键工序拓展,国产化有望加

    来源 AI 行业观察
  17. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  18. Anthropic数学家阿尔波格称与Claude合作完成黎曼猜想证明

    IT之家 11 月 20 日消息,据《科学美国人》报道,当地时间 20 日,Anthropic 数学家莱文特 · 阿尔波格宣称,自己与 AI 模型 Claude 合作,攻克了数学界最著名的难题之一 —— 黎曼猜想。阿尔波格在个人网站发表声明称:“我相信,我与 Claude 合作找到了黎曼猜想的证明。”IT之家注:黎曼猜

    来源 腾讯网
  19. Claude称证出黎曼猜想:25万页证明未公开,陶哲轩回应待验证

    智东西11月21日报道,昨夜,Anthropic数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站上发布声明,宣称自己与Claude合作,找到了黎曼猜想及其更强版本——广义黎曼猜想(GRH)的证明方法。 ▲阿尔珀格发布的声明(图源:其个人主页) 这项困扰数学界167年的难题,可能迎来重大突破。 2006年菲

    来源 AI 行业观察
向下滚动自动加载更多