Huginn与Ouro循环模型对比:三个可调旋钮决定性能差异
你有没有想过,一个只有7.3亿参数的模型,怎么能装下相当于1120个Transformer层那么大的计算量?答案是循环。把同一组参数反复用很多遍,就像用一把钥匙开很多道门。这个思路听起来很聪明,省内存、省显存,但问题是,具体怎么循环才是对的?把哪些层拿出来重复用,输入信息要不要反复喂进去,循环状态要不要搞得花里胡哨,这
一个参数量只有7.3亿的模型,凭什么能装下相当于1120个
靠的是循环。同一组参数被反复调用多遍,好比一把钥匙开很多道门。省内存、省显存,思路听起来很聪明。可问题在于,循环到底怎么做才对?哪些层拿出来重复用,输入信息要不要反复喂进去,循环状态要不要搞得复杂,这些细节在此前的研究里没人认真拆开看过。
这正是这篇论文要处理的问题。论文来自循环模型真正做对"这个说法听着有点狂,但读下去会发现,一个被大家糊在一起的问题,确实被一刀一刀切开了。
一笔糊涂账是怎么形成的
循环语言模型
这个领域目前分成两大门派,一个叫
问题来了。Huginn效果看起来更好,可没人清楚到底是哪个部件在起作用。是三明治"结构本身厉害,还是反复喂入输入信息厉害,还是那个单独初始化的状态厉害?好比吃了一顿好吃的火锅,锅底好、蘸料好、食材新鲜,功劳全混在一起,分不清楚。
不把这几个变量拆开单独测试,永远只能说Huginn整体上更好",却说不出为什么更好"。说不出原因,就没法把好的部分抽出来用到别的架构上,比如
三个被拧在一起的旋钮
研究者把循环架构抽象成一个统一的数学框架,其中包含三个可以独立调节的旋钮。
迭代外壳
输入注入
循环状态组织
这三个旋钮,
Ouro全拨到简单"那一侧:外壳是全栈循环,没有
研究者的做法是从Ouro出发,一次只拨一个旋钮,看每拨一下会发生什么。像调一台老式收音机,同时转音量、调台、调音色三个旋钮,永远不知道是哪个让声音变好了。一次只转一个,才能听出差别出在哪儿。
旋钮一:把循环挪到中间,到底图什么
第一个实验只改外壳。Ouro的全栈循环4次",换成Huginn式的8层打底+中间12层循环8次+8层收尾",参数量和总计算量完全对齐,其他一切不动。
结果相当惹眼。在336B训练数据的规模下,
但同时,
这个结果挺有意思。三明治结构的好处,主要体现在需要在给定材料上反复折腾、层层推导"的任务上,而不是直接从脑子里掏知识"的任务上。研究者的解释是:循环被限制在中间一小段,等于让网络的首尾专心做输入编码和输出解码,中间那部分则把全部力气花在反复打磨同一个状态上。
打个比方。要写一篇需要大量计算和逐步推导的论文,会把查资料""打草稿反复修改""最终定稿排版"三件事全交给同一个人同时做吗?大概不会。更合理的安排是:查资料的人专心查资料,打草稿的人反复改草稿,定稿的人专心定稿。中间那个反复修改"的环节,才是真正需要被重复利用的核心劳动力。一个人同时兼顾三件事,每做一轮都要重新适应角色,效率反而更低。三明治结构的本质,就是把反复打磨"从输入输出"的职责里剥离出来,专心交给中间那部分重复使用的层。
好处是有代价的。知识类任务靠的是参数里死记硬背的东西,不是反复推理能解决的。三明治结构没增加任何新知识,只是让推理过程更有效率,所以知识类任务上它帮不上忙,甚至因为首尾层变薄,表现还可能略微下滑。
旋钮二:反复把输入塞回去,是帮忙还是添乱
第二个实验测输入注入。外壳结构保持不变,只测要不要在每一轮循环前,把一份固定的输入表示重新塞进去"。
结果出现明显分裂。Huginn式的三明治结构里,加上输入注入后,BBH-CoT涨了6.63分,代码测试HumanEval+涨了5.49分,
数学推理测试却反过来了。
这个对比揭示了一件挺反直觉的事。很多人觉得反复提醒模型输入是什么"肯定是好事,不怕记性差,就怕忘。可数学题这类任务需要层层推导、状态不断往前演化,反复把原始输入塞回去,就像把一个正在专心解题的人每隔几秒钟拽回去重读一遍题目。他已经算到第三步,硬被拉回起点附近,思路被打断。
这就像心算一道连续加减法,算到一半,有人凑到耳边把原题又念了一遍。脑子里攒下的中间结果被这声“提醒”冲淡,出错概率反倒更高。研究者的说法大体类似:数学任务需要让循环状态慢慢“离开”输入的原始表示,毕竟中间算出来的东西才是关键;可输入一直在注入,就会把状态不断拽回输入附近,这种逐步偏离的过程也就被挡住了。
有意思的是,数学上虽有这个负面效果,把三明治结构和输入注入叠在一起的完整版本,在十个测试里仍有八个压过了同样加了输入注入的全栈Ouro,只有ARC-C和
旋钮三:随机初始化与“快慢双状态”,究竟值不值
第三个实验考察的是循环状态怎么组织。这里拆成两个子问题:随机
随机初始化这事,不少研究者一直当成“必须有”的标配,因为它能让模型从不同起点出发都收敛到同一个答案,对需要反复迭代到稳定的算法类任务有好处。论文的结果却泼了盆冷水:跟直接把输入表示当初始状态相比,随机初始化在ARC-C和GSM8K上各涨约2到3分,可在MMLU、MATH500、HumanEval+和MBPP+上都掉了一分以上。十项测试里六项打平或更差,普遍优势没看出来,还多出一步采样噪声的计算开销。
至于“高低双状态”的设计,灵感来自大脑里快慢两套节律系统分工合作的理论模型(
三个旋钮测下来,一张挺清晰的地图就出来了:真正起作用的是外壳结构和输入注入这两个因素;额外的状态复杂度,在共享参数的前提下,并没有带来靠得住的收益。
这个发现本身值得细想。架构设计上不少“花活”听着逻辑自洽,甚至有神经科学背书,可一放进严格对照实验,就露出“看着合理不等于真有用”的底子。说到底,架构创新光凭直觉和类比不够,还得靠扎实的受控实验来验证。
把结论搬进MoE模型试水
混合专家模型*:一种神经网络架构,内部含多个“专家”子模块,每次只激活其中一小部分(比如25个专家里选2个),这样在扩大总容量的同时把实际计算量控制住。
前面那些实验都在稠密模型上做。这些结论能不能搬到更复杂的MoE模型上?研究者把Ouro和Huginn两套完整架构都改成MoE版本:28个物理层,每层25个专家,每次激活2个,共80亿常驻参数,但每次前向传播只激活7.94亿参数,循环展开后相当于320亿参数规模,激活参数应用相当于32亿。两边完全对齐,差别只在循环方式。
结果跟稠密模型那边基本一致。十项测试里Huginn八项胜过Ouro,数学任务上的优势尤其突出,GSM8K涨了4.70分,MATH500涨了3.60分。知识类任务中,MMLU涨了2.78分,
更让人在意的是专家路由的表现。研究者测了一个叫“
这能说明什么?Huginn式架构不光答得更准,连“内部资源调度”都更合理,专家分到的任务更均衡,没出现某几个专家累死累活、其余专家闲着的局面。
研究者还做了个很硬核的验证。他们强行冻结循环第一轮选中的专家身份,让后面七轮都重复用同一批专家,中途不许换人。结果六项测试全部掉分,MMLU掉了11.2分,
这实验有点像在使“排除法”。怀疑团队里某个岗位到底有没有用,直接的办法就是把这岗位的人换成提前写死的脚本,看整体表现会不会垮。结果表现大幅下滑,说明“每轮循环挑不同专家来处理”不是摆设,确实在起作用,循环的每一轮都在根据当前状态动态决定该交给谁。
与传统大模型过招
最后一项对比,是拿Huginn式循环MoE模型,去比一个112层、完全不共享参数的传统MoE模型。这个传统模型存了320亿参数,是Huginn循环模型(80亿常驻参数)的四倍。
在同样的训练和推理计算量预算下,传统大模型七项测试领先,但Huginn在DROP和GSM8K上反超,MATH500打平。更关键的是把差距拉出来看:稠密模型设定下Huginn平均落后4.96分,到了MoE设定下,这个差距缩到了1.71分。
这说明MoE那种“按需激活”的机制跟循环架构搭在一起,能把“小身材”和“大块头”之间的距离进一步拉近。换句话说,循环加稀疏路由这两样“省资源”的手段叠起来,效果比单用哪一种都更明显,用四分之一的常驻参数,追到了离满分只差一步的位置。
写在后面
读完这篇论文,真正打动我的不是哪个具体分数涨了多少,而是它示范了一种做研究该有的较真劲儿。领域里两大门派在架构上争了很久,可没人真把变量拆干净过。这篇论文花大把篇幅,做的就是这件“拆干净”的苦活。
有个细节我想单独拎出来说。研究者发现,输入注入对数学推理是负面的,对知识检索和代码生成却是正面的;这种分裂在稠密模型和MoE模型里各出现了一次,两次重复,说明它不是偶然噪声,而是比较稳定的现象。这意味着,以后设计循环架构,未必该追求一套“放之四海而皆准”的注入策略,而要按任务类型动态决定要不要反复提醒模型“原始输入是什么”。这个思路再往前推一步,甚至能联想到人类学习里的现象:死记硬背知识时,反复复习原始材料有帮助;做复杂推理题时,反复回头看题目反而容易打断思路,高效的做法往往是读一遍题,然后专心推导,中途尽量少回头确认。
另一点让我意外的是随机初始化“失宠”。这个设计在循环模型和不动点理论的文献里几乎是标准配置,论文的受控实验却显示它在实际语言建模任务里收益寥寥。这倒不是说随机初始化没用,论文也坦诚指出,他们没有测试“路径独立性”和“超出训练深度的外推能力”,这些场景下随机初始化或许仍有价值。只是提醒我们,一个理论上优雅的设计,不代表在具体任务和具体规模下也优雅。
论文没有回避短板。规模仅做到7.3亿参数、MoE下80亿常驻参数,百亿乃至千亿规模下结论是否还站得住,尚未验证;多次随机种子的重复实验也还没做。这些留白被如实写了出来,留给后来者去补。对做模型架构设计的人来说,这篇论文的提醒很直接:设计新机制之前先想清楚,它到底解决什么具体问题、代价又是什么,别只因为"听起来合理"或者"有生物学灵感"就拿来用。
Q&A
Q1:Huginn和Ouro这两种循环模型架构,最核心的区别在哪?Ouro的做法是把整个Transformer堆栈原样重复使用,输入直接充当循环的起始状态。Huginn只让中间一部分层参与循环,首尾各留独立的层,分别做输入编码和输出解码;每轮循环都会重新注入一份固定的输入表示,循环状态也单独初始化,不直接继承输入。
Q2:输入注入机制对所有任务都有帮助吗?并非如此。实验里,知识检索、上下文理解和代码生成类任务受益明显,BBH-CoT涨了6.63分;数学推理类任务却受到负面影响,MATH500和GSM8K都出现下降。原因在于反复注入可能打断推理状态的渐进演化过程。
Q3:循环架构用到MoE上还有效吗?有效。论文把Huginn和Ouro都改造成MoE版本做对比,相同参数预算下,Huginn在十项测试的八项上超过Ouro,专家负载也更均衡;用四分之一的常驻参数,它就在部分任务上追平甚至超过了四倍参数规模的传统MoE模型。