LatentLoop新架构:循环模型第一次算得少,反而跑得更快?
你有没有想过这样一件事:一个任务让你重复做两遍,难道两次付出的努力一定要一样多吗?2026年之前,大多数做"循环神经网络"的研究者会不假思索地回答:"当然要一样。"毕竟同一套参数,同一个模块,凭什么第一次和第二次要区别对待?这听起来几乎像是常识。但上海AI实验室联合多所高校的研究团队,用一组扎实的实验告诉你:...
有没有想过,同一个任务让你做两遍,两遍投入的力气非得一样多吗?
2026年之前,大多数人做
上海AI实验室和多所高校的研究者用一组扎实实验说明:这个常识不成立。他们让一个共享计算模块重复执行两次,模型自己学出的参数显示,第一次的“更新力度”远低于第二次。这不是碰巧,而是稳定规律。据此他们提出LatentLoop——给循环模型两次计算分配不同“体力”的新架构,在超过10的21次方浮点运算规模的训练中持续胜过两个强力基线。
论文关注的核心,是语言模型怎样既少占参数又不白费算力。
大模型面临的两难
背景先交代一下。
Transformer
一个朴素思路是堆更多层来增强模型。可层数一多,要存的参数跟着涨,显存和硬盘占用也更大。于是有人换了个取巧法子:每层干的事差不多,能不能让同一层参数被“复用”,重复跑两遍甚至更多?这样参数没多存,计算量(“思考的步数”)却上去了,模型也许就更聪明——这就是
Mixture-of-Experts(MoE)
循环加MoE,组合很巧妙:循环管“省参数”,MoE管“参数和算力解耦”。此前的工作
论文作者没停在这一步。他们追问得更深:两次执行共用一套参数,它们真在做同一件事?
残差系数的秘密:第一次访问在“悄悄省力”
残差连接
研究者给循环模型的两次访问(他们叫“第一次loop”和“第二次loop”)分别加了一个可学习系数,用来控制这次访问对残差更新量的“信任程度”。系数初始值都是1,等于起初完全不打折。随后让模型在训练里自行调整这两个系数。
结果高度一致:1.3B和3B两个规模下,第一次访问学出的系数都明显低于第二次。具体来说,1.3B模型训练结束时两者相差约3.17倍,3B模型相差3.08倍。换言之,模型自己“悟”出来了:第一次计算不必那么用力,第二次才是定调子的那一步。
好比一篇文章要改两遍。第一遍你多半只标出明显错别字和逻辑漏洞,不会在这一步死抠每个措辞,因为后面还有机会;第二遍才逐字打磨、决定最终呈现。要是在第一遍就花同样精力抠字眼,那些力气很可能白费,第二遍还得推翻重来。模型学到的策略与这个过程异曲同工:第一次粗加工,第二次精加工,粗加工阶段没必要投入和精加工一样多的“注意力”。
为确认这不是偶然,研究者又做了对照实验:把两个系数固定成不同数值组合,从头训练,观察验证集上的负对数似然(NLL,越低说明预测越准)。结果显示,把第一次访问的系数调低(比如0.25),模型表现没变差,反而更好;同样的调低若落在第二次访问上,表现就明显下滑。两个模型规模下,固定系数(0.25, 1)都是测试组合中最好的,比默认的(1, 1)好出不少。
这组实验说明:降低第一次访问的“更新强度”并非要妥协的代价,本身就是一种改进。
“软”的信号强度可以不对等,“硬”的计算量能不能也不对等?这正是LatentLoop要解决的问题。
LatentLoop架构:把省下的计算力花在刀刃上
研究者试了四种压缩第一次访问计算量的办法:残差流宽度砍半、专家网络中间层宽度砍半、减少激活专家数量、压缩输入序列长度。实验显示压缩序列长度效果最好,最终也选了这一方案。
序列压缩
为什么偏偏压缩序列长度最有效?研究者给了解释:循环模型的核心优势是“参数复用”,省下的存储可以拿去扩大专家池,让知识容量变大。可要是靠减少激活专家数或砍半网络宽度来省计算,等于第一次访问时就限制了每个词元能用的“知识容量”,这和循环模型想保留的优势相矛盾。压缩序列长度则不同,它没动“每个位置能调用多少专家、用多宽的网络”,只减少了需要计算的位置数量,省出的算力可以整体用来拓宽模型。
这像一家工厂要在同样总预算下完成生产。为省钱而降低每个工位的加工精度,零件质量必然打折;换个思路,把部分零部件先做粗坯合并处理,省下的预算给核心工位配更精密设备,整条产线的产出质量反而可能提升。压缩序列长度走的正是后一条路:牺牲“处理的位置数量”,换来“每个位置处理时能用的资源更丰富”。
据此,LatentLoop的架构设计成形:第一次访问处理压缩过的“潜在序列”,第二次访问在完整分辨率上工作,省下的计算力被重新分配,用来增大模型隐藏层宽度(让模型更“宽”,每个位置能容纳更多信息)。
这带来两个新问题。其一,第一次访问在压缩空间里算出的更新量,怎样“写回”完整分辨率的状态才合适?其二,两次访问处理的序列分辨率完全不同,还要不要继续共用一套参数?
写回校准:学会多相信多少
压缩编码这一步,LatentLoop用的办法很朴素:拿均值聚合把相邻两个词元的状态一平均,凑出一个"潜在"位置。到了解压阶段——也就是把潜在空间算出的更新量写回完整序列——它加进了一个可学习的写回系数,每个通道、每个接收位置各学各的,该给多大权重单独定。这套做法叫"缩放解码器"(Scaled Decoder,简称SD),多出来的参数只有2d个(d指模型宽度),开销并不大。
这里有个细节特别值得说:写回系数遵循
把学到的系数拿来分析,规律挺有意思:接收位置离"源头"越近(源头指被压缩的那对词元里靠后的那个位置),权重就越大,约0.199;隔得远的那个接收位置,权重只在0.160上下。
这事不难理解。打个比方,你手上有一份两小时前整理的会议纪要摘要,还有一份十分钟前刚写完的,你肯定更信后者——信息更新鲜,跟眼下面对的情境也更贴近。模型学到的写回权重遵循的是同一套逻辑:位置离信息来源越近,收到的更新就越"可信",权重给得越大;位置越远,信息相对"过时",模型就本能地打了折扣。
研究者为此专门做了实验来验证这个猜想:人为把写回的目标位置往后挪一个词元,让更新信息和接收位置之间多隔一层"时差",结果两个接收位置学到的权重都明显掉了,分别降到0.161和0.138。写回权重的大小确实跟信息"新鲜程度"相关,不是随便学出来的数字。
选择性参数共享
第二个问题是怎么安排参数共享。MoE模型里,专家网络的参数吃掉了绝大部分存储空间,捕捉词元之间关系的注意力模块只占很小一块。
研究者的做法是:
这么选的理由很实际。MoE要是也拆开不共享,循环模型最核心的"参数复用"优势基本就丢光了,模型也就退化成普通的、没有循环结构的
好比两位同事共用一份知识库(对应共享的专家网络),但各配一副适合自己视力的眼镜(对应独立的注意力模块)。知识库没必要拷两份,里面装的是通用知识;可每个人看东西的方式、聚焦的距离确实不同,硬用同一副眼镜,总有一个人会看不清。
实验数据也验证了这个设计的合理性:在普通的
实验结果:15组配置全面领先
研究团队在1.3B到7B参数规模之间搭了15组实验,资源预算严格匹配,训练总算力最高超过10的21次方浮点运算。这里说的"匹配",指的是参数量、显存占用(
实验结果显示,LatentLoop在全部15个预算节点上,验证集NLL都低于标准MoE模型(MoE Base)和
研究者进一步拟合了计算量与模型表现的
下游任务的评测同样支持这个结论。研究者在九个常见的语言理解基准(包括
模型规模 | 训练token | MoE Base | MoE Loop | LatentLoop(本文方法)
1.3B / 40B | 5-shot平均分 | 51.24 | 51.18 | **51.91**
3B / 70B | 5-shot平均分 | 56.69 | 57.33 | **58.51**
7B / 140B | 5-shot平均分 | 62.19 | 62.55 | **63.40**
有意思的是,理论计算量明明对得上,LatentLoop实际训练烧掉的GPU时间却比MoE Loop少,3B和7B规模下分别省了约9%和13%。研究者猜,原因在于省下的算力被重新分配给了更宽的模型,而矩阵运算宽了,硬件(比如GPU)通常跑得更有效率,闲置浪费也就少了。
更多visits下的规律延伸
实验还扩到了三次和四次访问,规律照旧:访问越靠后,学到的残差系数越大。更特别的是,相邻两次访问之间的系数比例也呈现类似模式,三次访问约2.4倍,四次访问约2.0倍。至于这个比例为什么是这个数,论文里坦承还没完全解释清楚,留给了后续研究。
和
论文还把LatentLoop与另一项同样采用
写在后面
这组残差系数实验,比架构本身更出人意料。没有人去引导,模型自己就学会了「分配力气」。两次执行从起步时就不是对称的,这种不对称是训练过程自己长出来的,并非研究者事先写进设计里。
模型用实际表现投了票:第一次不必那么用力。那眼下对「深度」和「计算量」的理解,是不是还太粗?未来的架构也许会更愿意承认,不同阶段的计算该担不同的角色,而非把一模一样的模块一层层摞上去。
另一个细节:写回延迟一个词元,学到的系数就明显往下掉。模型对「信息新鲜度」异常敏感。人处理信息时的直觉也是这样,但这是头一回在语言模型内部参数里被这么清楚地看到。
第一次计算能「偷懒」,那还有没有更多层次的「偷懒空间」没被挖出来?
Q&A
Q1:LatentLoop是什么?
A:这是上海AI实验室等机构提出的一种循环混合专家模型架构。思路是:模型两次重复计算,各给不同的计算量,第一次处理压缩后的序列,第二次保持完整分辨率,省下的算力拿去增大模型宽度。
Q2:LatentLoop相比普通
A:验证损失相同时(NLL为1.988),LatentLoop比标准MoE模型省下19.0%的训练算力;对比普通
Q3:循环模型的两次计算为什么不该用同样的力度?
A:研究者让模型自己学两次访问各自的残差系数,结果第一次访问的系数明显更小。把第一次的系数固定调低,模型表现变好;调低第二次,表现反而变差。两次计算承担的角色本来就不对等。