LatentLoop新架构:循环模型第一次算得少,反而跑得更快?

资讯 腾讯网 作者:科技行者 全文 4504 字 · 约 12 分钟读完 分类学术研究

你有没有想过这样一件事:一个任务让你重复做两遍,难道两次付出的努力一定要一样多吗?2026年之前,大多数做"循环神经网络"的研究者会不假思索地回答:"当然要一样。"毕竟同一套参数,同一个模块,凭什么第一次和第二次要区别对待?这听起来几乎像是常识。但上海AI实验室联合多所高校的研究团队,用一组扎实的实验告诉你:...

所属频道 前沿研究

有没有想过,同一个任务让你做两遍,两遍投入的力气非得一样多吗?

2026年之前,大多数人做

上海AI实验室和多所高校的研究者用一组扎实实验说明:这个常识不成立。他们让一个共享计算模块重复执行两次,模型自己学出的参数显示,第一次的“更新力度”远低于第二次。这不是碰巧,而是稳定规律。据此他们提出LatentLoop——给循环模型两次计算分配不同“体力”的新架构,在超过10的21次方浮点运算规模的训练中持续胜过两个强力基线。

论文关注的核心,是语言模型怎样既少占参数又不白费算力。

大模型面临的两难

背景先交代一下。

Transformer

一个朴素思路是堆更多层来增强模型。可层数一多,要存的参数跟着涨,显存和硬盘占用也更大。于是有人换了个取巧法子:每层干的事差不多,能不能让同一层参数被“复用”,重复跑两遍甚至更多?这样参数没多存,计算量(“思考的步数”)却上去了,模型也许就更聪明——这就是

Mixture-of-Experts(MoE)

循环加MoE,组合很巧妙:循环管“省参数”,MoE管“参数和算力解耦”。此前的工作

论文作者没停在这一步。他们追问得更深:两次执行共用一套参数,它们真在做同一件事?

残差系数的秘密:第一次访问在“悄悄省力”

残差连接

研究者给循环模型的两次访问(他们叫“第一次loop”和“第二次loop”)分别加了一个可学习系数,用来控制这次访问对残差更新量的“信任程度”。系数初始值都是1,等于起初完全不打折。随后让模型在训练里自行调整这两个系数。

结果高度一致:1.3B和3B两个规模下,第一次访问学出的系数都明显低于第二次。具体来说,1.3B模型训练结束时两者相差约3.17倍,3B模型相差3.08倍。换言之,模型自己“悟”出来了:第一次计算不必那么用力,第二次才是定调子的那一步。

好比一篇文章要改两遍。第一遍你多半只标出明显错别字和逻辑漏洞,不会在这一步死抠每个措辞,因为后面还有机会;第二遍才逐字打磨、决定最终呈现。要是在第一遍就花同样精力抠字眼,那些力气很可能白费,第二遍还得推翻重来。模型学到的策略与这个过程异曲同工:第一次粗加工,第二次精加工,粗加工阶段没必要投入和精加工一样多的“注意力”。

为确认这不是偶然,研究者又做了对照实验:把两个系数固定成不同数值组合,从头训练,观察验证集上的负对数似然(NLL,越低说明预测越准)。结果显示,把第一次访问的系数调低(比如0.25),模型表现没变差,反而更好;同样的调低若落在第二次访问上,表现就明显下滑。两个模型规模下,固定系数(0.25, 1)都是测试组合中最好的,比默认的(1, 1)好出不少。

这组实验说明:降低第一次访问的“更新强度”并非要妥协的代价,本身就是一种改进。

“软”的信号强度可以不对等,“硬”的计算量能不能也不对等?这正是LatentLoop要解决的问题。

LatentLoop架构:把省下的计算力花在刀刃上

研究者试了四种压缩第一次访问计算量的办法:残差流宽度砍半、专家网络中间层宽度砍半、减少激活专家数量、压缩输入序列长度。实验显示压缩序列长度效果最好,最终也选了这一方案。

序列压缩

为什么偏偏压缩序列长度最有效?研究者给了解释:循环模型的核心优势是“参数复用”,省下的存储可以拿去扩大专家池,让知识容量变大。可要是靠减少激活专家数或砍半网络宽度来省计算,等于第一次访问时就限制了每个词元能用的“知识容量”,这和循环模型想保留的优势相矛盾。压缩序列长度则不同,它没动“每个位置能调用多少专家、用多宽的网络”,只减少了需要计算的位置数量,省出的算力可以整体用来拓宽模型。

这像一家工厂要在同样总预算下完成生产。为省钱而降低每个工位的加工精度,零件质量必然打折;换个思路,把部分零部件先做粗坯合并处理,省下的预算给核心工位配更精密设备,整条产线的产出质量反而可能提升。压缩序列长度走的正是后一条路:牺牲“处理的位置数量”,换来“每个位置处理时能用的资源更丰富”。

据此,LatentLoop的架构设计成形:第一次访问处理压缩过的“潜在序列”,第二次访问在完整分辨率上工作,省下的计算力被重新分配,用来增大模型隐藏层宽度(让模型更“宽”,每个位置能容纳更多信息)。

这带来两个新问题。其一,第一次访问在压缩空间里算出的更新量,怎样“写回”完整分辨率的状态才合适?其二,两次访问处理的序列分辨率完全不同,还要不要继续共用一套参数?

写回校准:学会多相信多少

压缩编码这一步,LatentLoop用的办法很朴素:拿均值聚合把相邻两个词元的状态一平均,凑出一个"潜在"位置。到了解压阶段——也就是把潜在空间算出的更新量写回完整序列——它加进了一个可学习的写回系数,每个通道、每个接收位置各学各的,该给多大权重单独定。这套做法叫"缩放解码器"(Scaled Decoder,简称SD),多出来的参数只有2d个(d指模型宽度),开销并不大。

这里有个细节特别值得说:写回系数遵循

把学到的系数拿来分析,规律挺有意思:接收位置离"源头"越近(源头指被压缩的那对词元里靠后的那个位置),权重就越大,约0.199;隔得远的那个接收位置,权重只在0.160上下。

这事不难理解。打个比方,你手上有一份两小时前整理的会议纪要摘要,还有一份十分钟前刚写完的,你肯定更信后者——信息更新鲜,跟眼下面对的情境也更贴近。模型学到的写回权重遵循的是同一套逻辑:位置离信息来源越近,收到的更新就越"可信",权重给得越大;位置越远,信息相对"过时",模型就本能地打了折扣。

研究者为此专门做了实验来验证这个猜想:人为把写回的目标位置往后挪一个词元,让更新信息和接收位置之间多隔一层"时差",结果两个接收位置学到的权重都明显掉了,分别降到0.161和0.138。写回权重的大小确实跟信息"新鲜程度"相关,不是随便学出来的数字。

选择性参数共享

第二个问题是怎么安排参数共享。MoE模型里,专家网络的参数吃掉了绝大部分存储空间,捕捉词元之间关系的注意力模块只占很小一块。

研究者的做法是:

这么选的理由很实际。MoE要是也拆开不共享,循环模型最核心的"参数复用"优势基本就丢光了,模型也就退化成普通的、没有循环结构的

好比两位同事共用一份知识库(对应共享的专家网络),但各配一副适合自己视力的眼镜(对应独立的注意力模块)。知识库没必要拷两份,里面装的是通用知识;可每个人看东西的方式、聚焦的距离确实不同,硬用同一副眼镜,总有一个人会看不清。

实验数据也验证了这个设计的合理性:在普通的

实验结果:15组配置全面领先

研究团队在1.3B到7B参数规模之间搭了15组实验,资源预算严格匹配,训练总算力最高超过10的21次方浮点运算。这里说的"匹配",指的是参数量、显存占用(

实验结果显示,LatentLoop在全部15个预算节点上,验证集NLL都低于标准MoE模型(MoE Base)和

研究者进一步拟合了计算量与模型表现的

下游任务的评测同样支持这个结论。研究者在九个常见的语言理解基准(包括

模型规模 | 训练token | MoE Base | MoE Loop | LatentLoop(本文方法)

1.3B / 40B | 5-shot平均分 | 51.24 | 51.18 | **51.91**

3B / 70B | 5-shot平均分 | 56.69 | 57.33 | **58.51**

7B / 140B | 5-shot平均分 | 62.19 | 62.55 | **63.40**

有意思的是,理论计算量明明对得上,LatentLoop实际训练烧掉的GPU时间却比MoE Loop少,3B和7B规模下分别省了约9%和13%。研究者猜,原因在于省下的算力被重新分配给了更宽的模型,而矩阵运算宽了,硬件(比如GPU)通常跑得更有效率,闲置浪费也就少了。

更多visits下的规律延伸

实验还扩到了三次和四次访问,规律照旧:访问越靠后,学到的残差系数越大。更特别的是,相邻两次访问之间的系数比例也呈现类似模式,三次访问约2.4倍,四次访问约2.0倍。至于这个比例为什么是这个数,论文里坦承还没完全解释清楚,留给了后续研究。

和

论文还把LatentLoop与另一项同样采用

写在后面

这组残差系数实验,比架构本身更出人意料。没有人去引导,模型自己就学会了「分配力气」。两次执行从起步时就不是对称的,这种不对称是训练过程自己长出来的,并非研究者事先写进设计里。

模型用实际表现投了票:第一次不必那么用力。那眼下对「深度」和「计算量」的理解,是不是还太粗?未来的架构也许会更愿意承认,不同阶段的计算该担不同的角色,而非把一模一样的模块一层层摞上去。

另一个细节:写回延迟一个词元,学到的系数就明显往下掉。模型对「信息新鲜度」异常敏感。人处理信息时的直觉也是这样,但这是头一回在语言模型内部参数里被这么清楚地看到。

第一次计算能「偷懒」,那还有没有更多层次的「偷懒空间」没被挖出来?

Q&A

Q1:LatentLoop是什么?

A:这是上海AI实验室等机构提出的一种循环混合专家模型架构。思路是:模型两次重复计算,各给不同的计算量,第一次处理压缩后的序列,第二次保持完整分辨率,省下的算力拿去增大模型宽度。

Q2:LatentLoop相比普通

A:验证损失相同时(NLL为1.988),LatentLoop比标准MoE模型省下19.0%的训练算力;对比普通

Q3:循环模型的两次计算为什么不该用同样的力度?

A:研究者让模型自己学两次访问各自的残差系数,结果第一次访问的系数明显更小。把第一次的系数固定调低,模型表现变好;调低第二次,表现反而变差。两次计算承担的角色本来就不对等。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  2. 清华米哈游等团队测试AI看视频:最强模型仅得13.2分

    你有没有想过一个问题:AI 看视频到底是在看什么?如果你给一个大模型放一盘国际象棋的对局录像,让它说出"白方在第29步用象吃掉了黑方的马,这步棋让白方占据优势",它能做到吗?这听起来像是最基础的视频理解任务。但一支由清华、中科院、香港大学和游戏公司米哈游组成的研究团队做了一个实验,结果让人意外:目前最强的...

    来源 腾讯网
  3. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  4. 手表太小点不准,他们把前臂变成了触控板

    快科技11月16日消息,北卡罗来纳州立大学的研究团队做了一副雷达腕带,戴上之后,前臂就成了手表的触控板,手指在上面点点划划,手表就能收到对应的指令,不过它现在还是个原型,腕带上的电路板露在外面。

    来源 凤凰科技
  5. 国产大模型占海外开源支出89%,存储成本成新压力

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|温宁硅谷知名风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%付给了中国模型。前三名中,Kimi占61%,DeepSeek占15%,GLM占11%。市场很愿意接受一套简洁叙事:依

    来源 腾讯网
  6. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  7. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  8. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  9. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  10. 苹果N50智能眼镜:2027年6月亮相,年底出货?

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  11. 苹果N50智能眼镜曝光:2027年6月WWDC发布,年底前出货

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  12. 腾讯混元Hy4 flash发布:每百万Token输入0.5元,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。” 混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。 该模型总参数量为224B(其中64B

    来源 AI 行业观察
  13. 微软全球宕机溯源:漏洞潜伏四个月,15小时才锁定

    微软一个隐藏长达四个月的系统漏洞,在上周引发了一场波及全球的服务中断事故,暴露出高度依赖单一科技供应商的潜在风险。此次事故始于11月11日的一次例行流量调配操作,直至次日上午11时30分——即美国企业流量高峰期——微软才意识到问题的严重性。此后,公司又耗费约15小时排查故障并着手部署修复方案,导致众多企业和政...

    来源 腾讯网
  14. DeepSeek App与网页版设使用限额:长对话7天不活跃不再保留

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
  15. DeepSeek App与网页版设使用限额:长对话7天不活跃即失效

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
  16. 用户爆料DeepSeek App和网页版出现使用限额

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。 有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。 此外,还会限制每日的对话额度,当用户日使用量达到上限

    来源 AI 行业观察
  17. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  18. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
向下滚动自动加载更多