同一模型多转几圈，准确率涨13个点：Lehigh团队提出循环决策模型Lev

新智元报道  

设想一套客服系统，每秒有成千上万条请求涌进来。每条请求都得先过一道「分诊台」：是退款、查物流，还是投诉？要不要转人工？该调哪个工具？

这类问题的共同点是，答案就藏在给定的几个选项当中。业界因此有了专门的决策模型，Jev和开源的Kev就是例子：读入请求和候选项，一次前向就输出每个选项的概率，几十毫秒内返回结果，不生成任何文本。

麻烦也跟着来了。「我要退款」和「上个月买的东西换过一次货，这次又坏了，能不能直接退、运费谁出」，在决策模型看来耗费的计算量完全一样。

结果就是，简单的请求被「过度服务」，复杂的请求却没机会多想一会儿。让模型先写一段推理再作答行不行？可以，但每条请求都要为推理文本买单，哪怕它只是「我要退款」这一句。

能不能有一种模型，简单题像小模型一样快，难题又能像大模型一样多想？

来自Lehigh University、University of British Columbia和Vector Institute的研究团队为此提出了Lev：一个靠循环、而不是靠token来加深思考的决策模型。

论文链接：https://arxiv.org/abs/2610.20951

项目主页：https://openlair.github.io/lev/

代码链接：https://github.com/OpenLAIR/lev

模型与数据集：https://huggingface.co/collections/songdj/lev

按项目主页记录的逐圈读数重绘、回放实验数据来看（并非实时推理），Lev 是逐圈给出答案的：例1在第1圈就选中了正确答案 B，停止器据此判断可以结束；例2第1圈选的是 4，直到第4圈才改选正确答案 6。

论文图1：按需深度的Lev-2.6B在JevBench简单、标准、难题上分别用的圈数，以及准确率与延迟。

Lev的核心思路一句话就能说清：同一组网络层反复运行，每运行一圈就读出一次答案。作者把这种计算方式称为System 1.5——System 1「直接给出决定」的接口还在，同时又能像System 2那样在难题上多花计算，只不过这些计算发生在隐藏状态里，不会写成文字。

结果很直观：在JevBench的231道公开题上，同一个Lev-2.6B checkpoint从一圈的63.2%提升到四圈的76.2%，增加13.0个百分点；

• 停止器看不到题目难度，却在简单、标准、难题上平均分别用了1.2、2.4、3.0圈；

• 按需深度在离线统计中少算15%到24%的环路计算，准确率损失不到1个点；

• 在50ms以内的延迟区间，Lev-1.4B和Lev-3B比同延迟的非循环模型和级联高5.4到8.8个点（单张H200、一次一个请求实测）。

Lev的出发点来自一组逐题对比。作者取来两个公开决策模型Kev-0.8B和Kev-4B，两者训练数据源相同，在JevBench 231道公开题上，大模型多答对了28道。

这28道全部落在标准题和难题上。简单题两个模型都已经全对。

两个模型结果不同的题只有42道，可大模型在全部231道题上都多花了计算。

换个做法：让小模型先挑出自己最没底的那一半题，再交给大模型答，准确率基本能追平大模型把所有题都答一遍。

也就是说，多花的算力只在少数题上换来了回报，而一次成本很低的初读就足以把这些题找出来。

论文图2给出四组结果：(a)Kev-0.8B与Kev-4B的逐题表现；(b)只把最没把握的一半交给大模型之后的效果；(c)生成推理与单次读出的对比；(d)普通预训练模型加装循环后的准确率变化。

那现有三种「堆算力」的路子，为什么都不够用？

• 先说级联。Kev-0.8B的中位延迟为79ms，Kev-4B为108ms；被转交的题还得从头再读一遍，结果比直接上大模型更慢，而且要多部署一个模型。

• 再说生成推理文本。在同一个26B底座的两个开源Jev式服务上，开启思考能让难题准确率提升9到13个点，代价是难题的中位耗时涨到原来的三到四倍。

• 还有给预训练模型加装循环。作者在Qwen3.5-0.8B上把中间8层接成带门控的循环，准确率变化不到半个点，门控始终接近零，等于循环没起作用。

最后这条最要紧：循环最好在预训练阶段就学会，而不是等到决策训练时临时补上。

循环Transformer近来又重新受到业界关注。基于上面的判断，Lev把原生循环语言模型选作底座：字节Seed的Ouro（1.4B、2.6B，循环4圈）和Nanbeige4.2-3B（循环2圈）。

论文图3展示了Lev的整体结构：同一组解码层反复运行，共享的pointer head每圈读一次选项，停止器则决定每道题在第几圈退出。

设计一：每一圈都读出答案。

请求和所有候选项被拼成一条序列，同一组解码层重复运行，每跑完一圈，同一个pointer head就会读取各选项以及<decide>所在位置的隐藏状态，给出一次选项概率。

设计二：所有圈放在一起联合训练。

pointer head和LoRA适配器在各圈之间共享，损失对所有圈取平均。这样一来，第1圈、第2圈、第4圈都能当作独立的决策模型使用。

用k圈服务时就只算前k圈；要多想一圈，就从上一圈的隐藏状态接着算，请求不用重新读一遍。

设计三：停止器预测的是「和最深一圈是否一致」。

常见的早退规则是「置信度够高就停」。可作者发现，浅层读出在新数据上会严重过度自信：Lev-2.6B在第一圈停下的题目，校准集上94.8%正确，换到新数据源只剩78.9%，置信度却几乎没变。

况且，置信度分辨不出「再算一圈就能改对」的错误，AUROC只有0.46到0.61。

于是Lev的停止器换了个目标：不预测「当前答案对不对」，改预测「当前答案和最深一圈是否相同」。

这个目标的标准答案，就是模型自己的最深输出，拟合停止器和挑选阈值都不用人工标注。部署方拿自家业务的无标签请求就能直接校准。

训练用的是同一批数据、同一套配方，共31,329条，作者由此得到三个Lev模型；对照组是非循环的Qwen3-1.7B、Qwen3.5-2B和Qwen3.5-4B。评测侧包括三个调优集、两个held-out测试集，外加JevBench的231道公开题。两个held-out测试集里，LevBench由作者自建，冻结时间早于任何模型读取它。

第一个结论：圈数越多越准，但多出来的收益在递减。

以Lev-2.6B为例，JevBench上一圈到四圈分别是63.2%、71.0%、75.3%、76.2%；held-out平均则是51.3%、62.0%、64.8%、65.7%。收益的大头落在第一个额外圈上，到第四圈最多再添1个点。

测试集离训练数据越远，加深度越管用。训练数据源上大约提升7个点，更陌生的测试集上提升9.0到19.5个点。

第二个结论：涨的分主要来自难题。

一圈加到四圈，Lev-2.6B在111道难题上净多答对19道，72道标准题上净多答对10道。难题中有29道被改对，另有10道被改错。

论文图5画出了深度起作用的范围：JevBench各难度档、相邻两圈之间的修改情况，以及各应用领域的提升。

任务类型不同，受益程度也不一样。Kev-Breadth上，语言理解类任务因深度提高19.0个点；幽默、颜色偏好这类「品味」任务则没有收益。作者推测，多出来的圈提供了串行计算能力，用来把多个事实组合起来。

第三个结论：按需决定深度，能少算15%到24%的计算量，准确率几乎不动。

两个held-out测试集上，停止器只花掉最深一圈76%到85%的计算，准确率掉0.3到0.8个点。另有一项锁定测试，配方和停止器全部定下之后才读一次，那里的损失最多1.0个点。

论文图6展示准确率与计算成本的关系：灰色是固定深度及其前沿，蓝线是停止器，星号代表锁定测试。

第四个结论：校准得用目标流量来做。

做法跟停止器一样，在无标签的目标请求上以「与最深答案一致」为准则挑阈值。这样一个简单的最高概率阈值，和停止器的差距不到0.2个点。每折500道无标签题就够。

第五个结论：低延迟区间里优势明显。

延迟落在39到46ms时，按需运行的Lev-1.4B和Lev-3B比同延迟下唯一可用的级联高7.0到8.8个点，比最好的非循环方案高5.4到7.5个点。

论文图10是LevBench锁定测试上的准确率与平均延迟，星号为按需深度的Lev，数字表示它与最好非循环方案之间的差距。

论文对结果适用范围有清楚的交代。

• 跟同等成本的固定深度比，按需深度的优势并不大：held-out上Lev-2.6B只高0.2个点，Lev-3B高1.0个点；锁定测试上Lev-2.6B与固定深度前沿打平。

• 「少算」是离线统计出来的，省下的是环路计算量。要把它变成线上吞吐或延迟，服务端得支持把不同深度的请求打包调度。

• 优势体现在延迟而非计算量。按浮点运算量算，每个Lev模型跟非循环方案持平或更差，原因是每一圈都要把整个底座跑完。另外一部分延迟优势，来自非循环方案在22到79ms之间留出的空档。

• 延迟的测量条件是：单张H200、bf16、一次一个请求，所有系统都没用融合算子、图捕获或状态缓存。

• 想得多也会改错。LevBench上，第一个额外圈把20.4%的题改对，同时把8.6%改错；另有12.6%的题浅层答对、最深一圈反而答错。

Lev带来的启示是：原生循环底座能把「想多深」从训练时的常量，变成服务时逐题选择的设置。同一个决策模型，可以针对每道题在延迟和准确率之间做取舍，不必再针对每一次部署去取舍。

后续还有两条路可走。第一条是重新设计停止目标，把那些「浅层答对、深层答错」的题救回来，让整体准确率越过最深一圈的水平；第二条是换更大的循环底座再测一遍，看难题上的收益会不会随着规模继续往上走。

论文、代码、三个模型和三个数据集现在都已经公开。数据集是按来源再分发条款筛过之后的子集，没法托管的来源则附上了重建说明。

• 宋定杰（DingjieSong），共同第一作者，Lehigh University 博士生。

• Zhiling Yan，共同第一作者，Lehigh University 博士生。

• Yuxuan Zhang，University of British Columbia 博士生，Vector Institute。

• Lichao Sun，通讯作者，Lehigh University 助理教授。

参考资料：

https://openlair.github.io/ 

https://arxiv.org/abs/2610.20951

https://openlair.github.io/lev/