Lev循环决策模型：一个权重四圈推理，准确率涨13%

新智元报道  

设想一套客服系统，每秒有成千上万条用户请求涌进来。

每条请求都得先过一道「分诊台」：属于退款、查物流还是投诉？要不要转人工？该调哪个工具？

这些问题有个共同点——答案就在事先给定的几个选项当中。

业界为此做了专门的决策模型，Jev和开源的Kev就是例子。请求和候选项一起读进去，一次前向就算出每个选项的概率，几十毫秒返回结果，不生成任何文本。

麻烦也跟着来了。

「我要退款」和「上个月买的东西换过一次货，这次又坏了，能不能直接退、运费谁出」，在决策模型看来耗费的计算量一样多。

简单的请求被「过度服务」，复杂的请求却没机会多想一会儿。

那让模型先写一段推理再作答？行是行，可每条请求都要为推理文本买单，哪怕它只是「我要退款」这一句。

能不能有一种模型，简单题跑得像小模型一样快，难题又能像大模型那样多想几步？

Lehigh University、University of British Columbia和Vector Institute的研究团队为此提出了Lev：一个靠循环而非token来加深思考的决策模型。

论文链接：https://arxiv.org/abs/2610.20951

项目主页：https://openlair.github.io/lev/

代码链接：https://github.com/OpenLAIR/lev

模型与数据集：https://huggingface.co/collections/songdj/lev

Lev一圈一圈地作答：例1第1圈就选中正确答案B，停止器判定可以收工；例2第1圈选4，到第4圈改选正确答案6。（来源：按项目主页记录的逐圈读数重绘，回放实验数据，不是实时推理）

论文图1：按需深度的Lev-2.6B在JevBench简单、标准、难题上分别用的圈数，以及准确率与延迟。

Lev的思路说白了就一句：同一组网络层反复跑，每跑一圈读一次答案。

作者管这种算法叫System 1.5：接口上保留System 1「直接给决定」的样子，难题上又能像System 2那样多花计算——只不过这些计算藏在隐藏状态里，不写成文字。

结果相当直观：

• JevBench的231道公开题上，同一个Lev-2.6B checkpoint从一圈的63.2%升到四圈的76.2%，多了13.0个百分点；

• 停止器看不到题目难度，可在简单、标准、难题上平均只用了1.2、2.4、3.0圈；

• 按需深度在离线统计里省下15%到24%的环路计算，准确率损失不到1个点；

• 在50ms以内的延迟区间，Lev-1.4B和Lev-3B比同延迟的非循环模型和级联高5.4到8.8个点（单张H200、一次一个请求实测）。

Lev这个思路，是从逐题比较里冒出来的。

作者选了两个公开的决策模型Kev-0.8B和Kev-4B，训练数据来源一样。在JevBench 231道公开题上跑下来，大模型比小模型多答对28道。

这28道全落在标准题和难题上。简单题呢，两个模型早就都做对了。

可两个模型给出不同结果的题，拢共只有42道。大模型却在231道题上，一道不落地多掏了计算。

换个做法：拿小模型的置信度筛出它最没底的那一半，转给大模型。准确率差不多就追上了大模型全部自己答的水平。

说白了，额外计算只在少数题上能收回成本，而花一次便宜的初读，就能把这些题找出来。

论文图2画了四件事：(a)Kev-0.8B和Kev-4B逐题的结果对照；(b)只把最没把握的一半交给大模型之后的效果；(c)生成推理与单次读出两种方式的比较；(d)普通预训练模型装上循环后准确率怎么变。

那眼下这三种「堆算力」的路子，差在哪儿？

• 先说级联。Kev-0.8B的中位延迟已经到79ms，Kev-4B是108ms。被转交的题得从头再读一遍，比直接上大模型还慢，而且要多部署一个模型。

• 再说生成推理文本。同一个26B底座上有两个开源的Jev式服务，把思考打开，难题准确率能涨9到13个点，代价是难题的中位耗时变成原来的三到四倍。

• 还有给预训练模型加装循环这条。作者在Qwen3.5-0.8B上把中间8层接成带门控的循环，准确率变动不到半个点；门控值一直贴着零，等于循环没起作用。

第三条最要命。它指向一个判断：循环这件事，最好在预训练阶段就学进去，指望决策训练时临时补，补不上。

循环Transformer近来又热了起来。顺着上面的判断，Lev把原生循环语言模型选作底座，用的是字节Seed的Ouro（1.4B、2.6B，循环4圈）和Nanbeige4.2-3B（循环2圈）。

论文图3展示了Lev的整体结构：同一组解码层反复运行，共享的pointer head每转一圈读一次选项，停止器则决定每道题在第几圈退出。

设计一：每一圈都读出答案。

请求连同所有候选项被打包成一条序列，同一组解码层重复跑，每跑完一圈之后，同一个pointer head读取各选项和<decide>位置的隐藏状态，输出一次选项概率。

设计二：所有圈联合训练。

pointer head和LoRA适配器在各圈之间共用，损失对所有圈取平均。这样一来，第1圈、第2圈、第4圈都能单独拿出来当决策模型使。

用k圈提供服务，就只算前k圈；想多算一圈，从上一圈的隐藏状态接着算，请求不用重读。

设计三是停止器，用来预测「当前答案与最深一圈是否一致」。

早退规则里常见的是「置信度够高就停」。作者却发现，浅层读出面对新数据时过度自信得厉害：Lev-2.6B在第一圈就停下的那些题，校准集上94.8%正确，一换到新数据源只剩78.9%，置信度却几乎没变。

更麻烦的是，置信度识别不出「再算一圈就能改对」的错误，AUROC只有0.46到0.61。

于是Lev的停止器换了个目标：它不再判断「当前答案对不对」，改判「当前答案和最深一圈是否一样」。

这个目标的标准答案，就是模型自己的最深输出；拟合停止器、挑选阈值，都不用人标注。部署方拿自家业务的无标签请求就能校准。

作者用完全相同的31,329条训练数据和配方，训出三个Lev模型，另训Qwen3-1.7B、Qwen3.5-2B、Qwen3.5-4B三个非循环对照。评测覆盖三个调优集、两个held-out测试集，以及JevBench的231道公开题；其中LevBench由作者自建，在任何模型读取之前就已冻结。

结论一：深度越深越准，但收益递减。

Lev-2.6B在JevBench上一到四圈依次是63.2%、71.0%、75.3%、76.2%；held-out平均上依次是51.3%、62.0%、64.8%、65.7%。收益的大头来自第一个额外的圈，第四圈顶多再加1个点。

离训练数据越远，深度越管用：训练数据源上约提升7个点，更陌生的测试集上提升9.0到19.5个点。

结论二：提升集中在难题上。

从一圈到四圈，Lev-2.6B在111道难题上净多答对19道，在72道标准题上净多答对10道。难题中有29道被改对，10道被改错。

论文图5：深度在哪里起作用，涵盖JevBench各难度档、相邻两圈之间的修改，以及各应用领域的提升。

不同任务受益程度不一：Kev-Breadth上，深度让语言理解类任务提高19.0个点；幽默、颜色偏好这类「品味」任务则没有收益。作者推测，多出来的圈提供了组合多个事实所需的串行计算。

结论三：按需深度少算15%到24%，准确率几乎不掉。

在两个held-out测试集上，停止器只用掉最深一圈76%到85%的计算，准确率损失0.3到0.8个点。配方和停止器全部定下后只读一次的锁定测试上，损失最多1.0个点。

论文图6：准确率与计算成本。灰色为固定深度及其前沿，蓝线为停止器，星号为锁定测试。

结论四：关键在于用目标流量校准。

只要像停止器那样，在无标签目标请求上以「与最深答案一致」为准则挑阈值，一个简单的最高概率阈值就能和停止器差不到0.2个点。每折500道无标签题就够。

结论五：低延迟区间优势明显。

延迟落在39到46ms时，按需的Lev-1.4B和Lev-3B比同延迟下唯一可用的级联高7.0到8.8个点，比最好的非循环方案高5.4到7.5个点。

论文图10：LevBench锁定测试上的准确率与平均延迟，星号为按需深度的Lev，数字是它与最好的非循环方案的差距。

对结果的适用范围，作者在论文里交代得相当清楚：

• 与同等成本的固定深度相比，按需深度优势不大：Lev-2.6B在held-out上只高0.2个点，Lev-3B高1.0个点；锁定测试上Lev-2.6B与固定深度前沿持平。

• 「少算」这个说法来自离线统计，省下的是环路计算量。要把它变成线上吞吐或延迟上的好处，服务端得支持不同深度请求的打包调度。

• 真正的优势在延迟，不在计算量。按浮点运算量算，每个Lev模型都跟非循环方案持平或更差，毕竟每一圈都要把整个底座跑完。部分延迟优势还来自非循环方案在22到79ms之间的空档。

• 延迟怎么测的：单张H200、bf16、一次一个请求，所有系统都没用融合算子、图捕获或状态缓存。

• 多想也会改错。在LevBench上，第一个额外的圈改对了20.4%的题，同时改错8.6%；另有12.6%的题浅层答对、最深一圈反而答错。

在 Lev 这里能看到的是，「想多深」原本是训练阶段定死的常量，原生循环底座却让它变成服务时按题目挑选的配置。延迟与准确率之间的取舍，同一个决策模型可以逐题去做，不必再落到每次部署上。

作者提出了两个后续方向：

• 一是设计新的停止目标，把「浅层答对、深层答错」的题目救回来，从而超过最深一圈的准确率；

• 二是在更大的循环底座上检验，难题上的收益是否会随规模继续增长。

目前论文、代码、三个模型和三个数据集均已公开。数据集是按来源再分发条款筛选后的子集，无法托管的来源附有重建说明。

• 宋定杰（DingjieSong，共同第一作者）：Lehigh University 博士生。

• Zhiling Yan（共同第一作者）：Lehigh University 博士生。

• Yuxuan Zhang：University of British Columbia 博士生，Vector Institute。

• Lichao Sun（通讯作者）：Lehigh University 助理教授

参考资料：

https://openlair.github.io/ 

https://arxiv.org/abs/2610.20951

https://openlair.github.io/lev/