Lev循环决策模型：难题多算几圈，准确率提13%
sina qqZone renren ydCloud 0
新智元报道
设想一套客服系统，每秒要接住成百上千条用户请求。每条请求都得先经过一道「分诊台」：属于退款、查物流还是投诉？该不该转人工？要调哪个工具？
这些问题有个共性，答案就落在事先给定的几个选项当中。业界因此做起了专门的决策模型，Jev和开源的Kev就是例子。请求和候选项一起喂进去，一次前向就输出每个选项的概率，几十毫秒内返回结果，不生成任何文本。
麻烦也跟着来了。「我要退款」和「上个月买的东西换过一次货，这次又坏了，能不能直接退、运费谁出」，在决策模型看来消耗的算力一样多。简单请求被「过度服务」，复杂请求却没机会多想一会儿。
那让模型先写一段推理再作答？行是行，可每条请求都要为推理文本买单，哪怕它只是「我要退款」。有没有一种模型，简单题跑得像小模型一样快，难题又能像大模型那样多琢磨？
来自Lehigh University、University of British Columbia和Vector Institute的研究团队为此提出了Lev：靠循环而非token来加深思考的决策模型。
论文链接：https://arxiv.org/abs/2610.20951
项目主页：https://openlair.github.io/lev/
代码链接：https://github.com/OpenLAIR/lev
模型与数据集：https://huggingface.co/collections/songdj/lev
Lev一圈一圈往下算：例1第1圈就锁定了正确答案B，停止器判断可以收手；例2第1圈选的是4，到第4圈才改成正确答案6。（来源：按项目主页记录的逐圈读数重绘，回放实验数据，不是实时推理）
论文图1：按需深度的Lev-2.6B在JevBench简单、标准、难题上各自动用的圈数，以及对应的准确率和延迟。
Lev的要点一句话能说完：同一组网络层反复跑，每跑一圈读一次答案。作者管这种算法叫System 1.5，它留着System 1「直接给决定」的接口，又能在难题上像System 2那样多花算力，只不过这些算力花在隐藏状态里，不写成文字。
结果相当直白。JevBench的231道公开题上，同一个Lev-2.6B checkpoint从一圈的63.2%升到四圈的76.2%，多了13.0个百分点；停止器看不到题目难度，在简单、标准、难题上平均分别用了1.2、2.4、3.0圈；按需深度在离线统计中省掉15%到24%的环路计算，准确率掉不到1个点；50ms以内的延迟区间里，Lev-1.4B和Lev-3B比同延迟的非循环模型和级联高出5.4到8.8个点（单张H200、一次一个请求实测）。
多出来的算力，只对少数题管用
Lev的想法源于一组逐题比较。作者找来Kev-0.8B和Kev-4B两个公开决策模型，二者训练数据源相同，在JevBench 231道公开题上，大模型多答对28道。这28道全落在标准题和难题上，简单题两个模型都已全对。结果不同的题只有42道，可大模型在全部231道题上都多花了计算。
拿小模型自己的置信度，把它最没底的那一半题目挑出来交给大模型，准确率就基本能追上大模型全部作答。说白了，多花的计算只在少数题上换来回报，而一次低成本初读就能把这些题找出来。
论文图2展示了四组结果：(a) 为Kev-0.8B与Kev-4B的逐题表现；(b) 是仅将最没把握的一半转交大模型后的效果；(c) 对比生成推理与单次读出；(d) 则记录普通预训练模型加装循环之后的准确率变动。
既然如此，眼下三种「堆算力」的路子为什么都不够用？
先说级联。Kev-0.8B的中位延迟已达79ms，Kev-4B为108ms；被转交的题目得从头再读一遍，比直接上大模型还慢，而且要多部署一个模型。
再看生成推理文本。在同一个26B底座的两个开源Jev式服务上，开启思考能让难题准确率提升9到13个点，可难题的中位耗时涨到三到四倍。
至于给预训练模型加装循环，作者在Qwen3.5-0.8B上把中间8层接成带门控的循环，准确率变化不到半个点，门控始终接近零，等于循环没开起来。
最后这一条最要紧：循环最好在预训练阶段就学会，而不是等到决策训练时临时补。
Lev的三个关键设计
循环Transformer近来重新引起业界关注。按上面的判断，Lev把原生循环语言模型选作底座，用的是字节Seed的Ouro（1.4B、2.6B，循环4圈）和Nanbeige4.2-3B（循环2圈）。
论文图3给出Lev的整体结构：同一组解码层反复运行，共享的pointer head每圈读一次选项，停止器则决定每道题在第几圈退出。
设计一：每圈都读出答案。
请求连同所有候选项被包成一条序列，同一组解码层重复跑；每圈过后，由同一个pointer head读取各选项和[[保留3]]位置的隐藏状态，输出一次选项概率。
设计二：所有圈联合训练。
pointer head和LoRA适配器在各圈之间共享，损失对所有圈取平均。这样一来，第1圈、第2圈、第4圈都成了能独立使用的决策模型。
用k圈服务时只算前k圈；若需多想一圈，就从上一圈的隐藏状态接着算，请求无需重读。
设计三：停止器预测「与最深一圈是否一致」。
常见的早退规则是「置信度够高就停」，可作者发现浅层读出在新数据上严重过度自信：Lev-2.6B在第一圈停下的题目，校准集上94.8%正确，换到新数据源只剩78.9%，置信度却几乎没变。
何况置信度分不清「再算一圈就能改对」的错误，AUROC仅有0.46到0.61。
于是Lev的停止器换了目标：不预测「当前答案对不对」，改预测「当前答案与最深一圈是否相同」。
这个目标的标准答案就是模型自己的最深输出，拟合停止器、挑选阈值都用不着人工标注。部署方拿自家业务的无标签请求就能完成校准。
实验结果
同一套权重，可以对应多个工作点。
作者用完全相同的31,329条训练数据和配方，训练了三个Lev模型，另外还训练了Qwen3-1.7B、Qwen3.5-2B、Qwen3.5-4B三个非循环对照。评测覆盖三个调优集、两个held-out测试集，以及JevBench的231道公开题。两个held-out测试集里，LevBench由作者自建，在任何模型读取之前就已冻结。
第一个结论：圈数越多越准，但越往后收益越小。
Lev-2.6B在JevBench上，从一圈到四圈依次是63.2%、71.0%、75.3%、76.2%；held-out平均成绩依次是51.3%、62.0%、64.8%、65.7%。大部分提升来自第一个额外增加的圈，第四圈最多再添1个点。
测试集离训练数据越远，深度越能派上用场：在训练数据源上大约提升7个点，在更陌生的测试集上提升9.0到19.5个点。
第二个结论：提升主要集中在难题上。
从一圈到四圈，Lev-2.6B在111道难题上净多答对19道，在72道标准题上净多答对10道。难题中有29道被改对，10道被改错。
论文图5展示深度在哪些地方起作用，包括JevBench各难度档、相邻两圈之间的修改情况，以及各应用领域的提升。
任务不同，受益程度也不同：在Kev-Breadth上，深度让语言理解类任务提高19.0个点；到了幽默、颜色偏好这类「品味」任务上，就没有收益了。作者推测，额外的圈提供了串行计算能力，用来把多个事实组合起来。
第三个结论：按需决定深度，能少算15%到24%，准确率几乎不掉。
在两个held-out测试集上，停止器只动用了最深一圈76%到85%的计算量，准确率损失0.3到0.8个点。配方和停止器全部定下之后只读一次的锁定测试上，损失最多1.0个点。
论文图6给出准确率与计算成本的关系。灰色是固定深度及其前沿，蓝线是停止器，星号代表锁定测试。
第四个结论：关键是用目标流量来校准。
选阈值的方法和停止器一样，在无标签目标请求上以「与最深答案一致」为准。这样选出来的简单最高概率阈值，和停止器相差不到0.2个点。每折500道无标签题就够用。
第五个结论：低延迟区间里优势明显。
延迟在39到46ms时，按需深度的Lev-1.4B和Lev-3B比同延迟下唯一可用的级联高7.0到8.8个点，比最好的非循环方案高5.4到7.5个点。
论文图10是LevBench锁定测试上的准确率与平均延迟。星号标出按需深度的Lev，数字表示它与最好的非循环方案之间的差距。
论文对结果适用范围交代得相当清楚。
和同等成本的固定深度比，按需深度优势不大：Lev-2.6B在held-out上只高0.2个点，Lev-3B高1.0个点；锁定测试上，Lev-2.6B与固定深度前沿持平。
「少算」是离线统计出来的：省下的是环路计算量，要变成线上吞吐或延迟的改善，得靠服务端支持把不同深度的请求打包调度。
优势体现在延迟上，不在计算量上：按浮点运算量算，每个Lev模型都与非循环方案持平或更差，因为每一圈都要跑完整个底座。部分延迟优势还来自非循环方案在22到79ms之间留下的空档。
延迟的测量条件是：单张H200、bf16、一次一个请求，所有系统都没有用融合算子、图捕获或状态缓存。
想多了也会改错：在LevBench上，第一个额外增加的圈把20.4%的题改对，同时也把8.6%的题改错；有12.6%的题浅层答对，最深一圈却答错。
总结与展望
Lev带来的启示是：原生循环底座能让「想多深」从训练时的一个常量，变成服务时按题选择的设置。针对每一道题，同一个决策模型可以在延迟和准确率之间做取舍，而不必针对每一次部署。
后续还有两条路可以走，作者在文中给出了方向。
一条是重新设计停止目标，把那些「浅层答对、深层答错」的题救回来，让准确率越过最深一圈的水平。
另一条是放到更大的循环底座上验证，看难题上的收益会不会随规模继续增长。
论文、代码、3 个模型和 3 个数据集现在都已公开。数据集是按来源再分发条款筛过之后的子集，托管不了的来源则附上了重建说明。
团队介绍
宋定杰（DingjieSong），共同第一作者，Lehigh University 博士生。
Zhiling Yan，共同第一作者，Lehigh University 博士生。
Yuxuan Zhang，University of British Columbia 博士生，Vector Institute。
Lichao Sun，通讯作者，Lehigh University 助理教授。
参考资料：
https://openlair.github.io/
https://arxiv.org/abs/2610.20951
https://openlair.github.io/lev/
