LEV模型:让AI自己判断该想多久,三条旧路为何走不通
你有没有遇到过这种情况:问同事一个简单问题,比如"今天几号",他秒答;但你问他一个复杂决策,比如"这个方案该不该上线",他会愣一下,皱眉,想一会儿才回答。这种"该快就快、该慢就慢"的能力,人类几乎是本能。但对AI模型来说,这件事出奇地难。2026年之前,做选择题式判断的AI模型基本是这样的:不管问题多简单或多复杂...
问同事"今天几号",他张口就答;换成"这个方案该不该上线",对方会顿一下、皱起眉头,想上几秒才开口。这种该快就快、该慢就慢的本事,人几乎不用学。
换成AI模型,事情就难得多。2026年之前,做选择题式判断的模型大多一个路子:问题简单也好、复杂也罢,都拿同一套计算量去跑——固定层数的网络走一遍,答案吐出来了事。简单题和难题,耗时一模一样。
这就像工厂流水线,来的是颗螺丝钉还是台发动机,都按同一道工序走完,不能多检查,也不能少检查。Lehigh大学等机构的研究者盯上了这个问题,还拿出了具体证据。
他们做了组对比实验:参数量小的Kev-0.8B模型对上参数量大四倍的Kev-4B模型,在同一批231道公开测试题上作答。大模型比小模型多答对28道题。
不过这些多出来的正确答案,全部集中在"中等难度"和"困难"题型上。简单题两个模型都能答对,压根用不着更大的模型。换句话说,那些额外的参数,在简单题上完全是在空转。
更有意思的是,小模型自己其实清楚哪些题它没把握。研究者把它答案里"信心最不足"的一半题目转给大模型处理,准确率几乎追平大模型把全部题目都做一遍的水平。计算资源不是不够用,是花错了地方。
这就引出了论文的核心问题:能不能让一个模型自己判断,这道题该想多深,然后按需分配计算量?论文给出的答案,叫LEV。
为什么现有的"让AI多想想"的办法都行不通
在LEV出现之前,想让AI多花点力气思考,大概有三条路,但每条都有明显的代价。
第一条路是级联(cascade)。先用一个小模型回答问题,如果小模型不够自信,再把问题转给一个更大的模型重新处理一遍。
这个办法的问题在于,不自信的问题要被读两遍。相当于养了两个员工,简单任务让新人做,复杂任务转给老员工,但老员工接手时还得把前因后果重新听一遍,没法直接接着干。
按照研究者的实测数据,小模型Kev-0.8B自身就要79毫秒,大模型Kev-4B则要108毫秒。可一旦走级联路线、问题被转交出去,总耗时反倒超过了直接问大模型。原因在于,转交之后要完整走两遍读取流程,另外还得同时供着两个模型。
第二条路是生成式思考,也就是让模型像ChatGPT那样,先写一段推理文字,再给出答案。这条路确实管用,论文里对比了两个开源的决策服务djev和OpenJev,带推理文本能让困难题的准确率提升9到13个百分点。
代价却摆在那儿:推理每多写一句,时间就多耗一截,而且每道题都得掏这份钱,哪怕这题压根用不上推理。论文数据显示,加了推理的版本处理困难题的速度降到原来的三分之一到四分之一,这还是平均下来的结果,个别题目甚至吐出8192个词元,也没能给出有效答案。
打个比方,你开车去便利店买瓶水,导航偏要你先分析一遍全线路况,可这条路你天天走,闭着眼都摸得到。推理本事本身没毛病,毛病出在它被不分场合地套到了所有地方。
第三条路是把一个已经训练好的普通语言模型,硬生生改造成循环结构,也就是让同一组网络层反复跑几遍,指望它能自己多想想。循环(loop)结构不增加新的网络层,而是让同一组层参数重复运行多次,像反复咀嚼同一口饭,而不是吃下更多的饭。
研究者真的做了这个实验:他们在Kev-0.8B的骨干网络Qwen3.5-0.8B上,找了中间八层,加上可以调节的"闸门",让这几层可以循环跑两次,然后按Kev的标准流程训练。结果呢?循环结构训练完之后,闸门的数值几乎停留在接近零的位置,也就是说,模型压根没有学会使用这个循环,额外的计算通道形同虚设。
论文给出的解释挺直白:闸门起初是关着的,梯度信号弱得推不动它;可要是让它一开始就敞开,隐藏状态又会被带到后几层没见过的分布上去,准确率跟着往下掉。
这好比一栋房子已经盖好、装修也完了,硬生生再凿出一条新楼梯,住户发现它通向一间从没布过水电的房间,住了这么多年还是习惯绕道走,楼梯就这么闲着。
三条路都堵死了,还能怎么办?LEV团队换了个角度:不去在训练完成后补加循环,而是挑那些预训练阶段就自带循环结构的语言模型,比如Ouro和Nanbeige4.2。这类模型打出生起,循环就长在身上,不是后来装上去的部件。
LEV是怎么工作的
LEV的核心设计可以拆成三块:循环骨干网络、每一步都能读取的判别头,以及一个决定何时停止的小组件。
先看循环骨干。LEV挑中的Ouro和Nanbeige4.2,在预训练时,同一组解码器层会被一遍遍重复跑(Ouro是跑4次),每跑完一次就算一次语言建模损失。也就是说,模型从一出生就接受这样的训练:每一步都得单独交出"像样"的输出,不能只认最后一步。
听着简单,背后的道理却值得想一想。比方说,一个学生从小只被告诉"期末成绩才算数",那他平时的小测验多半敷衍过去,老师也没法靠小测验摸清他的真实进度。反过来,要是从一年级起每次测验老师都认真批改、给反馈,到了高年级,哪一次测验的结果都能比较靠谱地反映他当下的水平。LEV选的循环骨干网络,就是那个"从小每次测验都被认真对待"的学生;后装的循环结构,则像突然被要求交期中考卷、平时却从没认真做过的学生,平日里的输出根本信不得。
循环骨干搭好之后,LEV在上面接了一个共享的判别头(pointer head),专门负责读取选项、给出每个选项的概率。这个头每跑完一步循环就要被调用一次,各步骤用的是同一套参数;训练时则把所有步骤的损失取平均值。
好处很直接:每一步都单独训练过,所以服务阶段跑到第k步就能交出一个可用的答案,成本约为跑满全部步骤的k/R,R为总步数。也就是说,同一个模型checkpoint本身就带着在任意深度作答的能力,不必为不同“思考深度”各训一个模型。
真正决定要想多深的,是停止器(stopper)这个组件。
论文里这一环设计得最巧。按直觉,判断答案够不够自信,看模型给的概率高低就行,高就收手,不高就接着想——这是置信度阈值法,也是早期退出(early exit)领域的惯常套路。早期退出指的是:深层网络中某个中间层已经给出足够自信的答案,就提前停止计算,不再跑完剩余的层。
但论文做了一个关键诊断实验,把这个常规做法给推翻了。研究者发现浅层判别头(只跑了一两步循环的模型)有两个要命的问题。
其一,浅层输出在训练数据上显得很自信,换到新数据上就露馅。具体数字:LEV-2.6B在校准数据集上第一步答案有94.8%是对的,可换到全新来源的数据集Kev-Transfer上,同样自信程度的答案只有78.9%正确,差了16个百分点,属于典型的“过度自信”。
其二,置信度这个指标分辨对错还算能用(AUROC在0.67到0.83之间),但要它分辨“哪些错误靠多想几步能纠正”,基本等于瞎猜(AUROC只有0.46到0.61)。这就像一个刚接手新项目的实习生,自我感觉特别好,觉得自己什么都懂,真测下来却对“自己哪里不懂”毫无概念。指望他自己判断要不要再学一下,靠不住。
于是LEV换了个目标:不问“这个答案对不对”,改问“这个答案和模型想透彻之后给出的答案是否一致”。
做法是每个深度k各训一个小逻辑回归模型,输入为当前这一步与上一步答案的若干特征(最高概率、概率差距、信息熵等),输出一个预测值:这一步的答案是否已经和跑满全部步数后的答案一致。一致概率超过阈值,就在这一步停下。
这套设计最妙的地方是,训练停止器不需要人工标注的正确答案——它预测的是模型自己最终会给出的答案,不是标准答案。任何部署场景都能拿手头未标注的业务数据来调它,不用另外花钱请人打标签。阈值的选法也很朴素:论文取的是能让至少98%的提前停止答案与最终答案保持一致的最便宜的那个阈值。
打个比方,这像老员工带新人。老员工不去判断“新人这次做对了没有”,因为他也不知道标准答案;他判断的是“新人这次的方案,和他自己深入琢磨后大概率会给出的方案是不是差不多”。差不多就让新人拍板,省下时间;差得远就再多给点时间想。整套逻辑不依赖外部标准答案,只看自己平时的决策模式。
效果到底怎么样?
论文在三个循环骨干网络(LEV-1.4B、LEV-2.6B、LEV-3B)上做了系统测试,结果挺扎实。先看深度带来的提升:LEV-2.6B在JevBench基准上从只跑一步的63.2%一路升到跑满四步的76.2%,涨了13个百分点。
而且提升并不均匀——简单题几乎每个深度都能做对,涨的主要是中等难度和困难题。论文统计过,从深度一到深度四,标准难度题净增10道答对,困难题净增19道;变化大多来自“错误被纠正”,困难题里29道由错变对,只有10道由对变错。
按需深度的实际表现也值得看。停止器面对不同难度的JevBench题目自动分配了不同步数:简单题平均1.2步,标准难度题2.4步,困难题3.0步,而它完全没见过题目的难度标签。整体上,按需深度省下15%到24%的计算量,代价是不到1个百分点的准确率损失,和固定深度的组合方案相比要么持平要么略好。
更严格的验证来自锁定测试集——配方和停止器都定好之后才第一次读取的数据。结果显示,按需深度在这个从未看过的测试集上,准确率损失依然控制在1个百分点以内。
延迟数据同样直观。在50毫秒以下的区间,1.4B和3B规模的LEV比同等延迟的普通密集模型(没有循环结构的传统模型)和级联方案准确率高5.4到8.8个百分点。这个区间恰好是密集模型的软肋:参数量和延迟绑死,想在20到50毫秒之间找个大小合适的模型并不容易,而LEV靠一个checkpoint支持多档深度,正好补上这个空当。
论文还做了对照实验,看“循环结构是否真比单纯堆参数划算”。按浮点运算量折算,LEV和同等准确率的密集模型差不多甚至更费计算——每多跑一步循环,整个骨干都要重算一遍。所以LEV的优势不在省计算量,而在省部署时的延迟和显存占用,这是两件事。
哪些问题循环深度帮不上忙?
论文也老老实实指出了这套方法的局限。
在覆盖五个应用领域、十四个数据集的Kev-Breadth评测集上,语言理解类任务从深度一到深度四能涨19个百分点;可Humicroedit和cfcolor这两类"品味判断"任务——大致是判断幽默程度、颜色搭配这类主观性强的活儿——几乎没见涨。研究者猜测,多步循环多出来的计算,本质是在做"串行推理",适合那些得把多个事实串起来才能得结论的任务;品味类判断可能压根不需要这种串联。
更棘手的情况也有:论文发现12.6%的题目,模型在较浅的深度答对了,跑到最深那一步反而答错。也就是说,"越深越准"并非铁律,有些题存在"想得太多反而想歪了"的现象。目前的停止器目标是"预测和最深层答案是否一致",天然捕捉不到这种情况——它只能让答案趋同于最深层,没法超过最深层的判断水平。论文把这列为往后值得继续挖的方向:停止器若能不只追平最深层,而是真正认出哪个深度给出的答案才对,或许能比现在"深度越深越好"还强。
训练方式上也有讲究。论文拿LoRA微调和全参数微调做了对比,结果对两个Ouro系列骨干网络来说,全参数微调反而让最深层的准确率掉了1.3到1.9个百分点,还把按需深度相对固定深度组合的优势给抹平了。这结果有点反直觉——一般人会觉得"全参数训练肯定比只调一小部分参数效果好",这里恰恰相反。
LoRA全称Low-Rank Adaptation,是一种只训练一小部分新增参数、冻结原模型大部分参数的高效微调方法。打个比方,它是在原有结构上加一层薄薄的"调味层",而不是把整道菜重新炒一遍。
这个现象背后的直觉也许是:循环结构本身在预训练阶段就被精心调教过,每一步的输出分布都经过大量数据打磨。用一个小小的LoRA适配器去"轻触"这个结构,相当于在原有的精密钟表上加个小齿轮,不会破坏整体咬合;可要是直接动骨干网络的全部参数,哪怕学习率调得很低,也容易把那套精心训练的循环节奏搅乱。
写在后面
读完这篇论文,印象最深的其实不是LEV本身的准确率数字,而是那个关于"置信度阈值为什么失灵"的诊断实验。
我们通常默认一个前提:模型越自信,答案越可能对。这个直觉在很多场景下确实成立,但LEV的实验戳破了一个更细致的盲点——置信度能分辨对错,却分辨不了"这个错误是不是可以通过多想一步来纠正"。这其实是两件完全不同的事:前者问的是"你现在对不对",后者问的是"你再想想会不会更好"。很多依赖置信度做决策的系统,默认把这两件事混为一谈了。
生活里其实有个很像的情形:某人对自己的某个判断胸有成竹,可这份笃定,跟"要是再仔细琢磨琢磨,他会不会改主意"压根是两码事。有人越琢磨越笃定,有人越琢磨越没底,单凭眼下这份自信,压根猜不出下一步会往哪边走。LEV团队没打算押注这份自信,他们换了个更笨、但更好下手的信号:眼下这一步的答案,跟"仔细琢磨之后"的答案对不对得上。表面上只是换了个预测对象,里头的思路其实转了个弯——与其去猜那个主观的"对不对",不如去猜一个能客观验证的"变不变"。
另一个让我反复琢磨的细节,是那个"循环结构必须从预训练阶段就存在,后装没用"的发现。这个结论隐隐指向一个更大的问题:很多能力,补课是补不出来的,必须在系统成型的早期就嵌进去。这不只是技术上的巧合,可能是个更普遍的规律——不管是神经网络还是人类的学习轨迹,后期强行嫁接的能力,往往缺少早期浸润带来的那种"浑然一体"的协调性。
论文结尾还留着一道没合上的门:假如停止器不只是照搬最深那层的答案,而是真能学会判断"哪一层的答案才算对",那"越深越准"这条假设会不会被推翻,从而找到一个比现有最深层读出还准的停点?眼下这问题还没答案,不过它让人想追下去:模型究竟能不能真学会判断自己何时该收手,而不只是照抄自己多想一会儿之后会得到的那个结论。
Q&A
Q1:LEV是什么?
A:LEV是一种决策模型。它靠循环运行同一组网络层来实现"思考更深",不像传统AI模型那样生成大段文字推理,也不像普通决策模型那样对所有问题都用同样的计算量;一个模型checkpoint可以支持多档思考深度。
Q2:跟普通的级联方案(先用小模型再用大模型)比,LEV有什么优势?
A:级联方案得把不确定的问题重新交给另一个模型读一遍,耗时反而更长,还得同时维护两个模型。LEV的按需深度机制在50毫秒以下的延迟区间,比同等延迟的级联方案准确率高出7到8.8个百分点,而且只需一个模型。
Q3:LEV的停止器怎么判断该不该继续多想?
A:它不盯着模型答案有多大把握,看的是当前这一步的答案,跟模型"想得最深"时给出的那个答案会不会一致。这个判断目标用不着人工标注的正确答案,拿未标注的实际业务数据就能直接训练、直接调阈值。