Lehigh大学开源Lev:一套权重循环多算,准确率63.2%升至76.2%
Lehigh大学团队推出开源决策模型Lev,基于原生循环底座,通过重复计算多圈提升复杂问题准确率。其核心在于轻量停止器能按题目难度自动决定计算深度,简单题快答,难题深思。在JevBench测试中,四圈计算将准确率从63.2%提升至76.2%,且仅增加少量算力消耗。该模型支持无标签自校准,适合智能客服、内容审核等对延迟和
新决策模型为何被需要
落地大语言模型时,速度与准确率常常只能二选一,这个难题绕不开。
过去常见的办法是上两个模型:简单的请求交给轻量模型跑,图的是响应快;复杂的逻辑交给大模型扛,图的是质量稳。运维成本因此抬高,系统架构也变得臃肿。能不能让同一个模型看题下菜,按难易自己决定“想”多深?
Lehigh大学等机构最近把 Lev 模型开源,针对的正是这个难题。它提升性能靠的不是堆参数,而是加了一套“循环加深思考”的机制。说白了,就是让同一组权重反复算几遍。题简单,算一圈就交卷;题难,就多绕几圈。单一模型因此有了弹性,低延迟保住了,复杂场景下的决策准确率也明显上去了。
Lev 的核心机制:想多久由模型自己定
Lev 全称没有明确展开,但技术路线很清楚。它建立在原生循环底座之上(如 Ouro 或 Nanbeige4.2),跟传统 Dense 模型有本质差别。传统模型一次前向传播就出结果,Lev 则让同一组解码层重复跑多圈(R次)。
循环怎样把思考加深
在 Lev 的架构里,每一圈都不是从零起算。后一圈接着上一轮的隐藏状态往下算。也就是说,输入信息不用重读,模型是在已有理解上继续深化。
这样做有个直接好处:续算不重读。级联方案里,第一层模型拿不准答案时,往往要把完整输入再喂给第二层,延迟开销很大。Lev 直接从上一圈的隐藏状态接着算,这段冗余被省掉了。
轻量停止器:算力按需给
所有问题都多算几圈,延迟肯定受不了。Lev 的关键创新,是内置了一个轻量级的“停止器”。
这个停止器不负责判断答案对不对,它预测的是“当前圈的答案跟最深一圈的答案是否一致”。一致,说明模型已经 converged(收敛),可以停;不一致,就再算下一圈。
“最深答案”出自模型自己的输出,所以拟合这个停止器不需要任何人工标注数据。团队发现,大约 500 道来自业务现场的无标签流量就够完成校准。阈值取的是能保证至少 98% 情况下与最深答案一致的最小值。这样一来,Lev 能适配不同业务场景,不用昂贵的标注成本就能上线。
决策模型接口:概率直接输出
Lev 沿用了 Kev 式的输入结构。一次请求里有一段共享状态和若干问题,每个问题带着候选项。这些内容打包成一条序列,靠块因果掩码(Block Causal Masking)保证每个问题只看得到状态和它自己那部分。
模型最后不生成冗长的推理文本,而是通过共享的 pointer head 直接读出各选项的概率。“一次前向给出决策”,后续处理流程因此大大简化,需要结构化输出的场景尤其合适。
性能表现:八成算力换来明显增益
在 JevBench 基准测试中,Lev 的效率优势显现出来。同一个 checkpoint,计算圈数从一圈加到四圈,准确率由 63.2% 升到 76.2%。
计算成本的分布更值得看。停止器在,简单题目一圈后就退出,只有难题才进深层循环。整体算下来,Lev 只用了约 76%–85% 的计算量,准确率接近全深度计算,损失不到 1 个百分点。
低延迟区间(39–46ms)里,Lev 比同级联方案高 7.0–8.8 个点,比最好的 Dense 方案高 5.4–7.5 个点。对响应时间敏感的业务来说,这意味着速度不用牺牲太多,决策质量还能更高。
与商业竞品 Jev 的对比
要看清 Lev 的定位,可以拿 TypeSafe AI 推出的商业化产品 Jev 来比。
| 对比维度 | Lev (Lev-2.6B) | Jev |
|---|---|---|
| 提供方性质 | Lehigh大学等学术团队,完全开源 | TypeSafe AI,闭源商业API |
| 架构 | 原生循环底座,多圈复用 | Dense架构,单次前向 |
| 参数规模 | 2.6B (另有1.4B/3B) | 未公开 |
| JevBench准确率 | 76.2% (四圈) | 约86.6% (第三方实测) |
| 延迟 | 本地39–150ms (可变) | API p50约616ms (含网络) |
| 计算深度调节 | 支持,一份权重多档工作点 | 不支持,固定单次前向 |
| 数据合规 | 可完全离线自部署 | 数据需出域 |
| 成本 | 权重免费,自托管GPU成本 | 约$32/百万次决策 |
对比下来,Jev 作为成熟商业产品,绝对准确率和易用性仍占上风,开箱即用的校准质量尤其突出(ECE 0.053)。Lev 的长处则在可控性和隐私安全。金融、医疗这类对数据出境敏感的行业,本地化部署是刚性需求,Lev 正好给得了。另外,它的动态深度调节能力,让长尾场景下的性价比更高。
实际应用场景:Lev 最适合用在哪?
Lev 从一开始就冲着决策任务的效率问题去设计,下面几个场景和它的脾气相当合拍:
1. 智能客服意图路由
客服系统里,多数用户问的都是简单查询,比如“查余额”“改密码”,这类问题要的是立刻响应;少数复杂投诉或意图模糊的咨询,才需要更准的识别。用 Lev,简单咨询一圈就能秒回,复杂意图会自动多算几圈。同一份权重既管响应速度又管路由准确率,不用再维护两套模型。
2. 内容审核分级处置
内容审核中,涉黄、涉暴这类明显违规内容可以快速拦下,隐喻、反讽这类灰色地带的内容却容易误判。Lev 的做法是对明显内容快速放行,对灰色内容加深判断。实测显示,这套策略整体能省下 15%–24% 的算力,漏判率也有所下降。
3. Agent 工具调用选择
Agent 执行时,格式化日期这类机械步骤一圈快答就行,执行流程保持流畅;到了选择哪个API工具、提取哪个字段这类关键决策点,多算几圈能避免选错工具、导致后面步骤全部作废。好钢用在刀刃上,Agent 的整体鲁棒性也就上来了。
4. 电商推荐实时重排
大促期间电商平台流量暴涨。常规流量走浅层排序保速度,首屏等高价值位置则由 Lev 自动加深计算,把排序准确性提上去,转化率也跟着优化。它还支持无标签校准,运营团队能用实时流量不断微调模型,跟上用户偏好的快速变化。
5. 金融合规文档分类
金融机构对数据隐私要求极高,Lev 支持完全离线自托管,数据合规需求可以满足。借助自有业务的无标签流量校准停止器,模型能自动认出那些难以分类的复杂文档样本,给它们多分一些计算资源,误判带来的合规风险随之降低。
如何上手 Lev
开发者接入 Lev 的流程比较标准化:
- 获取资源:从 GitHub 克隆代码仓库,再从 Hugging Face 下载对应的底座模型(Ouro 或 Nanbeige)、Lev checkpoint 及 LoRA 权重。
- 准备输入:把状态、问题和候选项打包成一条序列。注意使用块因果掩码,确保隔离性。
- 选择深度:按业务能容忍的延迟设定最大循环圈数,加载共享的 pointer head 和 LoRA 适配器。
- 推理与停止:运行循环推理,每圈后读取概率。套用训练好的逻辑回归停止器,一旦判断当前答案已与最深圈一致,就提前退出。
- 业务校准:正式部署前,拿自有业务的无标签请求,为各深度拟合温度和停止阈值。这一步至关重要,模型在你特定场景下表现如何,就看它了。
结语
Lev 的出现,意味着决策模型正从“静态大小”转向“动态深度”。它说明靠架构上的创新,不增加参数量也能明显提升模型的处理能力。
当然,Lev 现在还带着学术原型的色彩,底座模型规模集中在 1.4B–3B 之间,碰上超复杂逻辑,可能不如超大参数模型。但对绝大多数日常决策任务来说,它在速度、成本和准确率之间找到了一个极佳的平衡点。
开源社区继续迭代下去,基于原生循环架构的应用应该会越来越多。对正在为模型成本和延迟头疼的开发团队来说,Lev 是一个值得试试的新思路。