Lehigh大学开源Lev:一套权重循环多算,准确率63.2%升至76.2%

资讯 AI 应用前沿 全文 3313 字 · 约 9 分钟读完 分类决策模型开源算力

Lehigh大学团队推出开源决策模型Lev,基于原生循环底座,通过重复计算多圈提升复杂问题准确率。其核心在于轻量停止器能按题目难度自动决定计算深度,简单题快答,难题深思。在JevBench测试中,四圈计算将准确率从63.2%提升至76.2%,且仅增加少量算力消耗。该模型支持无标签自校准,适合智能客服、内容审核等对延迟和

所属频道 算力与芯片开源生态前沿研究

新决策模型为何被需要

落地大语言模型时,速度与准确率常常只能二选一,这个难题绕不开。

过去常见的办法是上两个模型:简单的请求交给轻量模型跑,图的是响应快;复杂的逻辑交给大模型扛,图的是质量稳。运维成本因此抬高,系统架构也变得臃肿。能不能让同一个模型看题下菜,按难易自己决定“想”多深?

Lehigh大学等机构最近把 Lev 模型开源,针对的正是这个难题。它提升性能靠的不是堆参数,而是加了一套“循环加深思考”的机制。说白了,就是让同一组权重反复算几遍。题简单,算一圈就交卷;题难,就多绕几圈。单一模型因此有了弹性,低延迟保住了,复杂场景下的决策准确率也明显上去了。

Lev 的核心机制:想多久由模型自己定

Lev 全称没有明确展开,但技术路线很清楚。它建立在原生循环底座之上(如 Ouro 或 Nanbeige4.2),跟传统 Dense 模型有本质差别。传统模型一次前向传播就出结果,Lev 则让同一组解码层重复跑多圈(R次)。

循环怎样把思考加深

在 Lev 的架构里,每一圈都不是从零起算。后一圈接着上一轮的隐藏状态往下算。也就是说,输入信息不用重读,模型是在已有理解上继续深化。

这样做有个直接好处:续算不重读。级联方案里,第一层模型拿不准答案时,往往要把完整输入再喂给第二层,延迟开销很大。Lev 直接从上一圈的隐藏状态接着算,这段冗余被省掉了。

轻量停止器:算力按需给

所有问题都多算几圈,延迟肯定受不了。Lev 的关键创新,是内置了一个轻量级的“停止器”。

这个停止器不负责判断答案对不对,它预测的是“当前圈的答案跟最深一圈的答案是否一致”。一致,说明模型已经 converged(收敛),可以停;不一致,就再算下一圈。

“最深答案”出自模型自己的输出,所以拟合这个停止器不需要任何人工标注数据。团队发现,大约 500 道来自业务现场的无标签流量就够完成校准。阈值取的是能保证至少 98% 情况下与最深答案一致的最小值。这样一来,Lev 能适配不同业务场景,不用昂贵的标注成本就能上线。

决策模型接口:概率直接输出

Lev 沿用了 Kev 式的输入结构。一次请求里有一段共享状态和若干问题,每个问题带着候选项。这些内容打包成一条序列,靠块因果掩码(Block Causal Masking)保证每个问题只看得到状态和它自己那部分。

模型最后不生成冗长的推理文本,而是通过共享的 pointer head 直接读出各选项的概率。“一次前向给出决策”,后续处理流程因此大大简化,需要结构化输出的场景尤其合适。

性能表现:八成算力换来明显增益

在 JevBench 基准测试中,Lev 的效率优势显现出来。同一个 checkpoint,计算圈数从一圈加到四圈,准确率由 63.2% 升到 76.2%。

计算成本的分布更值得看。停止器在,简单题目一圈后就退出,只有难题才进深层循环。整体算下来,Lev 只用了约 76%–85% 的计算量,准确率接近全深度计算,损失不到 1 个百分点。

低延迟区间(39–46ms)里,Lev 比同级联方案高 7.0–8.8 个点,比最好的 Dense 方案高 5.4–7.5 个点。对响应时间敏感的业务来说,这意味着速度不用牺牲太多,决策质量还能更高。

与商业竞品 Jev 的对比

要看清 Lev 的定位,可以拿 TypeSafe AI 推出的商业化产品 Jev 来比。

对比维度 Lev (Lev-2.6B) Jev
提供方性质 Lehigh大学等学术团队,完全开源 TypeSafe AI,闭源商业API
架构 原生循环底座,多圈复用 Dense架构,单次前向
参数规模 2.6B (另有1.4B/3B) 未公开
JevBench准确率 76.2% (四圈) 约86.6% (第三方实测)
延迟 本地39–150ms (可变) API p50约616ms (含网络)
计算深度调节 支持,一份权重多档工作点 不支持,固定单次前向
数据合规 可完全离线自部署 数据需出域
成本 权重免费,自托管GPU成本 约$32/百万次决策

对比下来,Jev 作为成熟商业产品,绝对准确率和易用性仍占上风,开箱即用的校准质量尤其突出(ECE 0.053)。Lev 的长处则在可控性和隐私安全。金融、医疗这类对数据出境敏感的行业,本地化部署是刚性需求,Lev 正好给得了。另外,它的动态深度调节能力,让长尾场景下的性价比更高。

实际应用场景:Lev 最适合用在哪?

Lev 从一开始就冲着决策任务的效率问题去设计,下面几个场景和它的脾气相当合拍:

1. 智能客服意图路由

客服系统里,多数用户问的都是简单查询,比如“查余额”“改密码”,这类问题要的是立刻响应;少数复杂投诉或意图模糊的咨询,才需要更准的识别。用 Lev,简单咨询一圈就能秒回,复杂意图会自动多算几圈。同一份权重既管响应速度又管路由准确率,不用再维护两套模型。

2. 内容审核分级处置

内容审核中,涉黄、涉暴这类明显违规内容可以快速拦下,隐喻、反讽这类灰色地带的内容却容易误判。Lev 的做法是对明显内容快速放行,对灰色内容加深判断。实测显示,这套策略整体能省下 15%–24% 的算力,漏判率也有所下降。

3. Agent 工具调用选择

Agent 执行时,格式化日期这类机械步骤一圈快答就行,执行流程保持流畅;到了选择哪个API工具、提取哪个字段这类关键决策点,多算几圈能避免选错工具、导致后面步骤全部作废。好钢用在刀刃上,Agent 的整体鲁棒性也就上来了。

4. 电商推荐实时重排

大促期间电商平台流量暴涨。常规流量走浅层排序保速度,首屏等高价值位置则由 Lev 自动加深计算,把排序准确性提上去,转化率也跟着优化。它还支持无标签校准,运营团队能用实时流量不断微调模型,跟上用户偏好的快速变化。

5. 金融合规文档分类

金融机构对数据隐私要求极高,Lev 支持完全离线自托管,数据合规需求可以满足。借助自有业务的无标签流量校准停止器,模型能自动认出那些难以分类的复杂文档样本,给它们多分一些计算资源,误判带来的合规风险随之降低。

如何上手 Lev

开发者接入 Lev 的流程比较标准化:

  1. 获取资源:从 GitHub 克隆代码仓库,再从 Hugging Face 下载对应的底座模型(Ouro 或 Nanbeige)、Lev checkpoint 及 LoRA 权重。
  2. 准备输入:把状态、问题和候选项打包成一条序列。注意使用块因果掩码,确保隔离性。
  3. 选择深度:按业务能容忍的延迟设定最大循环圈数,加载共享的 pointer head 和 LoRA 适配器。
  4. 推理与停止:运行循环推理,每圈后读取概率。套用训练好的逻辑回归停止器,一旦判断当前答案已与最深圈一致,就提前退出。
  5. 业务校准:正式部署前,拿自有业务的无标签请求,为各深度拟合温度和停止阈值。这一步至关重要,模型在你特定场景下表现如何,就看它了。

结语

Lev 的出现,意味着决策模型正从“静态大小”转向“动态深度”。它说明靠架构上的创新,不增加参数量也能明显提升模型的处理能力。

当然,Lev 现在还带着学术原型的色彩,底座模型规模集中在 1.4B–3B 之间,碰上超复杂逻辑,可能不如超大参数模型。但对绝大多数日常决策任务来说,它在速度、成本和准确率之间找到了一个极佳的平衡点。

开源社区继续迭代下去,基于原生循环架构的应用应该会越来越多。对正在为模型成本和延迟头疼的开发团队来说,Lev 是一个值得试试的新思路。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  2. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  3. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  4. 用户爆料DeepSeek App和网页版出现使用限额

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。 有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。 此外,还会限制每日的对话额度,当用户日使用量达到上限

    来源 AI 行业观察
  5. DeepSeek App与网页版设使用限额:长对话7天不活跃不再保留

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
  6. DeepSeek App与网页版设使用限额:长对话7天不活跃即失效

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
  7. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  8. DeepSeek App与网页版限额:长对话超7天不活跃不再保留?

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。此外,还会限制每日的对话额度,当用户日使用量达到上限时,

    来源 腾讯网
  9. 中科曙光万伟:超大规模智算集群,高速互连是关键

    中科曙光高速网络互联产品部总工程师万伟在会上分享超大规模智算集群高速网络架构设计与工程实践,提出高速互连是算力基础设施实现规模扩展的关键。中科曙光将超节点内部互连与超节点之间的组网相结合。大会期间,中科曙光还获评“2026中国算力领军企业”,scaleFabric高速网络入选“2026中国算力应用典型案例”。超大规模集

    来源 TechWeb
  10. 知乎推出Paper开源计划:论文与讨论打通,科研作者可绑定身份

    知乎把论文阅读与社区讨论连接了起来。近日,2026知乎科学季收官。除了邀请科研人员参与线下交流,知乎还在科学季期间推出“Paper开源计划”,将论文关联、讨论入口和研究者身份绑定纳入社区功能。基于这项计划。用户阅读论文时,可以通过插件查看知乎上的相关讨论;社区问题可以关联论文卡片,方便读者查阅原始研究;科研...

    来源 腾讯网
  11. Nex-N2.6开源:321B多模态Agent模型如何破解“鬼打墙”循环?

    上海创智学院(Nex-AGI)开源了基于GLM-5.3-Flash后训练的Nex-N2.6模型。该模型拥有约3210亿参数,支持256K上下文,主打电脑操控、编程和长程工具调用。其核心突破在于将推理复读率从16%降至1.6%,并在OSWorld评测中取得83.0分。文章介绍了其技术原理、本地部署方法及与竞品的对比。

    来源 AI 应用前沿
  12. 6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存

    Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣

    来源 AI 应用前沿
  13. 谷歌开源FashionMind:用全双工语音实现零延迟AI试衣

    Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记

    来源 AI 应用前沿
  14. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  15. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
  16. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  17. 书生-S2.1 Flash开源:能操控CAD与QGIS的科研智能体

    上海AI实验室开源了书生-S2.1 Flash,这是一个专门针对科学场景的多模态大模型。它不仅能看懂分子结构、光谱和脑电波,还能直接操作3D Slicer、QGIS、CAD等专业软件完成建模和分析。相比之前的版本,它的推理成本降低了90%,在多项通用智能体基准测试中表现优异。文章介绍了其技术原理、实际应用场景以及与竞品

    来源 AI 应用前沿
  18. 视程空间边缘AI开发板:算力梯队与模块化IO怎么选

    实验室模型跑得好,一到现场就掉帧?问题往往不在算法,而在硬件底座的稳定性。本文解析视程空间ARC/AIR系列开发板,从Jetson Orin到Thor旗舰,通过模块化IO、自研采集链路和统一SDK,解决供电、散热、同步等工程痛点,帮助开发者从原型验证平滑过渡到批量交付。

    来源 AI 应用前沿
向下滚动自动加载更多