AI智能体省钱新招:弱模型先上,LEASH用隐藏状态判断何时换强模型
你有没有想过,为什么现在很多AI产品用起来总觉得差点意思,或者贵得离谱?答案可能藏在一个很少有人注意的地方:模型选择。现在能自动操作电脑的AI助手,专业说法叫计算机使用智能体**计算机使用智能体**:能看懂屏幕截图、理解自然语言指令,并自动执行点击、输入等操作来完成任务的AI系统这类系统面临一个两难选择。用最...
很多AI产品用着总觉得差口气,或者贵得让人肉疼,原因出在哪?
也许关键就一个词:选模型。
如今能自己动手操作电脑的AI助手,学名叫计算机使用智能体。
**计算机使用智能体**:这类AI系统看得懂屏幕截图,听得懂自然语言指令,还能自己点鼠标、敲键盘把任务做完。可它们面前摆着一道两难题:上最强模型,比如Claude Opus这种顶级货,活干得漂亮,价钱也吓人,一个任务跑几十步乃至上百步,成本一路往上蹿;换成便宜的开源小模型,钱省下来了,稍复杂的任务就掉链子,常常卡在某一步出不来。
这就好比看病是请私人医生还是去社区诊所。顶级专家随叫随到自然踏实,可感冒发烧也把专家喊到家里,账单能让你心疼到睡不着。社区医生对付常见病没问题,真碰上疑难杂症,他可能也没辙,甚至把病情耽误了。
有没有折中的办法?让社区医生先看,看不明白再转诊给专家。搬到AI领域,就是论文要讲的“弱强升级”,英文weak-to-strong escalation,简称W2SE。
麻烦在于:什么时候该转诊?
听着挺美:小模型先扛,扛不住再换大模型。真做起来,里头藏着两个大坑。
头一个坑是怎么算“扛不住”。总不能让AI自己喊“我不会了”——AI经常嘴硬,明明做错了还一脸自信地接着瞎搞。此前有研究想解决这点,可要么得另找一个AI当监工,一步一步实时盯着,又多一笔开销;要么专门训一个判断模型,标注数据加训练一通折腾,省下的钱未必够付训练费。
第二个坑更隐蔽:换了大模型就万事大吉?强模型照样会在复杂任务里迷路,会陷进重复操作的死循环,会看错进度。问题是顶级AI一般通过接口调用,是个黑箱,你根本看不到它内部在想什么,它嘴上说“我很确定”压根靠不住。
并不是。
论文的研究团队来自Simular公司和威斯康星大学麦迪逊分校。他们看明白这两个问题其实是一体两面:既得知道什么时候把任务交给强模型,也得知道交出去之后怎么接着盯。
这套方案他们叫LEASH,中文可以理解成“牵引绳”。思路是:弱模型平时自己干活,一旦觉得吃不消就把活甩给强模型;甩出去之后弱模型也不闲着,它转做观察员,在旁边继续盯着强模型别出岔子。
怎么看出AI“心虚”了:从隐藏状态里读信号
LEASH最巧的地方在于,判断要不要换人,它不靠AI自己开口,而是悄悄去看AI大脑里的激活模式。
这得先解释一个概念。
**隐藏状态**:神经网络处理信息时内部产生的数值表示,可以理解成AI“思考过程”留下的数字痕迹。它不是人能直接读懂的语言,但藏着模型对当前局面的判断倾向。
研究者发现一个有意思的现象:大语言模型给出答案之前,隐藏状态里其实已经悄悄编码了“这任务我大概能不能做成”的信息。这不玄乎,此前已有不少研究证实过类似情况,比如模型撒谎时,内部状态和说真话时是能区分开的。
那这个信号怎么用?
团队的做法是:先让弱模型跑一批任务,把执行过程中产生的隐藏状态全记下来,同时标注每个任务最后是成是败。这么一来就有了两个“参考库”:一个存任务刚开头时的状态与结果对应关系,一个存每一步操作时的状态与结果对应关系。
之后每来一个新任务,就拿当前隐藏状态去比:它更像历史上那些成功案例,还是更像失败案例?这个“像不像”用的是马氏距离这种统计方法,本质上在量当前状态离“成功聚落”和“失败聚落”各有多远。离失败越近,不确定性评分越高,就该考虑换人。
这设计最妙的一点:完全不需要额外的模型调用。弱模型生成动作时本来就要产生这些隐藏状态,现在只是多看一眼,不多花一分钱,也不多等一秒。
这就像一位老师傅炒菜,颠勺的手感、闻到的焦味,本来就是炒的过程中自然冒出来的信息。不用另找一个人专门来“测焦糊程度”,师傅的动作和手感里已经带着这个判断,你只需要学会读懂这个信号。真要再雇个品尝员站旁边盯着,钱多花了不说,品尝员还得等菜出锅才能尝,反馈慢半拍,补救都来不及。
三层防线:从任务开始到执行中再到交接后。LEASH的运作方式具体分成三层。
头一层是任务刚来时的初步判断。新任务交到弱模型手上、还没开跑,LEASH先扫一眼任务要求和初始屏幕截图对应的隐藏状态,看这个任务是不是一上来就超出弱模型的能力范围。要是超了,直接在起跑线上转给强模型,免得弱模型白试那几步。
第二层管的是执行途中的实时监控。有些任务乍看不难,可做到某一步忽然卡住,比如弱模型在某个菜单里绕来绕去点不出想要的结果。这时runtime escalation gate(运行时升级门)就派上用场了,它盯着每一步操作对应的隐藏状态,哪一步的不确定性越过阈值,控制权马上交给强模型。
第三层最有意思,是交接完成之后的“影子监督”。所谓影子观察员,就是弱模型交出执行权之后转成的监督角色,它不再动手,但每隔几步会重新生成一个“换我会怎么做”的候选动作,拿这个候选动作对应的隐藏状态继续判断当前局势有没有异常。
有人可能要问:弱模型不是已经不行了吗,凭什么反过来监督强模型?这里的逻辑有点绕。论文的假设是,连弱模型都觉得这一步很难拿捏(不确定性很高),那多半说明这一步客观上就棘手,强模型碰上类似情况翻车的概率也偏高。说白了,弱模型测的不是“我能不能做对”,而是“这个局面本身有多难”。
好比一位经验丰富的老保安给新来的特级安保顾问打下手。老保安可能搞不定真正的突发状况,可干了这么多年,一看见某个区域人员异常聚集、气氛不对,本能就觉得“这里有情况”。这种直觉解决不了问题,但拿来提醒顾问多留个心眼完全够用。要是没有这层预警,等顾问自己察觉情况复杂,往往已经晚了,最佳干预时机早错过了。
影子观察员一旦报警,系统会怎么处理?它不会粗暴打断强模型,而是先把强模型当前这一步还没执行的操作撤回,再用一种“反思提示”让强模型以更高的推理强度重新审视进度、再做一次决策。整个流程最多允许触发六次这样的检查;而且只要连续两次检查都真的改掉了强模型原本要做的动作,系统就不再继续触发,免得过度打扰。
实验结果:省了快两成钱,效果还不打折。设计思路说了这么多,到底管不管用?
论文在OSWorld这个测试平台上做了验证,用四种开源弱模型搭配Claude Opus 5作为强模型。最亮眼的结果出现在Qwen3.5-35B-A3B这个组合上:LEASH拿到73.66%的任务成功率,每个任务花费0.4117美元。同一套任务集,如果全程都跑Claude Opus 5,成功率是72.90%,但每个任务要花0.5094美元。
也就是说,LEASH没牺牲效果,成本还省了19.2%。
更能说明问题的是跟随机升级策略的对比。随机升级就是不管三七二十一,随便挑一部分任务扔给强模型,挑的比例和LEASH一样。结果在相同升级比例下,LEASH比随机策略高出6.55到11.94个百分点。可见LEASH识别出的不确定性信号确实管用,它挑中的那些任务,是真正需要强模型介入的,不是瞎蒙碰上的。
论文还引入了一个叫“性能缺口恢复率”的指标,衡量升级策略到底补上了弱模型和强模型之间多大的差距。LEASH能恢复75%到102%的差距,随机策略只能恢复37%到69%;同时LEASH的花费只有全程用强模型的69%到81%。
单看交接后的监督效果,也很能说明问题。研究团队专门挑出触发了影子监督警报的任务来分析,这部分任务里,全程用强模型的成功率只有51.6%,说明任务本身确实难。开启影子监督后,成功率升到64.5%,不开则只有48.4%。可见影子观察员确实抓住了那些“交接后还会迷路”的高危场景,干预落到了实处。
论文还做了几组消融实验,把LEASH拆开,一块一块看哪部分贡献最大。结果显示,光加一个负责任务拆解和进度检查的管理模块,成功率从37.40%升到41.15%,提升有限。真正带来大幅跃升的是加入不确定性驱动的升级机制,成功率一下冲到67.94%。在这个基础上再叠加影子监督和干预,又进一步提升到73.66%,额外成本还很低。这样层层递进的结果,正好印证了论文三层设计思路的合理性:每一层解决的是不同阶段的问题,缺一不可。
理论上的依据。论文还从数学角度给了一个站得住脚的解释,证明按不确定性评分来决定要不要升级,确实是在固定预算下能做出的最优选择。简单说,把弱模型会失败的任务排好序,按不确定性从高到低挑出一定比例去升级,这种挑法能抓到的失败案例,比任何同等比例的随机挑选都多。这个证明借用了统计学里一个经典的假设检验思想——奈曼-皮尔逊引理,原本是用来证明在给定错误率下如何让检测效果最大化,这里被巧妙地搬了过来。
不过论文作者也很坦诚地指出了局限:这套理论分析目前只覆盖任务开始前的那次初始判断;执行过程中实时监测那个环节,理论上更复杂,属于一个最优停止问题,目前还没有完整解出来,留给了后续研究。
写在后面
读完这篇论文,最让我意外的其实不是LEASH效果有多好,而是它选的切入点。
不少研究AI效率的人一上来就想“训个新模型专门做判断”,好像不训点东西就不算干活。这篇论文的路子正相反:什么模型都不用训,模型自己跑过的历史记录里就已经有你要的全部信息,只是没人教会系统怎么去读。往内找,而不是往外加,这个方向放在眼下这个动不动就微调、蒸馏、造一堆新数据的氛围里,确实耐人寻味。
还有个细节值得单独讲:影子监督这套设计,说白了是让能力更弱的系统去盯住能力更强的系统。乍一听有点反常识,可细想站得住脚——弱模型测的并不是“我能不能做对”,而是“这件事本身有多难”。这个区分很微妙,也说明设计监督机制时,监督者未必非得强过被监督者,要紧的是它能给出对方给不出的那个视角。
目前论文只验证了电脑操作这一个场景,能不能搬到写代码、做科研助理之类的其他智能体任务上,还得打个问号。论文本身也承认,不确定性评分衡量的是弱模型会不会失败,这跟“升级到底值不值”并不完全是一回事。有些任务强弱模型都搞不定,这种时候不确定性识别得再准也没用。这个缝隙,大概就是下一篇论文要去填的地方。
Q&A
Q1:LEASH是什么?
A:LEASH 这套框架不需要训练。它让能力较弱的 AI 模型先按默认方式执行任务,同时读取模型隐藏状态中的不确定性信号,据此决定什么时候把控制权移交给更强的模型;交接完成之后,弱模型还要继续扮演监督者的角色。
Q2:LEASH怎么判断该不该升级到强模型?
A:具体做法是拿弱模型当前的隐藏状态,与它以往成功、失败两类案例逐一比对相似度,距离用马氏距离来算。越接近失败案例,不确定性评分就越高;评分一旦碰到阈值,升级便被触发。整个判断过程不涉及任何额外的模型调用。
Q3:LEASH相比直接用最强AI模型能省多少钱?
A:在论文实验中,搭配Qwen3.5-35B-A3B使用LEASH,任务成功率73.66%已经超过全程使用Claude Opus 5的72.90%,但成本只要0.4117美元,比全程用强模型便宜19.2%。