Salesforce推CLIFT:网页智能体靠自问自答给自己打分
你有没有想过,一个能帮你订机票、填表格、逛淘宝的网页智能体,是怎么知道自己做对了没有?这个问题比听起来复杂得多。2026年的今天,开源网页智能体已经能够在真实浏览器里点击、输入、滚动,完成相当复杂的任务了。但训练它们变得更聪明这件事,卡在了一个很尴尬的地方:你用来告诉AI"这次做得好不好"的反馈信号,要么太...
一个能帮你订机票、填表格、逛淘宝的网页智能体,怎么判断自己有没有做对?这个问题听着简单,实际远比表面复杂。
2026年的今天,开源网页智能体已经可以在真实浏览器里完成点击、输入、滚动这些动作,任务复杂度也相当高。可要让它们变得更聪明,训练环节却卡在一个尴尬的地方:用来告诉AI"这次做得好不好"的反馈信号,不是太粗糙,就是太贵。
粗糙的做法是给任务一个二元反馈,成功记1分,失败记0分。问题是,当你用
贵的做法则是请GPT这样的大模型当裁判,逐步评判每一次操作。反馈确实丰富,可每一步都得调用一次昂贵的API。更麻烦的是,等智能体真正部署给用户使用,总不能让用户每操作一次就调用一次大模型裁判,那成本根本扛不住。
来自
Salesforce AI Research的这篇论文,提出了一个叫
裁判的用处和代价
在讲
论文选了三个基准测试环境。第一个叫
三个环境的评测方式,噪声一个比一个大:程序化验证最精确,URL/DOM检查次之,大模型裁判打分最不稳定。论文正是借这种梯度,检验CLIFT能否从干净的训练信号一步步扩展到嘈杂的真实世界。
CLIFT的全称是"Conformal Lift-calibrated Introspective Filtering of Trajectories",大意是"用保形推断校准提升值来筛选轨迹的内省式方法"。名字听着唬人,拆开看并不复杂。
验证问题库
CLIFT的核心机制,是让智能体维护一个
验证问题(VQ)
这里有个关键细节:每个问题都带着"URL作用域",不是随便问的。也就是说,这个问题只在特定网页路径下才成立。比如"是否进入了商品详情页",只该在购物网站搜索结果页之后被问;放到登录页上问,毫无意义。论文里反复强调的,正是这一点。
不按URL分层会怎样?把所有页面的验证问题混在一起统一打分,就好比老师批改数学卷子和语文卷子用同一套评分标准——数学题答案对不对,和语文作文写得好不好,判断标准根本不是一回事,硬套一套标准,分数只会失去意义。按URL分层,说到底是在承认"不同页面状态下,什么算好的行为并不一样"。
新问题随之而来:这些自问自答的问题,哪些真的靠谱,哪些只是AI在自说自话?这正是CLIFT最有意思、也是整篇论文技术核心的地方:怎么证明某个问题的回答,确实能反映任务做得好不好。
保形认证器:给每个问题发一张信任状
论文设计了一个叫
保形预测
CCC
这个过程用了一个叫Mondrian自适应保形推断(
这套机制里还有一道很硬核的安全阀,叫
验证题库和认证机制讲完了,接下来要解决的是:怎么把这些认证过的信号真正用起来,同时又不能把裁判原本的判断带歪。
训练阶段:只加分不减分的奖励机制
CLIFT训练时的奖励公式有个巧妙设计,论文里写作"验证器项被截断在零以下"。意思是自我验证得出的分数只能是正数或零,永远不会以负数去拉低裁判给出的基础分数。
这个设计针对的是一个很实际的问题。假设验证器信号还不够成熟、判断存在误差,一旦允许它直接拉低奖励,验证器判断错了,模型就会学到错误的东西,甚至把裁判本来给出的正确奖励污染掉。而"只能加分不能减分"相当于给验证器划了一道安全线:它可以锦上添花,证实裁判的判断、补充细粒度信息,但不能喧宾夺主。
这就像公司里新来了一个实习生,给老板的打分报告做补充意见。如果实习生的意见只能用来佐证"这个员工表现确实不错,我再补充几个具体优点",那即便他偶尔判断有偏差,最多是没补充上什么有用信息,不会搅乱老板本来的正确判断。可要是允许实习生的意见直接否决老板的判断,一旦他经验不足看走眼,整个评价系统就可能被带偏,后果不可挽回。
奖励确定之后,还要把这个逐步的奖励信号转化成每个URL状态下的优势估计(advantage),再广播到对应的动作token上做梯度更新。这一步保证了信用分配是"URL本地化"的:同一个任务里,不同网页状态下采取的动作,按它所在那个具体网页状态的表现拿奖励信号,而不是被笼统地算进整条轨迹的最终成败。
还有一个细节值得单独拿出来讲,就是
CEGAR
训练时每走60步,系统就会触发一轮问题生成。裁判会挑出一批表现最好和最差的轨迹,找出两者的差异,再提出三到五个新问题。这些新问题一开始处于"未认证"状态,得走完前面那套认证流程,才能拿到信任权重。问题库因此是动态长大的:从最初的几十个、几百个种子问题,到训练中不断扩充、筛选,最后留下来的才是真正有区分力的那一部分。
训练阶段说完了,接着看部署阶段,也就是真正交给用户使用的环节。这时裁判已经不在场,但此前认证好的问题库还在,并且被冻结起来反复使用。这就是论文里的另一个核心机制——
CTS,一种测试时决策机制:让智能体对同一个任务生成多条候选轨迹,用冻结的已认证问题库给每条轨迹打分,再按一套保守的多数投票规则决定最终输出哪一条。
流程是这样走的:智能体先对同一任务跑一条"贪心"轨迹,也就是按模型最有把握的方式一步步往下走;然后再跑一条或多条"多样化"重试轨迹,采样温度调得更高,鼓励它探索不同路径。随后,自我验证器依据已认证的问题库,为每条轨迹访问过的每个URL状态生成一份结构化证据清单,而不是简单甩一个总分。这份清单再交给自我验证器做比较式判断,结果无非三种:"保留贪心轨迹"、"换成重试轨迹"或者"平局"。
验证器本身有随机性,可能误判,CTS的应对是多次独立投票,并定下偏保守的规则:只有多数票明确支持"换"才真正切换,平局或票数不够,一律保留原来的贪心轨迹。
这个思路很像医院的多学科会诊。病人要不要换治疗方案,不能由一位医生临时拍板,得请好几位医生各自独立给意见,多数人都认为该换才换。要是有一个医生说换就立刻换,医疗决策的稳定性根本无从谈起,一次判断失误就可能带来严重后果。CTS的保守投票,就是把这套"宁可不动,也不盲目乱动"的原则写进了算法。
要是没有这条保守默认规则会怎样?论文里给了一个具体案例,
到这里,CLIFT的闭环就完整了。训练阶段靠认证过的问题库提供额外正向奖励,帮模型学得更快更准;测试阶段用同一套冻结的问题库,在没有昂贵裁判参与的情况下,帮系统从多条候选轨迹里挑出更靠谱的一条。两个阶段共用的核心资产,就是这个带URL作用域、极性标签和信任权重的问题库。
三个场景,三种验证方式
再看实际效果。论文安排了三组实验,对应三个层层递进的问题:"训练能不能变强""训练出来的知识能不能迁移到更强的模型""完全没训练过的场景能不能直接用"。
在WAI平台上,研究者用一个31B参数的开源模型。更说明问题的数字在训练过程的分解里:基础Gemma-4模型没做任何强化学习训练,成绩是61.8分;用传统方式训练,也就是裁判打分加
这组对比很能说明问题。只靠裁判给出的稀疏总分来训练,即便上了GRPO这种现代强化学习算法,提升也只有2.9个点。差距不在训练算法够不够先进,而在奖励信号本身太粗,没法告诉模型哪一步做对了、哪一步做错了。CLIFT多出来的10.8个点,几乎全部来自更细粒度、按URL状态分层的奖励信号。这也印证了论文开篇的核心判断:卡住智能体表现的,往往不是模型本身,而是怎么给它打分。
论文还给了一个很有说服力的旁证:
接下来是
这个结果的分量在于,它说明CLIFT学出来的问题库不是某个特定模型的"专属外挂",而是一份可迁移的知识总结,讲的是"什么样的网页行为算靠谱进展"。好比一位老师长期批改某个班的作业,摸出了一套"什么样的解题步骤容易出错"的规律,写成讲义之后,换一个完全不同的班级、甚至换一位新老师来用,照样能帮学生少犯错。知识本身和产生它的具体人,是可以分开的。
最后是
重新校准不需要重训策略模型,只要在少量真实网站、带裁判打分的轨迹样本上,把前面那套认证流程再跑一遍,给每个翻译过来或新加的问题重新算信任权重。
最终,翻译重构后的问题库里,132个问题有100个通过认证,其中75个是正向进展信号,25个是负向失败信号。用到实际测试中,开源Gemma-4基础模型原本40.0分,加上迁移来的问题库和CTS后升到45.0分,已经超过GPT-5.5低算力版本的43.7分基线。换成更强的GPT-5.5高算力版本,原始成绩49.7分,加上同样的迁移机制和CTS(K=4)后到61.0分,涨了整整11.3个百分点。
这组数字说明的道理很直接:策略模型本身已经很强、贪心策略接近能力上限时(比如WAI场景,训练本身贡献了大部分提升),测试时选择能带来的额外空间有限;可要是没机会针对特定场景训练、模型只能靠通用能力硬扛(比如OM2W这种完全陌生的真实网站场景),测试时从多条轨迹里精挑细选就格外重要,因为模型不同尝试之间的表现差异更大,选择机制才有发挥余地。
CLIFT的边界在哪里
论文也坦率讨论了这套方法的局限。在WAI和VWA两个场景里,大量URL状态能攒够观测样本,信任权重估得比较稳;但在OM2W这种噪声更大的真实网站裁判场景下,更多问题没能通过认证考验,被直接排除在决策之外。论文把这种"拒绝认证"看作诊断信号,而不是系统故障——认证机制发现某个问题不靠谱时,选择不信任而不是硬用,这本身就是设计上的克制。
论文还提到一个未来方向:用可执行的浏览器状态断言替代现在的自然语言问题,让编程智能体直接写出能在轨迹运行中执行的检查代码,这样或许能减少对单独一个自我验证模型的依赖,同时提升可审计性。
写在后面
论文里有个"只加分不减分"的奖励截断设计,读完之后最让我意外的反倒是它。乍看之下,这不过是个简单的工程手法,可往深里想,它藏着一个不小的判断:把一个尚未被充分验证的新信号源接进已有验证体系,稳妥的做法是别让它拿到和原系统平起平坐的决定权,先只允许它做加法,能添彩,不能拆台。这套思路并不限于强化学习训练,凡是多路信号融合、新信号可信度还没验够的场合,都能借用。同样让我反复琢磨的还有CTS那套保守的多数投票机制,以及它透出的态度。做测试优化的论文,大多骨子里倾向于多探索、多尝试,恨不得把样本空间撑到最大;CLIFT的CTS却相反,默认选项始终是"不变",只有证据足够扎实才肯被说服。这种取向和贝叶斯统计里"先验要保守"有几分相似:新证据不够充分之前,别轻易离开自己已经比较确信的判断。
案例A.3里那个关闭两步验证的例子,也值得单独拎出来说。贪心轨迹成功,重试轨迹失败,CTS最后没有切换。这个案例的意义不在于CTS判断正确——那几乎是必然的——而在于它说明这套系统真的能"认出自己已经做对了",不会盲信多试一次总比不试强。不少靠采样和投票的系统容易掉进一个坑:以为候选越多,结果自然越好。CLIFT的实验记录给出的提醒是,有时最优的决策就是什么都不做。
最后一个留在我脑子里的问题:问题库被翻译迁移到全新领域时,那25个被认证为"负向信号"的问题究竟长什么样。论文提到了机器人验证拦截、信息造假、筛选条件失效这几类,但具体措辞和触发场景,比正向信号更值得往下挖。说到底,失败模式常常比成功模式更能照出一个系统真正脆弱的地方。
Q&A
Q1:CLIFT是什么?它是
Salesforce AI Research提出的一种网页智能体训练与测试方法。其核心在于让AI靠自我提问、自我回答来生成验证信号,再用统计方法把可信的那部分筛出来,用于训练阶段的奖励加成和测试阶段的轨迹选择;整个流程不需要在测试时调用昂贵的大模型裁判。
Q2:CLIFT训练出来的问题库能用在别的模型上吗?能。论文验证过,用开源Gemma-4训练出的问题库迁移到闭源的GPT-5.5上依然管用,在VisualWebArena测试中帮GPT-5.5达到了业界领先水平。这说明问题库本身就是一份可迁移的通用知识,并不绑定某个特定模型。
Q3:和传统的GRPO训练方法相比,CLIFT的提升有多大?在WebArena Infinity平台上,传统GRPO加裁判打分只比基础模型高出2.9个百分点,CLIFT的完整机制则提升了10.8个百分点;再叠加测试时的轨迹选择机制,总提升达到12.8个百分点,远超传统方法。