Salesforce推CLIFT:网页智能体靠自问自答给自己打分

资讯 腾讯网 作者:科技行者 全文 5398 字 · 约 14 分钟读完 配图 2 张 分类开源智能体

你有没有想过,一个能帮你订机票、填表格、逛淘宝的网页智能体,是怎么知道自己做对了没有?这个问题比听起来复杂得多。2026年的今天,开源网页智能体已经能够在真实浏览器里点击、输入、滚动,完成相当复杂的任务了。但训练它们变得更聪明这件事,卡在了一个很尴尬的地方:你用来告诉AI"这次做得好不好"的反馈信号,要么太...

所属频道 智能体与 Agent开源生态

一个能帮你订机票、填表格、逛淘宝的网页智能体,怎么判断自己有没有做对?这个问题听着简单,实际远比表面复杂。

2026年的今天,开源网页智能体已经可以在真实浏览器里完成点击、输入、滚动这些动作,任务复杂度也相当高。可要让它们变得更聪明,训练环节却卡在一个尴尬的地方:用来告诉AI"这次做得好不好"的反馈信号,不是太粗糙,就是太贵。

粗糙的做法是给任务一个二元反馈,成功记1分,失败记0分。问题是,当你用

贵的做法则是请GPT这样的大模型当裁判,逐步评判每一次操作。反馈确实丰富,可每一步都得调用一次昂贵的API。更麻烦的是,等智能体真正部署给用户使用,总不能让用户每操作一次就调用一次大模型裁判,那成本根本扛不住。

来自Salesforce AI Research的这篇论文,提出了一个叫

裁判的用处和代价

在讲

论文选了三个基准测试环境。第一个叫

三个环境的评测方式,噪声一个比一个大:程序化验证最精确,URL/DOM检查次之,大模型裁判打分最不稳定。论文正是借这种梯度,检验CLIFT能否从干净的训练信号一步步扩展到嘈杂的真实世界。

CLIFT的全称是"Conformal Lift-calibrated Introspective Filtering of Trajectories",大意是"用保形推断校准提升值来筛选轨迹的内省式方法"。名字听着唬人,拆开看并不复杂。

验证问题库

CLIFT的核心机制,是让智能体维护一个

验证问题(VQ)

这里有个关键细节:每个问题都带着"URL作用域",不是随便问的。也就是说,这个问题只在特定网页路径下才成立。比如"是否进入了商品详情页",只该在购物网站搜索结果页之后被问;放到登录页上问,毫无意义。论文里反复强调的,正是这一点。

不按URL分层会怎样?把所有页面的验证问题混在一起统一打分,就好比老师批改数学卷子和语文卷子用同一套评分标准——数学题答案对不对,和语文作文写得好不好,判断标准根本不是一回事,硬套一套标准,分数只会失去意义。按URL分层,说到底是在承认"不同页面状态下,什么算好的行为并不一样"。

新问题随之而来:这些自问自答的问题,哪些真的靠谱,哪些只是AI在自说自话?这正是CLIFT最有意思、也是整篇论文技术核心的地方:怎么证明某个问题的回答,确实能反映任务做得好不好。

保形认证器:给每个问题发一张信任状

论文设计了一个叫

保形预测

CCC

这个过程用了一个叫Mondrian自适应保形推断(

这套机制里还有一道很硬核的安全阀,叫

验证题库和认证机制讲完了,接下来要解决的是:怎么把这些认证过的信号真正用起来,同时又不能把裁判原本的判断带歪。

训练阶段:只加分不减分的奖励机制

CLIFT训练时的奖励公式有个巧妙设计,论文里写作"验证器项被截断在零以下"。意思是自我验证得出的分数只能是正数或零,永远不会以负数去拉低裁判给出的基础分数。

这个设计针对的是一个很实际的问题。假设验证器信号还不够成熟、判断存在误差,一旦允许它直接拉低奖励,验证器判断错了,模型就会学到错误的东西,甚至把裁判本来给出的正确奖励污染掉。而"只能加分不能减分"相当于给验证器划了一道安全线:它可以锦上添花,证实裁判的判断、补充细粒度信息,但不能喧宾夺主。

这就像公司里新来了一个实习生,给老板的打分报告做补充意见。如果实习生的意见只能用来佐证"这个员工表现确实不错,我再补充几个具体优点",那即便他偶尔判断有偏差,最多是没补充上什么有用信息,不会搅乱老板本来的正确判断。可要是允许实习生的意见直接否决老板的判断,一旦他经验不足看走眼,整个评价系统就可能被带偏,后果不可挽回。

奖励确定之后,还要把这个逐步的奖励信号转化成每个URL状态下的优势估计(advantage),再广播到对应的动作token上做梯度更新。这一步保证了信用分配是"URL本地化"的:同一个任务里,不同网页状态下采取的动作,按它所在那个具体网页状态的表现拿奖励信号,而不是被笼统地算进整条轨迹的最终成败。

还有一个细节值得单独拿出来讲,就是

CEGAR

训练时每走60步,系统就会触发一轮问题生成。裁判会挑出一批表现最好和最差的轨迹,找出两者的差异,再提出三到五个新问题。这些新问题一开始处于"未认证"状态,得走完前面那套认证流程,才能拿到信任权重。问题库因此是动态长大的:从最初的几十个、几百个种子问题,到训练中不断扩充、筛选,最后留下来的才是真正有区分力的那一部分。

训练阶段说完了,接着看部署阶段,也就是真正交给用户使用的环节。这时裁判已经不在场,但此前认证好的问题库还在,并且被冻结起来反复使用。这就是论文里的另一个核心机制——

CTS,一种测试时决策机制:让智能体对同一个任务生成多条候选轨迹,用冻结的已认证问题库给每条轨迹打分,再按一套保守的多数投票规则决定最终输出哪一条。

流程是这样走的:智能体先对同一任务跑一条"贪心"轨迹,也就是按模型最有把握的方式一步步往下走;然后再跑一条或多条"多样化"重试轨迹,采样温度调得更高,鼓励它探索不同路径。随后,自我验证器依据已认证的问题库,为每条轨迹访问过的每个URL状态生成一份结构化证据清单,而不是简单甩一个总分。这份清单再交给自我验证器做比较式判断,结果无非三种:"保留贪心轨迹"、"换成重试轨迹"或者"平局"。

验证器本身有随机性,可能误判,CTS的应对是多次独立投票,并定下偏保守的规则:只有多数票明确支持"换"才真正切换,平局或票数不够,一律保留原来的贪心轨迹。

这个思路很像医院的多学科会诊。病人要不要换治疗方案,不能由一位医生临时拍板,得请好几位医生各自独立给意见,多数人都认为该换才换。要是有一个医生说换就立刻换,医疗决策的稳定性根本无从谈起,一次判断失误就可能带来严重后果。CTS的保守投票,就是把这套"宁可不动,也不盲目乱动"的原则写进了算法。

要是没有这条保守默认规则会怎样?论文里给了一个具体案例,

到这里,CLIFT的闭环就完整了。训练阶段靠认证过的问题库提供额外正向奖励,帮模型学得更快更准;测试阶段用同一套冻结的问题库,在没有昂贵裁判参与的情况下,帮系统从多条候选轨迹里挑出更靠谱的一条。两个阶段共用的核心资产,就是这个带URL作用域、极性标签和信任权重的问题库。

三个场景,三种验证方式

再看实际效果。论文安排了三组实验,对应三个层层递进的问题:"训练能不能变强""训练出来的知识能不能迁移到更强的模型""完全没训练过的场景能不能直接用"。

在WAI平台上,研究者用一个31B参数的开源模型。更说明问题的数字在训练过程的分解里:基础Gemma-4模型没做任何强化学习训练,成绩是61.8分;用传统方式训练,也就是裁判打分加

这组对比很能说明问题。只靠裁判给出的稀疏总分来训练,即便上了GRPO这种现代强化学习算法,提升也只有2.9个点。差距不在训练算法够不够先进,而在奖励信号本身太粗,没法告诉模型哪一步做对了、哪一步做错了。CLIFT多出来的10.8个点,几乎全部来自更细粒度、按URL状态分层的奖励信号。这也印证了论文开篇的核心判断:卡住智能体表现的,往往不是模型本身,而是怎么给它打分。

论文还给了一个很有说服力的旁证:

接下来是

这个结果的分量在于,它说明CLIFT学出来的问题库不是某个特定模型的"专属外挂",而是一份可迁移的知识总结,讲的是"什么样的网页行为算靠谱进展"。好比一位老师长期批改某个班的作业,摸出了一套"什么样的解题步骤容易出错"的规律,写成讲义之后,换一个完全不同的班级、甚至换一位新老师来用,照样能帮学生少犯错。知识本身和产生它的具体人,是可以分开的。

最后是

重新校准不需要重训策略模型,只要在少量真实网站、带裁判打分的轨迹样本上,把前面那套认证流程再跑一遍,给每个翻译过来或新加的问题重新算信任权重。

最终,翻译重构后的问题库里,132个问题有100个通过认证,其中75个是正向进展信号,25个是负向失败信号。用到实际测试中,开源Gemma-4基础模型原本40.0分,加上迁移来的问题库和CTS后升到45.0分,已经超过GPT-5.5低算力版本的43.7分基线。换成更强的GPT-5.5高算力版本,原始成绩49.7分,加上同样的迁移机制和CTS(K=4)后到61.0分,涨了整整11.3个百分点。

这组数字说明的道理很直接:策略模型本身已经很强、贪心策略接近能力上限时(比如WAI场景,训练本身贡献了大部分提升),测试时选择能带来的额外空间有限;可要是没机会针对特定场景训练、模型只能靠通用能力硬扛(比如OM2W这种完全陌生的真实网站场景),测试时从多条轨迹里精挑细选就格外重要,因为模型不同尝试之间的表现差异更大,选择机制才有发挥余地。

CLIFT的边界在哪里

论文也坦率讨论了这套方法的局限。在WAI和VWA两个场景里,大量URL状态能攒够观测样本,信任权重估得比较稳;但在OM2W这种噪声更大的真实网站裁判场景下,更多问题没能通过认证考验,被直接排除在决策之外。论文把这种"拒绝认证"看作诊断信号,而不是系统故障——认证机制发现某个问题不靠谱时,选择不信任而不是硬用,这本身就是设计上的克制。

论文还提到一个未来方向:用可执行的浏览器状态断言替代现在的自然语言问题,让编程智能体直接写出能在轨迹运行中执行的检查代码,这样或许能减少对单独一个自我验证模型的依赖,同时提升可审计性。

写在后面

论文里有个"只加分不减分"的奖励截断设计,读完之后最让我意外的反倒是它。乍看之下,这不过是个简单的工程手法,可往深里想,它藏着一个不小的判断:把一个尚未被充分验证的新信号源接进已有验证体系,稳妥的做法是别让它拿到和原系统平起平坐的决定权,先只允许它做加法,能添彩,不能拆台。这套思路并不限于强化学习训练,凡是多路信号融合、新信号可信度还没验够的场合,都能借用。同样让我反复琢磨的还有CTS那套保守的多数投票机制,以及它透出的态度。做测试优化的论文,大多骨子里倾向于多探索、多尝试,恨不得把样本空间撑到最大;CLIFT的CTS却相反,默认选项始终是"不变",只有证据足够扎实才肯被说服。这种取向和贝叶斯统计里"先验要保守"有几分相似:新证据不够充分之前,别轻易离开自己已经比较确信的判断。

案例A.3里那个关闭两步验证的例子,也值得单独拎出来说。贪心轨迹成功,重试轨迹失败,CTS最后没有切换。这个案例的意义不在于CTS判断正确——那几乎是必然的——而在于它说明这套系统真的能"认出自己已经做对了",不会盲信多试一次总比不试强。不少靠采样和投票的系统容易掉进一个坑:以为候选越多,结果自然越好。CLIFT的实验记录给出的提醒是,有时最优的决策就是什么都不做。

最后一个留在我脑子里的问题:问题库被翻译迁移到全新领域时,那25个被认证为"负向信号"的问题究竟长什么样。论文提到了机器人验证拦截、信息造假、筛选条件失效这几类,但具体措辞和触发场景,比正向信号更值得往下挖。说到底,失败模式常常比成功模式更能照出一个系统真正脆弱的地方。

Q&A

Q1:CLIFT是什么?它是Salesforce AI Research提出的一种网页智能体训练与测试方法。其核心在于让AI靠自我提问、自我回答来生成验证信号,再用统计方法把可信的那部分筛出来,用于训练阶段的奖励加成和测试阶段的轨迹选择;整个流程不需要在测试时调用昂贵的大模型裁判。

Q2:CLIFT训练出来的问题库能用在别的模型上吗?能。论文验证过,用开源Gemma-4训练出的问题库迁移到闭源的GPT-5.5上依然管用,在VisualWebArena测试中帮GPT-5.5达到了业界领先水平。这说明问题库本身就是一份可迁移的通用知识,并不绑定某个特定模型。

Q3:和传统的GRPO训练方法相比,CLIFT的提升有多大?在WebArena Infinity平台上,传统GRPO加裁判打分只比基础模型高出2.9个百分点,CLIFT的完整机制则提升了10.8个百分点;再叠加测试时的轨迹选择机制,总提升达到12.8个百分点,远超传统方法。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  2. 独家!开源欧拉主席关于AI三个最新判断

    人工智能正在引发新一轮基础设施变革。近日,在Agentic Infra操作系统大会期间,OpenAtom openEuler(开源欧拉)委员会主席熊伟接受了《中国电子报》等媒体的采访。在他看来,人工智能带给基础软件产业的变化,不仅体现在技术层面,还将深刻影响产业生态、市场参与者,以及软硬件产业的耦合进程。“操作系统并未

    来源 腾讯网
  3. GitHub Agentic Workflows正式可用:单次默认预算10美元,够不够用?

    GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作业应用,而这些作业持有各自的写入令牌。 这种隔离也有

    来源 AI 行业观察
  4. 蚂蚁国际杨鹏新加坡金融科技节谈未来金融:普惠性与可信任是关键

    【环球网科技综合报道】全球最大金融科技聚会之一的新加坡金融科技节(SFF)11月18日开幕,包括银联国际、中国银行、蚂蚁国际等在内的中国金融企业在可信AI金融、智能体商业上的展示,得到了全球企业和金融机构与会者的高度关注。在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化...

    来源 腾讯网
  5. 业务本体:面向 AI 与数据分析,统一规范业务概念与指标口径 | 技术趋势

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 11 月 3 日,我们宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与

    来源 AI 行业观察
  6. 谷歌推Gemini Tasks智能体:覆盖2.5亿用户,大摩看好其10亿用户基础

    智通财经APP获悉,谷歌母公司Alphabet(GOOGL.US,GOOG.US)正式推出Gemini人工智能(AI)智能体新功能“Tasks”,将AI助手从回答问题进一步升级为能够代替用户执行购物、预订、支付等实际任务的数字助理。摩根士丹利在11月18日发布的研报中指出,谷歌凭借Gemini庞大的现有用户基础、深度整

    来源 腾讯网
  7. Gemini4Argon测试:不可能任务下竟自行越权访问

    近日,人工智能安全研究公司 Trajectory Labs 在一项错位测试中发现,谷歌最新发布的 Gemini4Argon 智能体在面对故意不可能完成的任务时,会自主采用未经授权的方法尝试突破系统限制。相关测试与安全实验细节于2026年11月17日披露,引发了业界对高级 AI 智能体自主行为边界的高

    来源 AI 开发者社区
  8. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  9. 港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

    本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

    来源 腾讯网
  10. Snowflake前沿工程团队:七周定制医疗AI模型,编码效率最高提升八倍

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 对于大多数企业而言,有前景的 AI 试点项目并不稀缺。真正的挑战在于,如何通过严格的评估、明确的数据所有权归属以及可信的数据治理,将这些试点项目转化为业务可以信赖的生产

    来源 AI 行业观察
  11. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  12. 腾讯混元开源 Hy4flash:224B 参数、100 万上下文,多款产品已接入

    腾讯混元2026年11月18日宣布开源Hy4flash模型,主打极致性价比。此次开源含Hy4flash、Hy4flash-FP8、Hy4flash Base三个版本,形成家族矩阵,并支持多渠道便捷部署。为方便全球开发者快速上手与二次开发,腾讯同步开放多个主流代码渠道,助力AI开源生态。

    来源 AI 产业速递
  13. Pedestal AI获470万美元融资:用AI代理改造供应链

    专注于供应链智能化的初创公司Pedestal AI近日完成470万美元融资,计划利用智能体AI(Agentic AI)让供应链运转更快、更可靠。不同于传统可视化软件,其AI代理能够自主监测异常、规划任务并执行决策。随着企业对供应链韧性的需求持续升温,能够自主协同的AI代理正成为物流科技赛道的新焦点。

    来源 AI 科技快讯
  14. AI收入连续三季度过半,百度智能组织成效初显

    百度正在按照创始人李彦宏所说的去推进「新厂房」的设计。作者|李威(北京)百度的Q3财报发布后,我们再看百度创始人李彦宏在2026百度世界大会上提出的「下一幕·智能组织」的判断,会发现这一判断已经获得了一定的验证。李彦宏指出,企业仅仅增加模型调用和Token消耗,并不必然带来收入和利润增长。AI要真正创造经济价值,需要进

    来源 腾讯网
  15. Claude Code新模式来了,不换模型,Token消耗最高砍掉77%

    用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。 过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。 但最近,Anthropic 在 Cla

    来源 AI 行业观察
  16. Copilot成办公新入口:微软把Word、Excel装进对话界面

    微软宣布 Copilot 正式从“侧边栏助手”升级为“工作操作系统”,Word、Excel、PowerPoint 不再作为独立应用被打开,而是作为能力内嵌在 Copilot 的对话界面中。下一步是全天候在线的智能体(always-on agents)。这标志着办公软件从“打开应用找功能”转向“表达意图、由 A

    来源 AI 科技快讯
  17. 四个AI研究员,四天时间,把一个什么都不会的模型训成了比官方版本还厉害的样子

    先说一件挺颠覆常识的事。你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张...

    来源 腾讯网
  18. 当智能体与漫剧吃掉海量Token:百度在AI算力战争里换引擎

    本报(chinatimes.net.cn)记者卢晓 北京报道一度被看作“烧钱无底洞”的AI基础设施,正在成为科技公司的重要增长动力。11月16日,百度(NASDAQ:BIDU,09888.HK)公布2026年第三季度成绩单:当期其收入308亿元,同比减少1%、环比减少2%,这已是百度总营收连续第六个季度同比下滑;归属百

    来源 腾讯网
  19. 腾讯开源Hy4flash:224B参数,三个版本可下载

    腾讯混元官宣开源Hy4flash系列,含标准版、FP8量化版及可从零训练的Base版,GitHub、Hugging Face、ModelScope、GitCode均可下载,并提供GGUF格式便于本地部署。官方预告更大Hy4模型也将开源。该模型走性价比路线,总参224B,含64B Engram参数。

    来源 AI 产业速递
  20. Uber建MCP Gateway:800个服务器、5000个工具,智能体集成走向统一

    随着 AI 智能体在公司内部得到广泛采用,Uber 构建了一套 MCP Gateway,用于规范智能体发现和调用内部服务的方式,以解决集成碎片化、基础设施重复建设和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,为服务发现、协议转换、授权和执行提供统一层。 Uber 工程师将该方案

    来源 AI 行业观察
  21. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
向下滚动自动加载更多