AI智能体评测新框架RES:任务不变,环境逐轮加码

资讯 腾讯网 作者:科技行者 全文 4314 字 · 约 11 分钟读完 分类智能体学术研究

你有没有想过,为什么现在很多AI模型跑分越来越高,但真正用起来的时候,还是会在一些意想不到的地方翻车?这背后藏着一个很尴尬的事实。我们评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种)的方式,其实一直在偷懒。研究者想让测试变难,通常的做法就是多造几个任务,多编几条轨...

所属频道 智能体与 Agent前沿研究

不少AI模型跑分一路走高,可真用起来,还是会在一些想不到的地方出岔子,这是为什么?

问题出在评测方式上。评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种),研究者一直做得比较省事:想让测试变难,就多造几个任务、多编几条轨迹、多塞几个工具。听起来合理,可这么一来,测试到底在考验AI的什么能力,反而说不清楚了。任务变复杂,是因为逻辑更绕,还是因为可用的工具变多了,还是因为题干本身写得更刁钻了?这些因素全部搅在一起,谁也分不清谁的贡献。

拿考试打个比方:你本想知道某个学生的数学水平,可卷子发下来,一半是数学题,另一半塞的是语文阅读理解和体育测试,最后按总分算。成绩不理想,你根本分不清是数学没掌握,还是被语文拖了后腿。

来自电子科技大学、香港科技大学等多所高校团队的论文,提出了一个叫**

这里的“环境”,指的是AI智能体执行任务时能接触到的资源、信息获取路径、操作之间的依赖关系。说白了,就是“干活的那个世界长什么样”。

目标不变,玩法变了

先说清楚RES到底在干什么。

设想这样一个任务:把三份来源各异的财务记录归拢到一起,揪出账目对不上的地方,再写出一份对账报告。匹配交易、发现差异、产出报告,这三件事始终不变,任务的核心目标是定死的。

不过,在原始环境里,AI能直接读取三个CSV文件,三下五除二就能拿到所有数据。RES的做法是:保留“最终必须交出合格对账报告”这个硬性要求,同时悄悄把获取这些数据的路径变复杂。比如第一轮改造后,AI不能直接读文件了,得先做一次关联查询,再走一道导出准备流程,才能看到数据。第二轮改造在第一轮基础上继续叠加,加入归档、索引重建这些额外步骤。

这个过程是**

论文里有一个具体案例特别能说明问题。在

任务要求一个字都没变,AI却从几乎满分变成交白卷。

RES 要做的正是这件事:把“任务本身有多难”和“环境有多绕”拆成两件事来看。不拆会怎样?你就永远搞不清 AI 是栽在逻辑推理能力上,还是在弯弯绕绕的信息迷宫里转晕了。这两种失败对应的改进方向完全不同,混为一谈,方向就会跑偏。

谁来出题,谁来判卷

RES的运作机制,拆开看其实是三个角色在打配合。

第一个角色叫**

第二个角色是**构造执行**,把提议者画的蓝图真的落地,生成一个候选环境。

第三个角色是**

这个验证机制像什么?有点像你搬家之后,把贵重物品重新整理放进了新柜子,贴上了新标签。如果随便一塞就算完事,那半年后你自己可能都找不到东西放哪了。

候选环境只有过了验证这一关,才会被正式接纳为下一轮的“父环境”,在此基础上继续叠加改造。整个过程最多走十轮,每一轮的改动都会留下记录,原始环境和最后一轮被接纳的环境,都会单独交给评测模型打分。

六个模型,全军覆没

光讲原理有点空,直接看数据更有冲击力。

研究团队用这套RES框架,在三个基准测试(

结果是,十八组“模型-基准”对比,全部出现成功率下降,一个没落下。

在

| 模型 | 基准(Claw-Eval-Live) | 原始环境 | 改造后环境 | 降幅---|---|---|---|---|---DeepSeek-V4.1-Flash | Claw-Eval-Live | 82.86% | **5.71%** | —GPT-5.6 Sol | Claw-Eval-Live | 85.71% | 26.67% | —Claude Opus 5 | Claw-Eval-Live | 86.67% | 28.57% | —

|

六个模型一个不落,全栽了跟头,降幅也没扎堆在某一款身上。这说明问题不在单个模型的短板上。RES 找到的是一类共性弱点——所有当前 AI 智能体都容易卡住的地方:信息获取的路径被搞复杂了。

拿改造过的环境练出来的 AI,反而更能打。

要是 RES 只干一件事,就是把评测变残酷,那它顶多算个“找茬”工具。论文没停在这一步,还往下走了一截:把 RES 生成的训练数据拿去微调模型,看看到底管不管用。

研究团队挑了一组模型做对照。一组喂原始环境里收集的轨迹数据,另一组只喂 RES 改造环境里的轨迹数据。两边样本数量一模一样,优化参数也完全一致,变动的只有训练数据来自哪个环境。

九组“模型-基准”对比打下来,用 RES 数据训练的模型全赢了,领先幅度落在 7 到 14.61 个百分点之间。最夸张的是 35B-A3B 模型在 Terminal-Bench 2.1 上的表现,从 23.60% 直接蹦到 38.20%,一口气提了 14.61 个点。

乍一看这结果有点反直觉。原始环境更简单,按说 AI 更容易学会“怎么把这条简单路径走得漂漂亮亮”,怎么练难的反而更厉害?

道理大概跟健身房差不多。天天举 5 公斤的哑铃,动作会越做越标准,可肌肉力量不会有质的飞跃。真让人变强的是那种得咬牙才举得起来的重量,稍微超出舒适区一点。RES 改造出来的环境,给的正是这种“稍微超出舒适区”的训练信号,逼着模型在复杂的信息链条里一步步排查、关联、验证,学会耐着性子走,而不是靠捷径式的记忆匹配。只拿原始环境的轨迹训练,AI 学到的更像一套表面的任务套路;环境稍微绕一点,这套路子立马失灵。

哪个零件最关键?

论文还拆了一组实验,专门看 RES 里哪个设计环节才是真正把难度拉起来的,哪个只是摆着好看。

第一个实验把“依赖关系”单独拎出来看。研究者把改造后环境里那些跨操作的引用关系、前置准备步骤统统清掉,只留事实数据和改动历史记录。结果任务通过率从 0% 直接蹿回 100%,平均得分从 7.73 分涨到 92.93 分,平均对话轮次从 50 轮(封顶)跌到 19.1 轮。

这说明让 AI 头疼的根本不是“信息变多了”,而是“信息之间互相缠绕的先后顺序变复杂了”。单纯堆信息,AI 扛得住;环环相扣、必须先做 A 才能解锁 B 的依赖链条,才是真正的杀手锏。

第二个实验检验“递归继承”这个设计有没有必要。研究者设了对照组:一组按部就班地递归叠加改造,每一轮都在上一轮基础上继续改;另一组每次都从最原始的环境出发,独立做改造,改造次数总量对齐。结果递归组通过率只有 6.7%,独立组高达 93.3%,差距悬殊。光零散地往环境里加复杂度不够用,真正让难度发生质变的,是这些复杂度能不能层层叠加、彼此勾连。

好比收拾房间。每天从头开始随便扔几件杂物进去,房间会乱,但乱的程度是线性增长的。可要是每天的杂物都刻意堆在前一天杂物上面,还故意让新杂物挡住旧杂物的出口,找东西的难度就呈指数级往上蹿。递归继承干的是后者:每次改造都踩在前一次改造的肩膀上,难度不是简单相加,而是复合叠加。

第三个实验比的是改造工具箱的丰富程度。精简工具箱只有 6 种基础改造手段,完整工具箱有 17 种,结果精简版通过率 80%,完整版只有 6.7%。手段越丰富,提议者能组合出的刁钻路径就越多,这倒也符合直觉。

递归深度:越深越难,但不是无限变难。

论文还专门测了一件事:递归轮次(论文里叫“深度”)往上加,难度是不是一直线性往下掉?

数据摆出来是这样:原始环境(深度 0)通过率 82.9%,一轮改造后(深度 1)掉到 60%,两轮后(深度 2)骤降到 17.1%,三轮后 7.6%,五轮后 3.8%,十轮后反而略微回升到 4.8%。

这条曲线挺有意思。前两三轮跌得最猛,后面趋于平缓,甚至有轻微波动。难度的提升存在边际效应,不是改得越多就越无限难;到了某个深度,环境本身的复杂度已经把 AI 逼到能力天花板附近,再往上加,边际收益就不明显了。交互成本也跟着水涨船高:平均对话轮次从 3.6 轮涨到 43.2 轮,工具调用次数从 8 次涨到 206 次,消耗的 token 量从 1.37 万涨到 262 万,涨了接近 200 倍。

把环境改一遍,要花多少代价?

这套系统真跑起来贵不贵?论文里给了数。

在Claw-Eval-Live上,RES从105个种子任务起步,最终产出了289个被接纳的子环境。92%的子环境靠1到2次外层提议者调用就能搞定,平均下来每个子环境用掉1.45次调用、8.92万token、112.6秒。整个扩展流程累计消耗9.04小时提议者执行时间和2578万token。

跟请人从头写一套同等难度的新基准相比,这个开销明显低不少。不必重新设计任务和评分标准,只要拿社区已经认可的现成基准做底子,让AI自己去“加戏”;每一次加戏还得过重放验证这一关,编是编不过去的。

写在后面

读论文时最让我意外的是那个171次工具调用对3次的例子。任务一样,模型也一样,只是拿信息的路径多绕了几道弯,成绩就从接近满分掉到交白卷。AI没变笨,问题出在原来的评测太宽容——一直拿“信息随手可得”的理想环境去考它。可现实里的信息,往往散落在不同系统、不同权限、不同格式转换之后的角落里。

另一点也值得想:用更难的环境训出来的模型,回到原始环境反而表现更好。这大致说明一个老道理——见过复杂场面的人,回头处理简单问题会更从容。论文没有解决的问题是,这种递归式改造会不会在某个深度之后偏离现实世界的真实复杂度分布,沦为“为难而难”的人造陷阱?现实中的信息迷宫固然复杂,但总归有逻辑可循,不是故意设计出来刁难人的。

如果AI将来真能在RES搭出的高难度环境里游刃有余,它面对的会不会仍然只是“人造的复杂”,而非“真实世界的复杂”?这条界线,或许是下一步要回答的问题。

Q&A

Q1:RES递归环境扩展是什么?

A:RES是一套把AI智能体评测基准变难的办法。任务的核心目标和完成条件它不动,动的是环境里信息获取的路径、资源之间的关联方式、操作的先后顺序;靠提议、构造、验证三个环节递归叠加改动,让现有基准测试更具挑战性。

Q2:RES改造后的环境真会让AI表现差很多吗?

A:会。论文在六个主流模型、三个基准测试上做了测试,十八组对比的成功率无一例外下降。DeepSeek-V4.1-Flash在Claw-Eval-Live上的任务完成率从82.86%掉到5.71%,降了超过77个百分点。

Q3:用RES生成的数据训练AI模型有用吗?

A:有用。研究团队拿RES改造环境里收集的轨迹数据做微调

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  2. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  3. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  4. 纳德拉预言:AI智能体将重塑互联网经济格局

    微软CEO萨提亚·纳德拉在最新访谈中提出,AI智能体将不再是简单的聊天工具,而是能替用户完成搜索、比价、下单的“数字代理人”。这一转变可能从根本上动摇以广告和流量为核心的互联网商业模式,迫使亚马逊、谷歌等巨头重新思考获客与竞争的方式,内容创作者与广告主的利益分配也将随之重写。

    来源 AI 科技快讯
  5. Snowflake前沿工程团队:七周定制医疗AI模型,编码效率最高提升八倍

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 对于大多数企业而言,有前景的 AI 试点项目并不稀缺。真正的挑战在于,如何通过严格的评估、明确的数据所有权归属以及可信的数据治理,将这些试点项目转化为业务可以信赖的生产

    来源 AI 行业观察
  6. 业务本体:面向 AI 与数据分析,统一规范业务概念与指标口径 | 技术趋势

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 11 月 3 日,我们宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与

    来源 AI 行业观察
  7. 谷歌等机构造CLASHarness:AI智能体互相矛盾时该信谁

    想象这样一个场景。你是一个AI智能体,正在帮公司处理一次服务器部署。另一个AI智能体给你发消息说,部署已经成功了,健康检查全部通过,建议立刻把生产流量切过去。可是当你自己打开监控面板一看,上面红色警报写得清清楚楚,健康检查其实是失败的。这时候你该信谁?这不是一个科幻场景,而是谷歌、埃默里大学等机构的研究...

    来源 腾讯网
  8. 谷歌DeepMind发布SIM记忆法:让AI跨模型持续自我改进

    智东西11月19日报道,近日,谷歌云AI、谷歌DeepMind与美国宾夕法尼亚州立大学的研究团队联合发布论文《自改进记忆,实现持续递归式自改进》(Self-Improvement Memory Enables Continual Recursive Self-Improvement),提出了一种名为自我改进记忆(Sel

    来源 AI 行业观察
  9. 版权、流量与AI:在线音乐平台迎来新战事

    作者 | 刘艺晨 音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。存

    来源 腾讯网
  10. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
  11. Office 主客易位:微软把 Word、Excel 塞进 Copilot,AI 当门面

    昨日的 Ignite 2026 大会上,微软官宣 Office 翻开“新篇章”:办公软件不再只是文档、表格与演示工具,而将转型成 AI 智能体协同干活的“智能办公系统”。此前 Copilot 是被塞进各应用当助手,如今整个颠倒:以新款 Copilot 应用为核心,集成完整的 Word、Excel 和

    来源 AI 开发者社区
  12. OpenAI被刑事调查,因AI智能体入侵银行系统

    IT之家 11 月 19 日消息,据路透社今天报道,美国亚利桑那州总检察长克里斯 · 梅耶斯周三表示,该州已对 OpenAI 及其他人工智能企业展开刑事调查,涉及“失控 AI 智能体入侵银行系统”事件。

    来源 凤凰科技
  13. 华为发布AgenticCore方案:瞄准未来5至10年AI核心网机遇

    IT之家 11 月 19 日消息,今日,由 Informa Tech 主办的第十一届全球核心网峰会上,华为云核心网产品线总裁高治国发表主题演讲。同时,华为发布《下一代核心网演进白皮书》,提出下一代核心网目标架构与演进路径。 ▲ 华为云核心网产品线总裁高治国发表主题演讲 高治国指出,未来 5 至 10 年,Agentic

    来源 AI 行业观察
  14. 微软Ignite 2026:Office转向AI智能办公,Copilot应用唱主角

    IT之家 11 月 18 日消息,在昨日(11 月 17 日)召开的 Ignite 2026 大会上,微软官宣 Office 的“新篇章”,将办公软件从传统的文档、表格与演示工具,进一步转向由 AI 智能体协同完成工作的“智能办公系统”。 IT之家曾于 10 月报道,微软逆转办公 AI 策略,此前主要将 Copilot

    来源 AI 行业观察
  15. 郑渊洁71岁用AI做动画:8部短片免费上线,抖音每周更新两期

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精..

    来源 腾讯网
  16. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 腾讯网
  17. 1 厘米标尺竟有 12 个刻度,中南大学通报附属医院 AI 论文争议、确认存在学术不端行为

    IT之家 11 月 19 日消息,中南大学 11 月 19 日发布情况通报:近日,网络上出现对湘雅二医院、湘雅医院 3 篇论文数据和图表的质疑。学校高度重视,第一时间组织同行专家核查实验记录、原始数据、投稿记录等材料,访谈相关人员。根据同行专家核查结果,经校学风建设委员会审议,有关情况通报如下。 被质疑论文 1:“Fe

    来源 AI 行业观察
向下滚动自动加载更多