AI智能体评测新框架RES:任务不变,环境逐轮加码
你有没有想过,为什么现在很多AI模型跑分越来越高,但真正用起来的时候,还是会在一些意想不到的地方翻车?这背后藏着一个很尴尬的事实。我们评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种)的方式,其实一直在偷懒。研究者想让测试变难,通常的做法就是多造几个任务,多编几条轨...
不少AI模型跑分一路走高,可真用起来,还是会在一些想不到的地方出岔子,这是为什么?
问题出在评测方式上。评测AI智能体(能自主执行任务的AI系统,比如帮你订机票、整理财务报表、修复代码bug的那种),研究者一直做得比较省事:想让测试变难,就多造几个任务、多编几条轨迹、多塞几个工具。听起来合理,可这么一来,测试到底在考验AI的什么能力,反而说不清楚了。任务变复杂,是因为逻辑更绕,还是因为可用的工具变多了,还是因为题干本身写得更刁钻了?这些因素全部搅在一起,谁也分不清谁的贡献。
拿考试打个比方:你本想知道某个学生的数学水平,可卷子发下来,一半是数学题,另一半塞的是语文阅读理解和体育测试,最后按总分算。成绩不理想,你根本分不清是数学没掌握,还是被语文拖了后腿。
来自电子科技大学、香港科技大学等多所高校团队的论文,提出了一个叫**
这里的“环境”,指的是AI智能体执行任务时能接触到的资源、信息获取路径、操作之间的依赖关系。说白了,就是“干活的那个世界长什么样”。
目标不变,玩法变了
先说清楚RES到底在干什么。
设想这样一个任务:把三份来源各异的财务记录归拢到一起,揪出账目对不上的地方,再写出一份对账报告。匹配交易、发现差异、产出报告,这三件事始终不变,任务的核心目标是定死的。
不过,在原始环境里,AI能直接读取三个CSV文件,三下五除二就能拿到所有数据。RES的做法是:保留“最终必须交出合格对账报告”这个硬性要求,同时悄悄把获取这些数据的路径变复杂。比如第一轮改造后,AI不能直接读文件了,得先做一次关联查询,再走一道导出准备流程,才能看到数据。第二轮改造在第一轮基础上继续叠加,加入归档、索引重建这些额外步骤。
这个过程是**
论文里有一个具体案例特别能说明问题。在
任务要求一个字都没变,AI却从几乎满分变成交白卷。
RES 要做的正是这件事:把“任务本身有多难”和“环境有多绕”拆成两件事来看。不拆会怎样?你就永远搞不清 AI 是栽在逻辑推理能力上,还是在弯弯绕绕的信息迷宫里转晕了。这两种失败对应的改进方向完全不同,混为一谈,方向就会跑偏。
谁来出题,谁来判卷
RES的运作机制,拆开看其实是三个角色在打配合。
第一个角色叫**
第二个角色是**构造执行**,把提议者画的蓝图真的落地,生成一个候选环境。
第三个角色是**
这个验证机制像什么?有点像你搬家之后,把贵重物品重新整理放进了新柜子,贴上了新标签。如果随便一塞就算完事,那半年后你自己可能都找不到东西放哪了。
候选环境只有过了验证这一关,才会被正式接纳为下一轮的“父环境”,在此基础上继续叠加改造。整个过程最多走十轮,每一轮的改动都会留下记录,原始环境和最后一轮被接纳的环境,都会单独交给评测模型打分。
六个模型,全军覆没
光讲原理有点空,直接看数据更有冲击力。
研究团队用这套RES框架,在三个基准测试(
结果是,十八组“模型-基准”对比,全部出现成功率下降,一个没落下。
在
| 模型 | 基准(Claw-Eval-Live) | 原始环境 | 改造后环境 | 降幅---|---|---|---|---|---DeepSeek-V4.1-Flash | Claw-Eval-Live | 82.86% | **5.71%** | —GPT-5.6 Sol | Claw-Eval-Live | 85.71% | 26.67% | —Claude Opus 5 | Claw-Eval-Live | 86.67% | 28.57% | —
|
六个模型一个不落,全栽了跟头,降幅也没扎堆在某一款身上。这说明问题不在单个模型的短板上。RES 找到的是一类共性弱点——所有当前 AI 智能体都容易卡住的地方:信息获取的路径被搞复杂了。
拿改造过的环境练出来的 AI,反而更能打。
要是 RES 只干一件事,就是把评测变残酷,那它顶多算个“找茬”工具。论文没停在这一步,还往下走了一截:把 RES 生成的训练数据拿去微调模型,看看到底管不管用。
研究团队挑了一组模型做对照。一组喂原始环境里收集的轨迹数据,另一组只喂 RES 改造环境里的轨迹数据。两边样本数量一模一样,优化参数也完全一致,变动的只有训练数据来自哪个环境。
九组“模型-基准”对比打下来,用 RES 数据训练的模型全赢了,领先幅度落在 7 到 14.61 个百分点之间。最夸张的是 35B-A3B 模型在 Terminal-Bench 2.1 上的表现,从 23.60% 直接蹦到 38.20%,一口气提了 14.61 个点。
乍一看这结果有点反直觉。原始环境更简单,按说 AI 更容易学会“怎么把这条简单路径走得漂漂亮亮”,怎么练难的反而更厉害?
道理大概跟健身房差不多。天天举 5 公斤的哑铃,动作会越做越标准,可肌肉力量不会有质的飞跃。真让人变强的是那种得咬牙才举得起来的重量,稍微超出舒适区一点。RES 改造出来的环境,给的正是这种“稍微超出舒适区”的训练信号,逼着模型在复杂的信息链条里一步步排查、关联、验证,学会耐着性子走,而不是靠捷径式的记忆匹配。只拿原始环境的轨迹训练,AI 学到的更像一套表面的任务套路;环境稍微绕一点,这套路子立马失灵。
哪个零件最关键?
论文还拆了一组实验,专门看 RES 里哪个设计环节才是真正把难度拉起来的,哪个只是摆着好看。
第一个实验把“依赖关系”单独拎出来看。研究者把改造后环境里那些跨操作的引用关系、前置准备步骤统统清掉,只留事实数据和改动历史记录。结果任务通过率从 0% 直接蹿回 100%,平均得分从 7.73 分涨到 92.93 分,平均对话轮次从 50 轮(封顶)跌到 19.1 轮。
这说明让 AI 头疼的根本不是“信息变多了”,而是“信息之间互相缠绕的先后顺序变复杂了”。单纯堆信息,AI 扛得住;环环相扣、必须先做 A 才能解锁 B 的依赖链条,才是真正的杀手锏。
第二个实验检验“递归继承”这个设计有没有必要。研究者设了对照组:一组按部就班地递归叠加改造,每一轮都在上一轮基础上继续改;另一组每次都从最原始的环境出发,独立做改造,改造次数总量对齐。结果递归组通过率只有 6.7%,独立组高达 93.3%,差距悬殊。光零散地往环境里加复杂度不够用,真正让难度发生质变的,是这些复杂度能不能层层叠加、彼此勾连。
好比收拾房间。每天从头开始随便扔几件杂物进去,房间会乱,但乱的程度是线性增长的。可要是每天的杂物都刻意堆在前一天杂物上面,还故意让新杂物挡住旧杂物的出口,找东西的难度就呈指数级往上蹿。递归继承干的是后者:每次改造都踩在前一次改造的肩膀上,难度不是简单相加,而是复合叠加。
第三个实验比的是改造工具箱的丰富程度。精简工具箱只有 6 种基础改造手段,完整工具箱有 17 种,结果精简版通过率 80%,完整版只有 6.7%。手段越丰富,提议者能组合出的刁钻路径就越多,这倒也符合直觉。
递归深度:越深越难,但不是无限变难。
论文还专门测了一件事:递归轮次(论文里叫“深度”)往上加,难度是不是一直线性往下掉?
数据摆出来是这样:原始环境(深度 0)通过率 82.9%,一轮改造后(深度 1)掉到 60%,两轮后(深度 2)骤降到 17.1%,三轮后 7.6%,五轮后 3.8%,十轮后反而略微回升到 4.8%。
这条曲线挺有意思。前两三轮跌得最猛,后面趋于平缓,甚至有轻微波动。难度的提升存在边际效应,不是改得越多就越无限难;到了某个深度,环境本身的复杂度已经把 AI 逼到能力天花板附近,再往上加,边际收益就不明显了。交互成本也跟着水涨船高:平均对话轮次从 3.6 轮涨到 43.2 轮,工具调用次数从 8 次涨到 206 次,消耗的 token 量从 1.37 万涨到 262 万,涨了接近 200 倍。
把环境改一遍,要花多少代价?
这套系统真跑起来贵不贵?论文里给了数。
在Claw-Eval-Live上,RES从105个种子任务起步,最终产出了289个被接纳的子环境。92%的子环境靠1到2次外层提议者调用就能搞定,平均下来每个子环境用掉1.45次调用、8.92万token、112.6秒。整个扩展流程累计消耗9.04小时提议者执行时间和2578万token。
跟请人从头写一套同等难度的新基准相比,这个开销明显低不少。不必重新设计任务和评分标准,只要拿社区已经认可的现成基准做底子,让AI自己去“加戏”;每一次加戏还得过重放验证这一关,编是编不过去的。
写在后面
读论文时最让我意外的是那个171次工具调用对3次的例子。任务一样,模型也一样,只是拿信息的路径多绕了几道弯,成绩就从接近满分掉到交白卷。AI没变笨,问题出在原来的评测太宽容——一直拿“信息随手可得”的理想环境去考它。可现实里的信息,往往散落在不同系统、不同权限、不同格式转换之后的角落里。
另一点也值得想:用更难的环境训出来的模型,回到原始环境反而表现更好。这大致说明一个老道理——见过复杂场面的人,回头处理简单问题会更从容。论文没有解决的问题是,这种递归式改造会不会在某个深度之后偏离现实世界的真实复杂度分布,沦为“为难而难”的人造陷阱?现实中的信息迷宫固然复杂,但总归有逻辑可循,不是故意设计出来刁难人的。
如果AI将来真能在RES搭出的高难度环境里游刃有余,它面对的会不会仍然只是“人造的复杂”,而非“真实世界的复杂”?这条界线,或许是下一步要回答的问题。
Q&A
Q1:RES递归环境扩展是什么?
A:RES是一套把AI智能体评测基准变难的办法。任务的核心目标和完成条件它不动,动的是环境里信息获取的路径、资源之间的关联方式、操作的先后顺序;靠提议、构造、验证三个环节递归叠加改动,让现有基准测试更具挑战性。
Q2:RES改造后的环境真会让AI表现差很多吗?
A:会。论文在六个主流模型、三个基准测试上做了测试,十八组对比的成功率无一例外下降。DeepSeek-V4.1-Flash在Claw-Eval-Live上的任务完成率从82.86%掉到5.71%,降了超过77个百分点。
Q3:用RES生成的数据训练AI模型有用吗?
A:有用。研究团队拿RES改造环境里收集的轨迹数据做微调