谷歌AI智能体自改Harness:SWE-bench Lite成功率5.0%升至40.0%
谷歌通过让 AI 智能体自主优化自身运行框架,仅单模块代码调整即可大幅提升任务完成率,同时兼顾 Token 消耗效率,不过该方法仍存在一定应用局限性。#谷歌AI技术#
11月20日消息,谷歌研究人员于当地时间11月17日发表论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)。论文显示,让AI智能体逐步修改自身运行框架、并对每一次修改加以验证,软件工程任务的完成率能明显提升。
在 SWE-bench Lite 的一项测试里,采用模块化优化方案的智能体任务成功率由 5.0% 升至 40.0%,相当于原来的 8 倍,平均每项任务消耗约 4.67 万 Token。

研究聚焦的是 AI 智能体的 Harness。它不是底层 AI 模型本身,而是围绕模型搭建的运行框架:管理上下文和记忆、控制多轮任务的执行、调用外部工具,还要在任务收尾前核验执行结果。
研究人员提到,模型不同,在工具使用和任务执行中暴露的弱点也可能差别明显。为某个模型调好的 Harness 换到别的模型上,可能出现任务卡住、Token 消耗过高或者执行效果变差的情况。
针对这一点,团队提出了一套可自我改进的 Harness 架构。常见做法是改提示词来约束智能体,这套方案不同——它让优化模型直接动手改 Harness 的代码,改完再靠测试决定留不留。
实验中使用的初始编程智能体 Harness 只有 142 行代码,被拆成 4 个可编辑模块,分管上下文与状态管理、智能体控制、工具调用接口,以及验证与故障恢复。
每一轮优化,系统只准改动其中 1 个模块。优化模型先翻看智能体的执行记录找出问题,提出代码修改方案,再用验证集检查效果,整个过程还受 Token 使用上限的约束。验证通过的修改才会留下,不达标的方案直接丢掉。
核心测试里,执行任务的基础模型用的是 Gemini 3.8 Flash,评估在 SWE-bench Lite 的 40 道软件工程任务上进行,这些任务均未参与优化。
结果是:初始 Harness 的任务成功率为 5.0%;引入模块化修改和验证机制后,成功率升到 40.0%,平均每项任务消耗约 4.67 万 Token。
对照实验中,若让优化模型不受限制地整体重写 Harness,任务成功率能到 42.5%,比模块化方案略高,但平均每项任务要烧掉约 45.16 万 Token,接近模块化方案的 10 倍。
另一项实验只改提示词规则文件来约束智能体,任务成功率反而从初始的 5.0% 掉到 2.5%。
研究还看了优化后的 Harness 迁到其他模型上的表现。不做新一轮优化搜索,模块化方案迁到 Gemini 4 Argon 后任务成功率为 37.5%,整体重写方案则是 30.0%。
研究人员认为,Harness 的自我改进不能只靠提示词,关键约束应该落到实际代码里。比如用自动测试检查任务执行结果、识别重复失败、阻止未经验证的任务结束,智能体完成复杂任务时会更可靠。
论文也提醒,让智能体修改自身运行代码会带来新风险:提示词内容越堆越多、针对基准测试过度优化、篡改评估程序等。所以代码修改得受验证机制和权限边界约束。
需要说明的是,这项研究主要围绕特定模型和 SWE-bench Lite 软件工程任务展开,核心测试集只有 40 道未参与优化的任务,还不足以证明该方法在所有模型和智能体应用场景中都能取得同样效果。