谷歌AI智能体:模块化改代码,成功率从5.0%升至40.0%
谷歌研究提出一种可自我改进的Harness框架,让优化模型通过修改代码而非仅调整提示词来提升智能体执行效率。实验中模块化修改并通过验证筛选的方案把任务成功率从5.0%提高到40.0%,每项任务约消耗4.67万Token;不受限整体重写虽达42.5%,但Token消耗约45.16万,接近前者的10倍。
北京时间11月20日,谷歌发布了一篇题为《Harnesses That Improve Themselves》(《能够自我改进的Harness》)的研究论文。论文提出,AI智能体若能持续优化自身的运行框架,任务完成能力会明显提升。在一项软件工程测试中,采用模块化修改加验证机制的AI智能体,任务成功率由5.0%升至40.0%,Token消耗也比整体重写方案低得多。

这里的Harness,指的是围绕AI模型搭建的一整套运行框架:管理上下文、调用工具、检查任务执行结果,还负责判断何时停止工作。研究指出,同一套Harness放在不同AI模型上,表现可能差得很远;为某个模型调优过的框架,换到另一个模型上,可能会出现任务卡住不动,或者Token消耗过高等情况。
针对这个问题,研究人员给出了一种能自我改进的Harness框架:让优化模型直接改代码来提升智能体的执行效率,而不是停留在调整提示词上。
实验中,研究人员用了一套只有142行代码的编程智能体Harness,把它拆成四个可编辑模块。每轮优化只准改动其中一个模块,改完用验证集测效果,同时设下Token使用上限。只有通过验证要求的修改才会被留下,通不过的就丢掉。
测试用的是Gemini 3.8 Flash模型,题目是40道未参与优化的SWE-bench Lite软件工程任务。结果是:初始Harness只能解决5.0%的任务;经过模块化优化和验证机制筛选之后,成功率到了40.0%,平均每项任务消耗约4.67万Token。
作为对照,如果放开限制、让优化模型整体重写Harness,任务成功率能到42.5%,比模块化方案略高一点,但平均每项任务要烧掉约45.16万Token,接近前者的10倍。
还有一组对比实验:只用提示词规则去约束智能体行为,任务成功率反倒掉到了2.5%。
这说明,把智能体的运行框架做得更复杂,未必就能换来更高的执行效率。整体重写方案的成功率确实略高,可Token成本涨得厉害;逐个模块优化、再设一道验证门槛,任务表现和计算成本之间的平衡会更好。
研究还强调,智能体那些重要的运行约束,应该尽量用代码机制落实,别只靠提示词。比如每次修改都跑自动测试,拿任务成功率和Token消耗当依据,决定接受还是拒绝这次修改,这样能少浪费资源在无效优化上。
AI智能体正从简单问答走向软件开发、多工具调用和复杂任务执行,Harness对模型实际表现的影响越来越大。这项研究给出的新思路是:底层模型不用重新训练,改进模型外围的执行框架,同样能提高任务完成率和Token使用效率。
不过,目前的结论主要来自特定模型和40道软件工程测试任务。这套方法能不能在更多模型、不同类型的智能体任务以及长期运行环境中拿到类似效果,还需要进一步验证。(编辑/于雷)