谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究
IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-
11月17日,谷歌研究人员发表了一篇新论文,题为《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)。论文显示,让 AI 智能体一步步改动自己的运行框架,再对每次改动做验证,软件工程任务的完成率能明显提升。IT之家 11 月 20 日消息。
在一项
研究盯的是 AI 智能体的 Harness,不是底层 AI 模型本身。这套东西围着模型搭建,管上下文和记忆、控制多轮任务的执行、调用外部工具,任务收尾前还要核验执行结果。
研究人员说,模型不一样,用工具的路子和执行任务时露出的短板也可能差得很远。所以,给某个模型调好的 Harness,换到别的模型上就可能卡住任务。
针对这个麻烦,研究人员拿出一套能自我改进的 Harness 架构。过去改 Harness 靠人工,这套架构走的是另一条路。
实验起点是一套只有 142 行代码的编程智能体 Harness,被切成四个可编辑模块:上下文与状态管理、智能体控制、工具调用接口、验证与故障恢复。
每轮优化只准动其中一个模块。优化模型先翻智能体的执行记录找问题,再给出代码修改方案,然后用验证集看改动效果,同时还要受约束。
核心测试里,研究人员用的是特定模型和验证集配置。
初始 Harness 的任务成功率是 5.0%。上了模块化修改加验证这套机制后,成功率升到 40.0%,平均每项任务消耗约 4.67 万。
对照组换了个做法:让优化模型不受限制地整体重写 Harness。任务成功率能到 42.5%,比模块化方案略高一点,但平均每项任务要烧掉约 45.16 万。
另一项实验只改了部分内容。IT之家注意到。
研究还看了优化后的 Harness 迁移到其他模型时的表现。不做新一轮优化搜索,模块化方案迁到其他模型后仍有相应效果。
研究人员的看法是,Harness 的自我改进不能只靠单一手段。
论文也提到,让智能体改自己的运行代码会带来新风险。
要注意的是,这项研究的实验主要围绕特定模型和相应配置展开。