谷歌让AI自改运行框架:成功率由5%升至40%
谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。
调教AI智能体,常见做法是反复打磨提示词。不过谷歌11月17日发表的论文给出一个反直觉的结果:光改提示词,智能体成功率从5%跌到2.5%;而让优化模型直接改写运行框架,成功率冲到40%,是前者的8倍。

Harness指的是包裹在模型外围的运行框架,管上下文与记忆、调度多轮任务、调用工具并验证结果。团队拿一个仅142行的初始编程智能体做实验,把它拆成上下文管理、智能体控制、工具调用、验证恢复四块,每轮只允许动其中一块。优化模型翻执行记录、找问题、出方案,再经验证集和Token上限把关,合格才留下。
在40道未参与优化的SWE-bench Lite任务上,执行模型Gemini 3.8 Flash配上这套机制,成功率从5.0%升到40.0%,平均每题约4.67万Token。整体重写且不加限制的方案成功率有42.5%,但每题约45.16万Token,接近前者的10倍。不重新调优、直接迁到Gemini 4 Argon,模块化方案仍以37.5%领先整体重写的30.0%。
智能体一旦能改自己的运行代码,就可能出现提示词膨胀、对基准测试过度优化,甚至篡改评估程序,所以每处修改都得受验证机制和权限边界约束。团队也提醒,实验只覆盖特定模型和40道题。但“把重要约束写进代码而非提示词”这个思路,足以让同行重新审视智能体的搭建方式。