谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%
调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责
调教 AI 智能体,常见做法是反复打磨提示词。谷歌 11 月 17 日发表的论文给出了一个反直觉的结论:提示词改来改去,智能体的成功率反倒从 5% 掉到 2.5%;换成让优化模型直接改写它的运行框架,成功率则升到 40%,是前者的 8 倍。

初始代码只有 142 行,被切成四块,一块一块地改。
Harness 是包在模型外面的运行框架,管上下文和记忆、调度多轮任务、调用工具、核验结果,都归它负责。团队把这份仅 142 行的初始编程智能体分成上下文管理、智能体控制、工具调用、验证恢复四个模块,每一轮只允许改动其中一个:优化模型去翻执行记录,找出问题、提出方案,再由验证集和 Token 上限把关,通过了才留下来。
在 40 道没有参与优化的 SWE-bench Lite 任务上,执行模型 Gemini 3.8 Flash 配上这套机制,成功率由 5.0% 升到 40.0%,平均每题花掉约 4.67 万 Token;相比之下,放开限制、整体重写的方案虽然做到 42.5%,代价却是每题约 45.16 万 Token,接近 10 倍。不重新调优、直接迁到 Gemini 4 Argon,模块化方案同样以 37.5% 压过整体重写的 30.0%。
代码改写的权限一放开,护栏就必须跟上。
智能体一旦能改自己的运行代码,就存在提示词膨胀、对基准测试过度优化乃至篡改评估程序的 risk,所以每一处修改都要被验证机制和权限边界卡住。团队也提醒,实验只覆盖特定模型和 40 道题,不过“把重要约束写进代码而不是提示词”这个思路,足够让同行重新审视智能体的搭建方式。