Agent递归自我改进:不训练模型如何越用越强?
中科院自动化所与美团等机构联合发布综述,探讨LLM Agent如何在不更新模型权重的前提下,通过优化Prompt、记忆、技能和运行框架实现递归自我改进。文章梳理了“何时改、改哪里、怎么改”三个核心问题,并提出了包含收集、评估、诊断等七步的经验转化生命周期,为理解Agent从单次试错到持续进化的机制提供了清晰框架。
报错修好了,下次还会犯吗?
拿一个常见的开发场景来说:让编程 Agent 去调用某个 API,报错了,原因是接口参数最近更新、旧参数不再适用。几轮尝试之后,Agent 找到了新参数,任务跑通——故事到这儿通常就结束了。可做研究或做工程的人多半会追问:下一个任务它还会不会犯同样的错?这次修复能不能沉淀成一条规则、一段记忆或者一项技能?再碰上新的问题,过去的经验能否帮它更快定位原因、给出更有效的修改?


要是 Agent 每次都只能重新试错来解决问题,效率上限就被锁死在基础模型的推理能力上了。真正的突破点在于,它能否把“一次性”的成功或失败,转成“长期性”的能力提升。

这正是递归自我改进(Recursive Self-Improvement,简称 RSI)研究关注的核心。近日,中国科学院自动化研究所、美团联合山东大学、中国人民大学、中科院微电子所、上海交通大学、理想汽车等多家单位发布了一篇综述论文,题为《When, Where, and How Experience Becomes Structure: Mechanisms for Recursive Self-Improvement in LLM Agents》。论文没有堆砌晦涩的数学公式,而是想回答一个朴素的问题:模型权重不变的情况下,Agent 怎么像人一样靠积累经验变强?

不动权重,Agent 也能“长脑子”

以前说起 AI 进步,大家第一反应往往是“训练更大的模型”或者“微调参数”。这条路成本高、周期长,也很难实时跟上环境变化。RSI 走的是另一条路:假定底层大模型权重固定,Agent 的能力增长来自外部组件的更新。

Agent 干活时会留下大量痕迹——工具调用记录、执行结果、用户纠正、失败后的修复过程。这些不是用完就扔的垃圾数据,而是改进的原料。发现某条约束反复被违反,就写进 Prompt;发现用户经常更新某类信息,就存进 Memory;发现某套操作流程成功率高,就封装成 Skill;发现 Agent 总跳过必要的检查步骤,就调整 Harness(运行框架)里的校验逻辑。
“递归”在这里意味深长。它不只指 Agent 能拿经验改进自己,还指留下来的经验和组件可以参与后续修改的诊断、生成或筛选。上一次修复的记录,能帮系统定位下一次失败;已有的更新经验,能帮它挑出更有效的修改策略。研究目标也就从“让 Agent 完成任务”推进到了“让 Agent 更有效地改进自己”。
三个问题,厘清进化的关键节点
要把模糊的“经验”变成结构化的“能力”,论文提出三个相互关联的问题:When(什么时候改)、Where(改哪里)、How(怎么改)。
When:什么时候更新,什么时候保留?
触发更新的信号不少:任务失败、新信息到来、工具接口变化。但并非所有信号都值得动手。一次修改值不值得保留,要看它在后续任务里的表现——如果它解决了当前问题却让别的任务出错,那就该停用或再修订。这跟人学习是一个道理:不是每次犯错都要刻骨铭心,只有具备普遍意义的教训才值得进长期记忆。
Where:问题出在哪里,应该修改哪个组件?
同一次失败,根源可能各不相同。指令没说清楚?记忆里的信息过期了?操作步骤缺失?还是运行机制允许 Agent 偷懒跳过检查?改哪儿必须由执行证据说话。Prompt、Memory、Skill、Harness 这四类组件各司其职又协同工作。比如同一条 API 规则,可以写进指令当通用约束,也可以作为记忆按需检索,还能封装成调用流程,甚至转成调用前的参数校验代码。
How:怎样从经验中提炼修改,再验证并保留?
执行日志是一堆杂乱数据,得经过分析才能形成适用范围明确的规则。候选修改还要过效果检验:目标问题修好了吗?原有能力受影响了吗?只有通过验证的修改才能进入后续运行。这个过程类似软件开发的测试环节,确保“补丁”不引入新的 Bug。
四条主线,看 Agent 如何具体进化
沿着上面三个问题,综述梳理出 Agent 自我改进的四条主线:Prompt 优化、Memory 进化、Skill 进化和 Harness 进化。每条主线都走过了从简单到复杂、从静态到动态的演变。
Prompt 优化:从“搜指令”到“教 Agent 写指令”
早期的 Prompt 优化很像大海捞针:研究者生成大量候选指令,在任务上评测,留下得分最高的版本。本质上是在指令空间里做搜索。
后来大家发现,光靠打分排序不够精准。如果能用失败案例的具体反馈来改指令,改进会更有针对性。于是出现一类方法:先从错误中生成文字批评或梯度信号,再据此修订指令。反馈来源也从简单的“对/错”,扩展到编译报错、执行轨迹等更丰富的结构化信号。
最新的进展又往前推了一步:不只优化“给任务 Agent 的指令”,而是优化“负责生成指令的那个 Agent”本身的提示词。先让优化器学会怎么更好地改指令,再用这个改进过的优化器去提升目标 Agent。这条主线逐步深入两个层面:任务指令如何变得更有效,以及产生新指令的方式如何得到改进。
Memory 进化:从“存下来”到“管得好”
记忆机制最早要解决的是容量问题:上下文窗口装不下所有历史,只能把信息放到外部,用的时候再取。可交互一多,麻烦就来了——信息之间会打架,同一条事实也可能已经过时。
比如用户搬了家,配送任务该用新地址,但查过去住哪儿的时候还得靠旧地址。这没法靠简单覆盖解决,得管住信息的时效和适用场合。最近的研究开始给记忆搭关联结构、标时效,并支持增删改查。
再往前一步:一条记忆被检索出来,不等于它真有用。最新工作试着拿后续任务的实际反馈,动态调整对记忆效用的估计,让检索时看的是真实使用效果,而不只是语义相似度。Memory 的进化因此把内容、组织方式,连同经验怎么被挑中、怎么被使用,都包了进去。
Skill 进化:从“复用一次”到“维护一套”
Skill 把经验整理成可以挑选、可以执行的操作流程。最早的做法很直接:Agent 做完一个任务,就把成功的操作序列存成一段可执行程序,下次碰到类似任务直接拿来用。但技能库一用起来,挑战就跟着来了。
单项技能本身可能就不完善——少了某个步骤、没处理边界情况,或者环境一变就失效。近期的工作开始从成功和失败的执行轨迹里提炼修复建议,不断修订已有技能。技能越攒越多之后,系统还得对付重复、冲突和选择困难。
于是有些方法开始训练独立的“技能管理者”,专门学着判断什么时候该加、该改、该淘汰技能。还有工作用移除实验来判断:先把某项技能暂时删掉,再看表现怎么变,以此确认它是否还在起作用。Skill 进化既管单项技能的质量,也管整个技能库能不能一直保持可用。
Harness 进化:让运行框架也能“听劝”
Harness 可以理解成把模型、工具、上下文、执行状态和检查机制组织起来的运行框架。信息怎么进模型、工具怎么被调用、出了错怎么接着走、什么条件下才能交付结果,都由它说了算。此前的研究已经表明,执行接口怎么设计,对 Agent 的行为影响很大。
同一个模型换到不同的 Harness 下,表现可能差得很远。不过 Harness 一向是工程师手工设计、手工调优的。近期工作的核心进展就在于:让 Harness 自己也变成能被经验驱动修改的对象。
举个直观的例子:Agent 改完代码后经常跳过测试,系统就可以在 Harness 里自动加一条完成检查——当前补丁对应的测试全部通过,才允许报告完成。这改的不是 Agent 的指令或记忆,而是它的运行规则。要做到这一点得形成闭环:从失败轨迹里提出针对性的 Harness 修改,用回归测试筛掉不合格的候选方案,再根据后续轮次的实际效果决定保留还是回滚。
七步生命周期:一段报错的旅程
为了比较不同方向的更新机制,论文把经验转化过程拆成七种分析功能,组成一套生命周期框架。回到开头那个 API 参数变更的例子,看看这七步各自起什么作用:
- Collect(收集):把任务、调用参数、接口报错和执行结果存下来,给后续分析留依据。
- Evaluate(评估):判断这次调用有没有完成目标,找出失败结果和相关反馈。
- Diagnose(诊断):定位原因,比如已有指令还在用旧字段,并判断该改哪些组件。
- Abstract(提炼):从具体错误里提炼可复用的规则,比如“不同 API 版本需要使用不同字段”。
- Update(更新):把规则落成候选的 Prompt、Memory、Skill 或 Harness 修改。
- Verify(验证):测试新版调用能不能成功,同时检查旧版合法调用是否仍然有效,排查回归问题。
- Consolidate(整合保留):挑出有依据的修改,记下适用条件和版本信息,供后续任务及更新使用。
这里面,Evaluate 评估的是已有执行,Verify 验证的是候选修改。前者帮系统弄明白发生了什么,后者帮系统判断改动有没有效。这七步为分析和设计更新闭环提供了共同语言,具体系统可以合并、反复执行或省略部分环节。
持续进化,难在后面的每一轮
随着 Agent 长期运行,经验会增加,任务、工具和模型也会变化。综述进一步指出了几个需要解决的深层问题。
跨组件归因是头一个难题。一次工具调用失败,背后可能牵扯到几件事:记忆过期、步骤缺失,参数检查也没做全。系统得厘清各组件各自起了什么作用,再决定要不要协调更新。
长期维护同样棘手。今天管用的规则,接口一升级可能就失效;曾经好用的技能,慢慢会跟别的技能撞车。想持续进化,合并、修订、退役、回滚都得处理,维护成本也省不掉。
独立验证这道关更关键。任务得分涨了,只能说明某项更新在当前设置下帮上了忙。可要证明继承来的经验让后续改进更有效,就得在相同起点、任务、反馈与计算预算下,对照有和没有这些经验时产生的后续修改,再用未参与候选筛选的任务去检验效果。
从 Prompt 到 Harness,这篇综述列出了 Agent 借经验改变自身的多条路径。何时改、改哪里、如何改,由三个问题决定;七步生命周期则用来追踪一段经验怎样变成能被验证、复用和继续修订的系统组成部分。
说到底,Agent 能不能持续进化,看的不是它某一次有多聪明。每一轮更新留下了什么,这些东西能不能帮到后续任务,又能不能给下一轮改进提供更可靠的依据——这才是关键。智能体从“工具”走向“伙伴”,或许就取决于这一步。