Agent递归自我改进:不训练模型如何越用越强?

资讯 AI 应用前沿 全文 4318 字 · 约 11 分钟读完 配图 6 张 分类美团产品更新模型发布大模型智能体

中科院自动化所与美团等机构联合发布综述,探讨LLM Agent如何在不更新模型权重的前提下,通过优化Prompt、记忆、技能和运行框架实现递归自我改进。文章梳理了“何时改、改哪里、怎么改”三个核心问题,并提出了包含收集、评估、诊断等七步的经验转化生命周期,为理解Agent从单次试错到持续进化的机制提供了清晰框架。

所属频道 大厂动态产品更新模型发布智能体与 Agent

报错修好了,下次还会犯吗?

拿一个常见的开发场景来说:让编程 Agent 去调用某个 API,报错了,原因是接口参数最近更新、旧参数不再适用。几轮尝试之后,Agent 找到了新参数,任务跑通——故事到这儿通常就结束了。可做研究或做工程的人多半会追问:下一个任务它还会不会犯同样的错?这次修复能不能沉淀成一条规则、一段记忆或者一项技能?再碰上新的问题,过去的经验能否帮它更快定位原因、给出更有效的修改?

图片

图片

要是 Agent 每次都只能重新试错来解决问题,效率上限就被锁死在基础模型的推理能力上了。真正的突破点在于,它能否把“一次性”的成功或失败,转成“长期性”的能力提升。

图片

这正是递归自我改进(Recursive Self-Improvement,简称 RSI)研究关注的核心。近日,中国科学院自动化研究所、美团联合山东大学、中国人民大学、中科院微电子所、上海交通大学、理想汽车等多家单位发布了一篇综述论文,题为《When, Where, and How Experience Becomes Structure: Mechanisms for Recursive Self-Improvement in LLM Agents》。论文没有堆砌晦涩的数学公式,而是想回答一个朴素的问题:模型权重不变的情况下,Agent 怎么像人一样靠积累经验变强?

图片

不动权重,Agent 也能“长脑子”

图片

以前说起 AI 进步,大家第一反应往往是“训练更大的模型”或者“微调参数”。这条路成本高、周期长,也很难实时跟上环境变化。RSI 走的是另一条路:假定底层大模型权重固定,Agent 的能力增长来自外部组件的更新。

图片

Agent 干活时会留下大量痕迹——工具调用记录、执行结果、用户纠正、失败后的修复过程。这些不是用完就扔的垃圾数据,而是改进的原料。发现某条约束反复被违反,就写进 Prompt;发现用户经常更新某类信息,就存进 Memory;发现某套操作流程成功率高,就封装成 Skill;发现 Agent 总跳过必要的检查步骤,就调整 Harness(运行框架)里的校验逻辑。

“递归”在这里意味深长。它不只指 Agent 能拿经验改进自己,还指留下来的经验和组件可以参与后续修改的诊断、生成或筛选。上一次修复的记录,能帮系统定位下一次失败;已有的更新经验,能帮它挑出更有效的修改策略。研究目标也就从“让 Agent 完成任务”推进到了“让 Agent 更有效地改进自己”。

三个问题,厘清进化的关键节点

要把模糊的“经验”变成结构化的“能力”,论文提出三个相互关联的问题:When(什么时候改)、Where(改哪里)、How(怎么改)。

When:什么时候更新,什么时候保留?

触发更新的信号不少:任务失败、新信息到来、工具接口变化。但并非所有信号都值得动手。一次修改值不值得保留,要看它在后续任务里的表现——如果它解决了当前问题却让别的任务出错,那就该停用或再修订。这跟人学习是一个道理:不是每次犯错都要刻骨铭心,只有具备普遍意义的教训才值得进长期记忆。

Where:问题出在哪里,应该修改哪个组件?

同一次失败,根源可能各不相同。指令没说清楚?记忆里的信息过期了?操作步骤缺失?还是运行机制允许 Agent 偷懒跳过检查?改哪儿必须由执行证据说话。Prompt、Memory、Skill、Harness 这四类组件各司其职又协同工作。比如同一条 API 规则,可以写进指令当通用约束,也可以作为记忆按需检索,还能封装成调用流程,甚至转成调用前的参数校验代码。

How:怎样从经验中提炼修改,再验证并保留?

执行日志是一堆杂乱数据,得经过分析才能形成适用范围明确的规则。候选修改还要过效果检验:目标问题修好了吗?原有能力受影响了吗?只有通过验证的修改才能进入后续运行。这个过程类似软件开发的测试环节,确保“补丁”不引入新的 Bug。

四条主线,看 Agent 如何具体进化

沿着上面三个问题,综述梳理出 Agent 自我改进的四条主线:Prompt 优化、Memory 进化、Skill 进化和 Harness 进化。每条主线都走过了从简单到复杂、从静态到动态的演变。

Prompt 优化:从“搜指令”到“教 Agent 写指令”

早期的 Prompt 优化很像大海捞针:研究者生成大量候选指令,在任务上评测,留下得分最高的版本。本质上是在指令空间里做搜索。

后来大家发现,光靠打分排序不够精准。如果能用失败案例的具体反馈来改指令,改进会更有针对性。于是出现一类方法:先从错误中生成文字批评或梯度信号,再据此修订指令。反馈来源也从简单的“对/错”,扩展到编译报错、执行轨迹等更丰富的结构化信号。

最新的进展又往前推了一步:不只优化“给任务 Agent 的指令”,而是优化“负责生成指令的那个 Agent”本身的提示词。先让优化器学会怎么更好地改指令,再用这个改进过的优化器去提升目标 Agent。这条主线逐步深入两个层面:任务指令如何变得更有效,以及产生新指令的方式如何得到改进。

Memory 进化:从“存下来”到“管得好”

记忆机制最早要解决的是容量问题:上下文窗口装不下所有历史,只能把信息放到外部,用的时候再取。可交互一多,麻烦就来了——信息之间会打架,同一条事实也可能已经过时。

比如用户搬了家,配送任务该用新地址,但查过去住哪儿的时候还得靠旧地址。这没法靠简单覆盖解决,得管住信息的时效和适用场合。最近的研究开始给记忆搭关联结构、标时效,并支持增删改查。

再往前一步:一条记忆被检索出来,不等于它真有用。最新工作试着拿后续任务的实际反馈,动态调整对记忆效用的估计,让检索时看的是真实使用效果,而不只是语义相似度。Memory 的进化因此把内容、组织方式,连同经验怎么被挑中、怎么被使用,都包了进去。

Skill 进化:从“复用一次”到“维护一套”

Skill 把经验整理成可以挑选、可以执行的操作流程。最早的做法很直接:Agent 做完一个任务,就把成功的操作序列存成一段可执行程序,下次碰到类似任务直接拿来用。但技能库一用起来,挑战就跟着来了。

单项技能本身可能就不完善——少了某个步骤、没处理边界情况,或者环境一变就失效。近期的工作开始从成功和失败的执行轨迹里提炼修复建议,不断修订已有技能。技能越攒越多之后,系统还得对付重复、冲突和选择困难。

于是有些方法开始训练独立的“技能管理者”,专门学着判断什么时候该加、该改、该淘汰技能。还有工作用移除实验来判断:先把某项技能暂时删掉,再看表现怎么变,以此确认它是否还在起作用。Skill 进化既管单项技能的质量,也管整个技能库能不能一直保持可用。

Harness 进化:让运行框架也能“听劝”

Harness 可以理解成把模型、工具、上下文、执行状态和检查机制组织起来的运行框架。信息怎么进模型、工具怎么被调用、出了错怎么接着走、什么条件下才能交付结果,都由它说了算。此前的研究已经表明,执行接口怎么设计,对 Agent 的行为影响很大。

同一个模型换到不同的 Harness 下,表现可能差得很远。不过 Harness 一向是工程师手工设计、手工调优的。近期工作的核心进展就在于:让 Harness 自己也变成能被经验驱动修改的对象。

举个直观的例子:Agent 改完代码后经常跳过测试,系统就可以在 Harness 里自动加一条完成检查——当前补丁对应的测试全部通过,才允许报告完成。这改的不是 Agent 的指令或记忆,而是它的运行规则。要做到这一点得形成闭环:从失败轨迹里提出针对性的 Harness 修改,用回归测试筛掉不合格的候选方案,再根据后续轮次的实际效果决定保留还是回滚。

七步生命周期:一段报错的旅程

为了比较不同方向的更新机制,论文把经验转化过程拆成七种分析功能,组成一套生命周期框架。回到开头那个 API 参数变更的例子,看看这七步各自起什么作用:

  1. Collect(收集):把任务、调用参数、接口报错和执行结果存下来,给后续分析留依据。
  2. Evaluate(评估):判断这次调用有没有完成目标,找出失败结果和相关反馈。
  3. Diagnose(诊断):定位原因,比如已有指令还在用旧字段,并判断该改哪些组件。
  4. Abstract(提炼):从具体错误里提炼可复用的规则,比如“不同 API 版本需要使用不同字段”。
  5. Update(更新):把规则落成候选的 Prompt、Memory、Skill 或 Harness 修改。
  6. Verify(验证):测试新版调用能不能成功,同时检查旧版合法调用是否仍然有效,排查回归问题。
  7. Consolidate(整合保留):挑出有依据的修改,记下适用条件和版本信息,供后续任务及更新使用。

这里面,Evaluate 评估的是已有执行,Verify 验证的是候选修改。前者帮系统弄明白发生了什么,后者帮系统判断改动有没有效。这七步为分析和设计更新闭环提供了共同语言,具体系统可以合并、反复执行或省略部分环节。

持续进化,难在后面的每一轮

随着 Agent 长期运行,经验会增加,任务、工具和模型也会变化。综述进一步指出了几个需要解决的深层问题。

跨组件归因是头一个难题。一次工具调用失败,背后可能牵扯到几件事:记忆过期、步骤缺失,参数检查也没做全。系统得厘清各组件各自起了什么作用,再决定要不要协调更新。

长期维护同样棘手。今天管用的规则,接口一升级可能就失效;曾经好用的技能,慢慢会跟别的技能撞车。想持续进化,合并、修订、退役、回滚都得处理,维护成本也省不掉。

独立验证这道关更关键。任务得分涨了,只能说明某项更新在当前设置下帮上了忙。可要证明继承来的经验让后续改进更有效,就得在相同起点、任务、反馈与计算预算下,对照有和没有这些经验时产生的后续修改,再用未参与候选筛选的任务去检验效果。

从 Prompt 到 Harness,这篇综述列出了 Agent 借经验改变自身的多条路径。何时改、改哪里、如何改,由三个问题决定;七步生命周期则用来追踪一段经验怎样变成能被验证、复用和继续修订的系统组成部分。

说到底,Agent 能不能持续进化,看的不是它某一次有多聪明。每一轮更新留下了什么,这些东西能不能帮到后续任务,又能不能给下一轮改进提供更可靠的依据——这才是关键。智能体从“工具”走向“伙伴”,或许就取决于这一步。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Agent如何越用越强?中科院自动化所、美团等推出RSI综述

    从 Prompt 优化到 Harness 进化,梳理 RSI 的发展趋势,用三个问题、七步生命周期,理解 Agent 如何把经验转化为持续改进。想象这样一个场景:一个编程 Agent 调用 API 时遇到报错,发现接口参数已经更新。经过几轮尝试,它终于修复了问题。但到了下一个任务,它还会不会犯同样的错误?这次修复能否沉

    来源 腾讯网
  2. 刚刚,Anthropic公开Opus 5.5同款自主Agent架构:算力成本狂降78%

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 真正能全天候自主干活的AI Agent,平时绝大多数时间都在睡觉,只有来任务时才会醒过来。所谓的全天候运行,只是用户层面的感知。Anthropic发了一篇工程文章首次披露了这种自主智能体的完整底层架构。过去几个月,自主型Agent迎来爆发。爆发的核心原因在于底层

    来源 腾讯网
  3. 智能体安全新课题:风险如何跨会话潜伏与放大?

    大模型正从聊天助手进化为能自主调用工具、读写文件的通用智能体。这意味着安全风险不再局限于“说了什么”,而是延伸至“做了什么”以及“留下了什么”。北大与腾讯联合发布的综述指出,攻击者可通过污染技能、记忆或环境,让风险跨会话潜伏并放大。传统组件式防御已失效,必须建立涵盖来源、编排、执行及持久反馈的全生命周期安全框架,并在运

    来源 AI 应用前沿
  4. 百度词元所上线首日:入驻供应商破100家,新增客户超1000家

    11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。 词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使用可信的模型Token

    来源 AI 行业观察
  5. 美团开源1.6万亿参数模型,全程未用英伟达GPU

    美团发布LongCat-2.5智能体模型,基于华为昇腾训练且未使用英伟达芯片。Anthropic CEO坦言IPO前算力采购存在巨大风险。vLLM修复共享缓存越界写漏洞,MIT与DeepMind研究揭示AI顾问的“忠诚捕获”现象。本期还涵盖Seedance视频生成更新及Vercel子代理工作流实践。

    来源 AI 应用前沿
  6. XYBench基准出炉:AI答得对却帮不上忙,8000题考意图识别

    当用户问错问题时,AI是顺着错误给方案,还是指出真正的问题?Allen AI发布的XYBench基准测试了8000多个真实场景,发现主流大模型在识别用户潜在意图和纠正误解方面,表现远不如人类。本文详解XYBench的构建逻辑、评估维度及实验结果,探讨为何“听懂弦外之音”对AI助手至关重要。

    来源 AI 应用前沿
  7. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  8. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  9. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  10. 百度词元所上线首日:供应商增超100家,客户接入破1000家

    【环球网科技综合报道】11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使.

    来源 腾讯网
  11. 清华江瑞课题组发布ProtCell:在摩尔线程S5000上复现预训练

    IT之家 11 月 14 日消息,据摩尔线程公众号,近日,清华大学自动化系江瑞课题组发布了面向单细胞蛋白组的基础模型 ProtCell,完成了论文《ProtCell:a foundation model for single-cell proteomics》。该模型汇集约 3.8 亿个细胞、98 个公开数据集用于预训练

    来源 AI 行业观察
  12. 微软全球服务中断致歉:网络容量升级引发,涉74个国家和地区

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  13. 微软致歉全球服务中断:网络容量升级所致,与攻击和AI无关

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  14. SpaceX豪掷740亿建AI超算:数GW电力够撑吗?

    本期资讯聚焦三大动态:SpaceX据传计划投入巨资建设两座AI超算园区;Google推出面向影视创作的Flow新工具及Gemini 4 Hydrogen模型,后者展示了实时3D可视化能力;AWS发布Bedrock推理成本优化指南。此外,LMArena提出智能体交互评测新范式,DeepMind发布AlphaGenome

    来源 AI 应用前沿
  15. llama.cpp 发布 v1.0.0:语义化版本承诺 API 稳定,分发渠道同步铺开

    llama.cpp 和底层张量库 ggml 同步发布 v1.0.0,标志着项目从快速迭代转向稳定期。这次更新确立了严格的语义化版本规则,承诺公共 C API 的稳定性,方便下游应用集成。文章详细解读了版本升级策略、多平台分发渠道(如 Homebrew、conda-forge)、CI 基础设施的强化,以及对 150 多种

    来源 AI 应用前沿
  16. llama.cpp 1.0.0 发布:150+ 模型架构支持,离线跑大模型

    IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llam

    来源 AI 行业观察
  17. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  18. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  19. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  20. 工业AI净利率跌破5%:错尺子量不出实体利润

    (本文作者为 GritMeng,钛媒体经授权发布)文 | GritMeng聊天对话框省不出利润率,物理AI真正的金矿藏在“同源耦合”的水下。这两年,科技界与实体产业之间裂开了一道肉眼可见的鸿沟。一边是算力基础设施与大语言模型狂飙突进,参数规模、推理速度每半年翻一番,智能体(Agent)概念席卷所有科技峰会;另一边却是广

    来源 腾讯网
  21. 腾讯混元发布Hy Realtime:能唱歌,还能自己联网搜

    腾讯混元今日发文宣布,全新实时语音模型 Hy Realtime 正式发布。作为一款主打实时的语音模型,它在语音理解、指令遵循与拟人化表达等基础对话能力上表现优异,更一口气补齐两项新本领:一是 Agentic 工具调用,二是唱歌。换言之,它不再是单纯应答的"嘴",而开始长了能干活的手,离"像人一样交流"又近了一步。 Hy

    来源 AI 开发者社区
  22. Qwen4-Max发布:单任务费用降58%,1M上下文本周免费开放

    刚刚,阿里正式发布了 Qwen4-Max,这是 Qwen4 系列的第一款模型,上下文 1M,最大输出 393KMoE 架构,2.4T 总参,71B 激活,原生视觉老规矩,这周 Qwen4-Max 在我的 AGI Bar 敞开用,token 免费,开到 11 月 22 日欢迎各位朋友来 AGI Bar,试试这款模型先看一

    来源 腾讯网
  23. 腾讯WorkBuddy国际版:Gemini 4 Carbon上线,仅Pro可用

    IT之家 11 月 16 日消息,腾讯 WorkBuddy 国际版昨日宣布,已正式上线谷歌 Gemini 4 Carbon 模型,主要面向需要更深入推理和处理更长任务的使用场景。 官方将其定位为适合处理复杂问题的模型,目前仅面向 Pro 计划用户开放。 IT之家此前报道,谷歌称 Gemini 4 Carbon 模型主要

    来源 AI 行业观察
  24. 谷歌Gemini 4 Hydrogen发布:定价低于Argon,AA指数反超

    谷歌DeepMind于2026年11月12日发布Gemini 4 Hydrogen,定价$1.50/$7.50(百万token),在Artificial Analysis智能指数上以51分(默认高档)和54分(最高档)超越同系Argon的50分,同时面向所有用户免费开放。模型主打代码执行与agentic工作流,配套推出

    来源 AI 科技快讯
向下滚动自动加载更多