清华团队提出SkillMaster:把技能进化能力训练进智能体自身
随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。图 1 左:外部模块负责管理
递归自我改进(Recursive Self-Improvement,RSI)研究升温,智能体能不能长期演进能力,正被更多人盯上。
图 1 左边是外部模块管技能、智能体去检索和使用的老路子;右边则是 SkillMaster 的做法,把技能管理收进智能体自己的策略里,跟任务执行一起学。
问题是,眼下这些方法在创建和更新技能时,大多得靠外部教师模型、预设规则或者辅助模块(图 1 左)。干活的智能体是学会了用技能,可它几乎没被直接训练过去改技能。真想沿这条路走通自主改进,就得让 “如何进化技能” 变成智能体自己能学的一项本事(图 1 右)。
清华大学
研究的出发点很直白:一次有价值的技能改进,应该让原先失败的相似任务往后更容易做成,也让原先已经成功的任务用更少的步骤就能完成。
论文题目:SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents
Author: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li
Affiliation: Shandong University, Zhongguancun Academy, Tsinghua University, Southeast University, University of Science and Technology of China
arXiv: https://arxiv.org/abs/2605.08693
GitHub: https://github.com/sduyangmin/Skill-Master
核心洞察:让失败的任务更容易成功
让成功的任务完成得更高效
要训练智能体去改进技能,先得搞清楚一次修改到底给后续任务带来了什么。只看任务最后成没成,很难把执行能力和技能质量分开,更别说给某一次技能编辑一个明确的反馈。
为此,
方法框架:
任务执行与技能进化怎么一起学?这项工作给出了联合训练的路径。标题「联合学习任务执行与技能进化」所对应的正是这一环节。
想要让智能体自己创建技能、自己改技能、自己决定哪些技能留下来,绕不开三件事:修改的由头从哪儿来、修改值不值得怎么判断、任务执行和技能管理如何放在一起优化。SkillMaster 依次用三部分给出答案,图 2 展示的正是这三个组成部分:基于轨迹的技能审视、反事实技能效用奖励,以及 DualAdv-GRPO 联合优化。
技能管理要从交互轨迹里学。进入技能审查环节后,任务目标、已检索到的技能、动作与观察组成的轨迹、最终反馈会被一并交给模型。模型借助 propose_skill、update_skill 和 keep_skill 三类工具调用,分别完成创建、更新与保留。比如发现现有技能没覆盖某种搜索策略,就补一条新技能;看到实际反馈和已有操作规则对不上,就修改原有技能。
任务动作和技能工具调用出自同一个策略,技能管理因此能直接进入模型训练。SkillMaster 先用监督微调打底,让模型具备基本的任务执行与工具调用能力,再拿技能效用反馈,通过后续机制继续训练。
技能效用靠反事实对照来评价。针对一次候选的技能编辑,系统会挑出一组相关探测任务,让原始技能库和临时改过的技能库各跑一遍,直接比对修改带来的下游变化。原本失败的任务有没有变成成功、原本成功的任务有没有少走几步,都会计入效用评分,成为技能编辑的训练反馈。
探测任务取自训练任务池,挑选依据是任务类别、商品类别或问题语义相似度。系统把探测任务的平均得分变化,连同表现变好和变差的任务数量一起算进去,得出效用奖励,再拿它去优化技能编辑决策。训练过程中,只有效用奖励为正的修改才会被写进持久技能库。
两类奖励的尺度与含义并不相同:任务执行看的是环境结果反馈,技能管理看的是工具调用有效性和下游效用反馈。为此,SkillMaster 提出了 DualAdv-GRPO,把两者放在一起优化。
实验结果:
任务上的表现之外,技能本身会不会随训练长进,是这项工作要回答的另一个问题。
实验基于
表 1 给出 ALFWorld 与 WebShop 两个主实验的对比。在这两张表里,SkillMaster 的成绩压过参与比较的其他方法。
表 2 是 SearchQA 七个数据集上的结果。SkillMaster 在该基准的总体得分来到 48.0%,是所有对比方法里最高的那个。
组件消融与训练过程的变化集中在图 3。左图显示,一旦取消技能效用奖励、把优势归一化换成合并的做法、或者随机挑探测任务,成绩都会往下掉,这组结果支撑了效用反馈、优势分离估计和挑选相关任务三者的必要性。中间与右侧两张图,则分别追踪技能管理各类操作占比的走势和技能库大小的走势。
ALFWorld 的训练呈现出阶段差异:起步阶段创建、更新两类操作更频繁,到了后期,保留下来的技能占比由约 81.25% 涨到 97.66%,操作重心从补技能、改技能挪向守住已有技能。作者还把训练完的模型参数冻住,看它在测试交互里能不能自己搭技能。这一轮不启用反事实探测,也不给效用反馈,只要技能管理操作合法就直接执行,供后面的任务接着用。WebShop 上从空技能库开始,技能构建与检索同时打开,成功率从 65.63% 升到 71.88%,说明训练后的策略可以依据新的交互产出技能并加以复用。
案例分析:
技能的新建与修改,都建立在执行过程中留下的证据之上。
图 4 展示的是智能体怎样从任务轨迹里找出技能缺口、修正已有规则,再在相关任务上检验改动的效果。
图 4 里有一个 ALFWorld 冷却任务:智能体把大把步骤耗在食物出现概率很低的柜子和抽屉上,任务最终没做完。事后复盘,它发现现有技能中缺一条搜索优先级规则,于是新建技能,让之后的搜索先盯与目标物体相关的高概率位置。
另一个案例讲的是对已有技能的修订。按 ALFWorld 的交互接口,加热得在智能体拿着目标物体时执行,可旧技能却要求先把物体放进微波炉。模型根据轨迹里的反馈改掉了这个操作条件。
图 4 右侧的对照显示,在相关探测任务中,加热环节由 8 步降到 2 步,少了六次多余操作,技能修改在下游任务上的作用由此直接体现出来。
研究展望:
借技能进化,摸索递归自我改进
SkillMaster 选的是技能这个可复用的知识载体,由此摸索智能体递归自我改进的一条路。智能体在交互中撞见知识缺口或低效策略,靠技能编辑改变后续行为,再依据实际效果学着做出更有价值的编辑决策。
任务执行和技能改进彼此衔接,智能体既能攒下技能,也能通过训练提高自己改进技能的本事。
这套方法目前已在结构化交互环境和搜索增强问答中做过验证。要往开放环境走,还得研究更有效的探测任务挑选方式、成本更低的效用评估,并把范围扩到技能删除、跨智能体共享以及分布变化下的持续学习。这些方向如果走通,技能库和智能体的能力有望随着长期交互一起演进。