清华团队提出SkillMaster:把技能进化能力训练进智能体自身

资讯 腾讯网 作者:腾讯网 全文 2753 字 · 约 7 分钟读完 分类RSI智能体

随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。图 1 左:外部模块负责管理

所属频道 智能体与 Agent前沿研究

递归自我改进(Recursive Self-Improvement,RSI)研究升温,智能体能不能长期演进能力,正被更多人盯上。


图 1 左边是外部模块管技能、智能体去检索和使用的老路子;右边则是 SkillMaster 的做法,把技能管理收进智能体自己的策略里,跟任务执行一起学。


问题是,眼下这些方法在创建和更新技能时,大多得靠外部教师模型、预设规则或者辅助模块(图 1 左)。干活的智能体是学会了用技能,可它几乎没被直接训练过去改技能。真想沿这条路走通自主改进,就得让 “如何进化技能” 变成智能体自己能学的一项本事(图 1 右)。


清华大学


研究的出发点很直白:一次有价值的技能改进,应该让原先失败的相似任务往后更容易做成,也让原先已经成功的任务用更少的步骤就能完成。



  • 论文题目:SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents

  • Author: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

  • Affiliation: Shandong University, Zhongguancun Academy, Tsinghua University, Southeast University, University of Science and Technology of China

  • arXiv: https://arxiv.org/abs/2605.08693

  • GitHub: https://github.com/sduyangmin/Skill-Master


核心洞察:让失败的任务更容易成功

让成功的任务完成得更高效


要训练智能体去改进技能,先得搞清楚一次修改到底给后续任务带来了什么。只看任务最后成没成,很难把执行能力和技能质量分开,更别说给某一次技能编辑一个明确的反馈。


为此,


方法框架:

任务执行与技能进化怎么一起学?这项工作给出了联合训练的路径。标题「联合学习任务执行与技能进化」所对应的正是这一环节。


想要让智能体自己创建技能、自己改技能、自己决定哪些技能留下来,绕不开三件事:修改的由头从哪儿来、修改值不值得怎么判断、任务执行和技能管理如何放在一起优化。SkillMaster 依次用三部分给出答案,图 2 展示的正是这三个组成部分:基于轨迹的技能审视、反事实技能效用奖励,以及 DualAdv-GRPO 联合优化。



技能管理要从交互轨迹里学。进入技能审查环节后,任务目标、已检索到的技能、动作与观察组成的轨迹、最终反馈会被一并交给模型。模型借助 propose_skill、update_skill 和 keep_skill 三类工具调用,分别完成创建、更新与保留。比如发现现有技能没覆盖某种搜索策略,就补一条新技能;看到实际反馈和已有操作规则对不上,就修改原有技能。



任务动作和技能工具调用出自同一个策略,技能管理因此能直接进入模型训练。SkillMaster 先用监督微调打底,让模型具备基本的任务执行与工具调用能力,再拿技能效用反馈,通过后续机制继续训练。


技能效用靠反事实对照来评价。针对一次候选的技能编辑,系统会挑出一组相关探测任务,让原始技能库和临时改过的技能库各跑一遍,直接比对修改带来的下游变化。原本失败的任务有没有变成成功、原本成功的任务有没有少走几步,都会计入效用评分,成为技能编辑的训练反馈。



探测任务取自训练任务池,挑选依据是任务类别、商品类别或问题语义相似度。系统把探测任务的平均得分变化,连同表现变好和变差的任务数量一起算进去,得出效用奖励,再拿它去优化技能编辑决策。训练过程中,只有效用奖励为正的修改才会被写进持久技能库。


两类奖励的尺度与含义并不相同:任务执行看的是环境结果反馈,技能管理看的是工具调用有效性和下游效用反馈。为此,SkillMaster 提出了 DualAdv-GRPO,把两者放在一起优化。



实验结果:

任务上的表现之外,技能本身会不会随训练长进,是这项工作要回答的另一个问题。


实验基于


表 1 给出 ALFWorld 与 WebShop 两个主实验的对比。在这两张表里,SkillMaster 的成绩压过参与比较的其他方法。



表 2 是 SearchQA 七个数据集上的结果。SkillMaster 在该基准的总体得分来到 48.0%,是所有对比方法里最高的那个。



组件消融与训练过程的变化集中在图 3。左图显示,一旦取消技能效用奖励、把优势归一化换成合并的做法、或者随机挑探测任务,成绩都会往下掉,这组结果支撑了效用反馈、优势分离估计和挑选相关任务三者的必要性。中间与右侧两张图,则分别追踪技能管理各类操作占比的走势和技能库大小的走势。



ALFWorld 的训练呈现出阶段差异:起步阶段创建、更新两类操作更频繁,到了后期,保留下来的技能占比由约 81.25% 涨到 97.66%,操作重心从补技能、改技能挪向守住已有技能。作者还把训练完的模型参数冻住,看它在测试交互里能不能自己搭技能。这一轮不启用反事实探测,也不给效用反馈,只要技能管理操作合法就直接执行,供后面的任务接着用。WebShop 上从空技能库开始,技能构建与检索同时打开,成功率从 65.63% 升到 71.88%,说明训练后的策略可以依据新的交互产出技能并加以复用。


案例分析:

技能的新建与修改,都建立在执行过程中留下的证据之上。


图 4 展示的是智能体怎样从任务轨迹里找出技能缺口、修正已有规则,再在相关任务上检验改动的效果。


图 4 里有一个 ALFWorld 冷却任务:智能体把大把步骤耗在食物出现概率很低的柜子和抽屉上,任务最终没做完。事后复盘,它发现现有技能中缺一条搜索优先级规则,于是新建技能,让之后的搜索先盯与目标物体相关的高概率位置。


另一个案例讲的是对已有技能的修订。按 ALFWorld 的交互接口,加热得在智能体拿着目标物体时执行,可旧技能却要求先把物体放进微波炉。模型根据轨迹里的反馈改掉了这个操作条件。

图 4 右侧的对照显示,在相关探测任务中,加热环节由 8 步降到 2 步,少了六次多余操作,技能修改在下游任务上的作用由此直接体现出来。


研究展望:

借技能进化,摸索递归自我改进


SkillMaster 选的是技能这个可复用的知识载体,由此摸索智能体递归自我改进的一条路。智能体在交互中撞见知识缺口或低效策略,靠技能编辑改变后续行为,再依据实际效果学着做出更有价值的编辑决策。

任务执行和技能改进彼此衔接,智能体既能攒下技能,也能通过训练提高自己改进技能的本事。


这套方法目前已在结构化交互环境和搜索增强问答中做过验证。要往开放环境走,还得研究更有效的探测任务挑选方式、成本更低的效用评估,并把范围扩到技能删除、跨智能体共享以及分布变化下的持续学习。这些方向如果走通,技能库和智能体的能力有望随着长期交互一起演进。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Agent如何越用越强?中科院自动化所、美团等推出RSI综述

    从 Prompt 优化到 Harness 进化,梳理 RSI 的发展趋势,用三个问题、七步生命周期,理解 Agent 如何把经验转化为持续改进。想象这样一个场景:一个编程 Agent 调用 API 时遇到报错,发现接口参数已经更新。经过几轮尝试,它终于修复了问题。但到了下一个任务,它还会不会犯同样的错误?这次修复能否沉

    来源 腾讯网
  2. 斯坦福RSIHF框架:AI自训中安全与受欢迎度为何要分开评?

    在算力对等的前提下,单纯堆叠算力无法保证模型在自我提升过程中的胜率;模型针对「受欢迎程度」开展优化时,容易出现迎合人类的倾向,进而造成安全指标下滑;相关研究首次提出 RSIHF 框架,证实在 AI 自动训练 AI 的过程中,模型的「受欢迎程度」与「安全性」不能画等号,必须分开评估。如果 AI 研究员把评测分数提高了,外

    来源 腾讯网
  3. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  4. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  5. EMHO:不改模型也能让具身智能体变强的经验进化法

    先讲一个你可能没注意到的反常现象。同一套具身智能体,同一个视觉语言模型,一个字都没改权重,也没做任何微调。只是把围绕在模型外面的那层“外壳”重新写了一遍,任务成功率就能从 50% 跳到 63%,从 23.9% 跳到 44.2%。这个提升幅度,比很多论文靠训练换来的改进还大。论文的作者们问了一个很朴素但很少被正面回答的问

    来源 腾讯网
  6. 微软全球服务中断致歉:网络容量升级引发,涉74个国家和地区

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  7. 微软致歉全球服务中断:网络容量升级所致,与攻击和AI无关

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  8. 英特尔宋继强谈智能体芯片:Token需求千倍增长,互联要更宽

    11月12日,由中国电子信息产业发展研究院、中国半导体行业协会共同主办的第二十三届中国国际半导体博览会(IC China 2026)在北京国家会议中心开幕,同期举办第八届IC企业家大会(以下简称“企业家大会”)。 英特尔中国研究院院长宋继强在企业家大会上发表主旨演讲时表示,智能体时代的芯片需要更好的晶体管、更大的芯片、

    来源 腾讯网
  9. AI写出诗却拧错试剂瓶:W2W-Bench测出大模型在物理世界缺了什么

    你有没有想过,一个能写出诗歌、能通过律师考试的AI,在面对一个真实的乐高积木时,可能连两块积木有没有真正卡紧都看不出来?这听起来有点荒谬。毕竟我们都见过那些让人惊叹的新闻:某个AI团队用智能体写出了能编译Linux内核的C语言编译器,另一个团队号称用AI解决了纳维斯托克斯方程这个数学界悬赏的难题。这些成就都发生...

    来源 腾讯网
  10. LG U+明年做AI Token业务:帮企业压低AI转型成本

    LG U+ 将自研 Agent 任务路径设计、智能路由与异构芯片组合三项技术用于 Token 优化,端侧模型体积缩至三分之一性能仍达云端 95% 以上,Token 生成速度翻倍。随着 LG U+ 入局,韩国三大运营商将全部进入 Token 经济。#AI Token# #LG U+#

    来源 IT之家
  11. 硅谷巨头与国内大厂争相布局个人智能体:竞争逻辑生变

    不知道你最近有没有一种强烈的感觉:AI行业打架的姿势,悄悄变了。 过去两年多,大家打开任何一家大厂的发布会,满屏都是熟悉的名词:MMLU跑分又涨了两个点、数学竞赛金牌水准、支持100万上下文、代码生成速度翻倍。 但到了最近这几个月,战火突然烧到了一个新词上——Personal Agent(个人智能体)。 Meta在 2

    来源 AI 行业观察
  12. 杨婷创业卖企业级Agent:为何放弃中小企业市场?

    Agent 创业深度访谈四个月,她把「铺中小企业」改成了「啃大客户」“想用的人、出预算的人和负责推进的人,不是同一个人。”创业公司下场卖企业级 Agent,最怕听到的坏消息是什么?是聊了几个月才发现,“想用的人、出预算的人和负责推进的人,不是同一个人”;是各个部门都想往项目里塞一点需求,范围越谈越大,最后谁也拍...

    来源 腾讯网
  13. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  14. 谷歌Teamwork系统:多智能体验证韦伊猜想

    谷歌扩展 Antigravity 多智能体系统,推出 Teamwork 系统,可完成数学证明、分子识别、代码重写等任务,近期已开放给学术研究人员免费使用。#谷歌AI新进展#

    来源 IT之家
  15. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  16. 一图看懂Agent Harness 架构

    同一个模型,把外面那层壳换掉,Terminal-Bench 2.0 上能从 52.8% 走到 66.5%。模型只提供智能,剩下全是工程。这张图按「装上下文、做决策、管执行」三层画了九块,右边是五个外部依赖,底下是四个生产配套,最下面一条是可观测性,横着切穿三层。最容易被漏掉的是第二块:检查点存在模型窗口之外。做不到这条

    来源 腾讯网
  17. openEuler发布Agentic Infra操作系统:智能时代底座怎么建?

    【环球网科技综合报道】智能时代,智能基础设施这块“地基”怎么打?11月13日,以“智启未来,引领Agentic Infra创新”为主题的Agentic Infra操作系统大会在北京中关村国际创新中心举行。大会由开放原子开源基金会孵化的明星社区openEuler主办。会上,openEuler发布面向Agentic Inf

    来源 腾讯网
  18. 快手邱慧谈商业Agent:效果时延成本怎么平衡,动态知识库如何落地

    随着大语言模型能力的持续演进,电商场景下的智能对话系统正从传统 FAQ 问答向具备规划、决策与工具调用能力的 Agent 架构迁移。 本文整理自快手大模型应用算法专家邱慧在 AICon 2026 深圳站 的分享《智能互动 Agent 在快手商业场景的落地实践》。他围绕智能互动 Agent 在互动业务场景下的真实落地实践

    来源 AI 行业观察
  19. LangChain估值30亿美元:LangSmith拿下7000家客户

    AI智能体开发平台LangChain传出30亿美元估值消息,其模型与平台无关的智能体管理工具LangSmith已吸引7000家客户。在AI从对话走向自主执行的转折期,这家人气初创公司能否将开发者口碑转化为稳固的商业护城河,成为行业关注焦点。

    来源 AI 科技快讯
  20. 左手拼低价,右手抢超创,能解得了Agent的同质竞争焦虑吗

    LibTV开启双十一狂欢季,Wan3.0、Kling4.0、Minimax H3三大视频模型最长30天0积分无限用,并叠加立减,时长、积分赠送等多项福利;即梦个人年包低至4.5折、团队年包低至4.2折、季度会员4.3折起;主打影视协作平台的AniShort首购低至2.3折,最高立减超三万。

    来源 36氪
  21. 红帽调研:70%企业推进AI,治理与安全能力跟不上

    中经记者 秦枭 北京报道今年以来,企业级AI面临的变量明显变多。大模型迭代以月为单位推进,企业刚选定的技术路线,往往在两三个月内就要面对新版本、新架构的冲击;加速卡供给持续紧张,交期与价格都不完全由采购方掌握。技术选择的窗口期在缩短,试错成本却在上升。“企业不缺AI战略,缺的是能算清楚的那笔账。”红帽全球...

    来源 腾讯网
  22. 浙大联想联合提出EM²Mem:多模态智能体改用事件中心长期记忆

    在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。 颠覆传统模式:从“先检索后对齐”到“先对齐后检索” 长

    来源 AI 开发者社区
向下滚动自动加载更多