AI自我指导时说的是真话还是客套话？RSIPO揭示两个隐患

先抛一个问题。

假如让一个刚学会炒菜的人，边翻锅边记菜谱，这本菜谱你敢信吗？

这不是故意找茬。眼下用agentic RL训练AI智能体，碰到的正是这个真实难题。

所谓“agentic RL”，即智能体强化学习，是让AI靠与环境互动学会做事，例如在虚拟房间里找东西、上网查资料答题，整个流程要经过很多步，每走一步都算一次互动。

你或许觉得，训练AI做这类多步任务早就不是问题了，毕竟AlphaGo赢下人类已经好些年。其实没那么容易。AlphaGo每落一子都有清楚的输赢反馈，智能体任务却常常走完几十步才见分晓，中间哪一步对、哪一步错，没人告诉它。这个问题被称作“信用分配”。说白了就是：任务最后成了，该谢前面哪一步？任务砸了，又该怪谁？

近几年，研究者摸索出两条路来缓解它。头一条是RLVR，强化学习加可验证奖励：设计一条能自动打分的规则，任务结束后核对结果，对就记1分，错就记0分，再把这个分数平摊到整条路径的每一步上。第二条路是OPSD，在线自我蒸馏：找一个“更懂行”的老师版本，给学生吐出的每个词打细粒度的分，让学生照着老师的判断去模仿。

两条路各有短板。RLVR的毛病是太粗，一条路径走了50步，结果只对最后那一下打分，压根不知道是第30步做对了还是第45步做对了，索性所有步骤都摊同一个分数。好比一场足球赛赢了3比0，裁判便宣布全体11名队员每人加10分，谁传球失误、谁打进关键球一概不问。你当然清楚这不公平，可眼下没有更细的办法。

OPSD想治这个粗病，思路是请个老师来打细粒度的分。老师从哪儿来？研究者想出一招挺巧：让AI自己给自己当老师。具体做法是，先让同一个模型总结这轮任务里学到了什么“技能”（比如“开柜子前先确认钥匙在不在手上”），再把这项技能塞进自己的提示词，然后给学生自己生成的每个词打分。因为多了这层提示——研究者称之为“特权上下文”，意思是只有老师看得见、学生看不见的额外信息——老师的判断理应比学生更靠得住。

特权上下文：训练时额外提供给“老师”模型的信息，比如任务技能总结，学生正式执行任务时看不到这些内容。

听着挺合理吧？老师比学生多知道一点，所以老师说的话更可信。可这篇论文的作者们做了个实验，结果让这个“合理”的假设站不住脚了。

技能和政策，谁跟不上谁

论文作者先做了一番细致观察，发现现有方法里埋着两个大坑。

头一个坑，是技能生成追不上任务执行的进步。

研究者复现了一个叫SEED的方法（这是本文对比的最强基线之一），训练一个“技能生成器”去总结AI自己跑出来的轨迹，提炼出可复用的技能。问题在于，这个技能生成器是提前训好的，用的是SFT数据，也就是监督微调数据，在正式强化学习训练开始之前就标注完毕。

SFT：监督微调，用人工标注好的数据预先训练模型，让模型具备某种基础能力，是强化学习训练之前的热身阶段。

研究者查了这批SFT数据的质量，发现成功的轨迹只占0.25%。为什么这么低？因为当时的基础模型连动作格式都写不对，符合要求的步骤仅有11%。换句话说，技能生成器学到的几乎全是失败案例，它总结出来的技能有86.8%都在教“怎么把格式写对”这类基础问题。

可强化学习训练一正式开跑，局面180度转弯。模型的任务成功率在最初十步内就冲到80%以上，动作格式几乎全对（99.7%有效）。

尴尬的局面就这么来了：技能生成器脑子里装的还是“怎么不写错格式”，真实的学生却早已毕业，正发愁怎么优化更高层的策略和路径规划，比如先去哪个房间找东西更快。技能生成器完全没跟上学生的成长节奏。

这就像请一位小学数学老师来教高三学生做微积分。老师那套方法在小学阶段很管用，可高三学生早就不需要了，老师给的建议和学生的真实水平完全错位。不让技能生成跟着学生一起进步，老师就永远在教过时的东西，学生也学不到真正需要的，这种错配只会越拖越严重。

第二个坑更致命：老师不一定靠得住。

研究者统计了“技能增强版老师”和“学生自己”在同一批任务上谁表现更好。结果发现，老师在5.5%到22.4%的任务上反而比学生差。这个比例还跟学生当前水平有关：如果学生在4次尝试里能成功1到3次（也就是“半生不熟”的阶段），老师的优势最明显；可要是学生已经4次全对，或者4次全错，老师就占不到太大便宜，甚至有13.6%到16%的情况老师更差。

训练初期看头15步，22.9%的任务上老师占优，15%的任务上老师反而落后。往后练下去，学生反超的局面稳定出现在4%到11%的任务上。

这意味着什么？意味着无条件相信老师，等于拿不确定的指导去冒险。好比一个新手司机，副驾驶坐着位“老司机”，可这位老司机其实刚拿驾照没多久、路况也不熟。你每次都百分百听他的去打车把，有一部分时候是对的，也有一部分时候他的判断比你自己瞎开还差。不去验证这位“老司机”到底靠不靠谱，就全盘信任他的指令，方向打错的概率只会悄悄累积。

第一个坑是技能跟不上进度，第二个坑是老师未必靠得住。两件事撞在一起，指向的是同一个矛盾：现有方法默认技能库不动、老师始终可信，可现实中这两样都在变，而且变的方向还不一定合拍。

先看RSIPO想解决什么。

针对上面两个坑，论文给出RSIPO，全称递归自我提升策略优化。它的核心思路是让技能生成和任务执行一起进化，同时让模型自己学会判断：这老师什么时候能信，什么时候不能信。

框架保留了原有的RLVR分支和OPSD分支，另外加了一套“执行检查”机制。这套机制要回答两个问题：技能到底有没有用？老师到底靠不靠谱？

检查的办法叫轨迹重放，设计得挺巧。

所谓轨迹重放，就是在还没看到任务结果之前，先把同一批次的多次尝试随机分成两组。一组拿去生成和验证技能，另一组原样留着当对照。之后比较两组表现，看技能究竟带来了多少实际提升。

具体怎么跑？假定一个任务做了8次独立尝试（论文里称G次rollout），先把这8次随机对半分，一半“证据组”，一半“对照组”。分组发生在还不知道哪次成功、哪次失败的时候，这样对照组才能如实反映学生当前水平，不会被挑出来的结果污染。

接着从证据组里选一条轨迹，优先选成功的，让模型自己总结出一个技能。技能格式有效的话，就把它塞进模型自己的提示词，从同一个初始状态再跑4次（即重放，K=4），看效果如何。

每次重放都用“效用函数”打分：成功得1分，失败得0分；步数越少越高效，分数还会打折。重放组的平均效用减掉对照组的平均效用，就是技能带来的真实收益，论文称之为“重放增益”。

打个比方，健身教练教你一套新动作，光说“这个动作很有效”没用。得让你用新动作真练一组，再找另一个没学新动作的人练一组做对照，比谁进步更明显。少了对照实验，教练随口一句“这个有用”，你根本分不清是真有用还是他瞎编。不设对照组的话，重放结果提升了，也不知道是技能起了作用，还是这个任务今天本来就运气好。

拿到重放增益，RSIPO用它做两件事。

头一件，是给技能生成本身发奖励。

技能写得好不好，直接决定重放增益是正还是负。某个技能的重放增益若高于同类型任务的平均水平，写这个技能的那次输出就拿正奖励；低于平均水平就拿负奖励。这样一来，技能生成有了明确的反馈信号，信号来自真实效果，而不是凭空训练一个和当下任务脱节的生成器。

有个细节：格式不对的无效技能，论文直接扣分。目的是防止模型为了拿分，写一堆语法混乱、根本没法用的东西。

第二件事，是动态调整对老师的信任度。

这一步用到统计学里的经验贝叶斯收缩。

所谓经验贝叶斯收缩，就是某个任务的重放增益样本太少、噪声太大时，把估计值朝同类任务的整体平均水平拉一拉。估计因此更稳，不至于被偶然的运气带偏。

为什么要收缩？重放只跑了4次，样本太小，运气成分难免。某次重放刚好4次全中，就把这个数字当成“真实增益”去指导后续训练，风险很大——万一只是巧合呢？

论文的做法是：把同一类型任务（比如ALFWorld里“捡两件物品放进柜子”这类）在训练中反复出现的增益值收集起来，算出这类任务的平均增益和真实波动范围。然后对单个任务的增益值做加权平均：任务本身噪声小、样本可信，就多信它自己的数字；噪声大、数据不稳，就多往整体平均值上靠。

好比评价一家新餐馆好不好吃，不能只看一条评论，哪怕写得很详细。要把这家餐馆同类菜系的历史评分综合进来参考：评分样本够多够稳，就信店本身的评分；样本太少，就多参考同类餐馆的平均水准。不这么处理，一条极端评论——不管是刷好评还是故意抹黑——就能完全左右你的判断。

收缩之后得到的“更靠谱的增益估计”，会转成一个信任系数，给OPSD分支里每个词的蒸馏损失加权。公式很直观：老师这次明显比学生好，信任系数就调高，蒸馏信号放大，多听老师的；老师这次反而不如学生，信任系数被压低，甚至直接清零，等于关掉这次的蒸馏信号，不让学生被不靠谱的老师带偏。

整套设计说到底，是把“这次老师的话该不该信”量化了出来。以前的做法是无条件让学生永远相信老师。

再看数字上的效果。

论文在两类任务上做了测试。一类是ALFWorld，一个模拟居家环境完成具体任务（比如把苹果放进冰箱）的测试平台；另一类是搜索类任务，共用了七个数据集，包括NQ、TriviaQA、HotpotQA等等，考察AI能否通过多次搜索准确回答问题。

底座用Qwen2.5-7B，RSIPO在ALFWorld上拿到98.6%的平均成功率，比第二好的方法SEED高出2.5个百分点，比最朴素的GRPO方法高出整整17.4个百分点。

换到更小的模型上，RSIPO 依然是最强的一个。Qwen2.5-3B 上成功率为 95.7%，Qwen3-1.7B 上为 95.0%，两个数字分别比 GRPO 高出 20.7 和 48.9 个百分点。Qwen3-1.7B 这一档的提升尤其扎眼，几乎接近翻倍，说明小模型在这类任务上原本的瓶颈更突出，而 RSIPO 这套机制正好补上了这块短板。

搜索类任务的涨幅没那么大。Qwen2.5-7B 上 RSIPO 以 50.8% 的平均准确率排第一；Qwen2.5-3B 上排第二，与 SEED 只差 0.4 个百分点。论文给出的解释是，回答问题更依赖搜到的证据本身，程序性操作技巧起的作用没那么大，所以技能带来的额外帮助不如 ALFWorld 上明显。数据也能对上这个说法：搜索类任务里，RSIPO 学出的“信任系数”大多稳定在接近 1 的位置，等于系统自己判断出“这个场景里老师没那么重要”，也就没有硬去加大蒸馏力度。

另有一个结果挺有意思。Skill-Prompt星号、Skill-GRPO星号这类方法在测试阶段仍会给模型塞技能提示，相当于考试带小抄进场。RSIPO 在测试阶段什么技能提示都不给，纯靠训练阶段学到的东西裸考，结果还是赢了这些带小抄的方法——Qwen2.5-7B 上比 Skill-GRPO星号高出 10.3 个百分点。

换句话说，技能的好处被真正内化进了模型参数，而不是靠外部提示临时抱佛脚。这就像一个学生平时做题时用各种方法论去理解知识点，上了考场即便不能翻书，知识已经成了本能反应；另一些学生则只在能看小抄时才答得上来。

每个零件各贡献了多少

论文还做了一组很细的消融实验：把 RSIPO 拆开，一块一块往基础模型上加，看每一块到底带来多少提升。

没训练过的 Qwen2.5-3B 成功率只有 21.9%。只加 OPSD、也就是仅让模型自我蒸馏，成绩升到 28.1%，涨幅有限。单用 GRPO 这类标准强化学习能冲到 75%，可见主干的强化学习信号本身就关键。GRPO 叠加 OPSD 到 81.2%，再加 SFT 初始化则到 86.4%。

在此基础上，动态信任和技能进化这两个新模块分别贡献了 3.6% 和 5.6% 的提升，完整版 RSIPO 最终拿到 95.7%。论文特意提到，拿掉其中任何一个模块，成绩都会掉 3.7 到 5.7 个百分点。两个模块并非简单叠加，而是得互相配合才出最大效果，缺了谁都不行。

技能是怎么一步步进化的

论文还把技能内容随训练推进的变化做了可视化。这部分值得细说，因为它直接证明“技能和策略协同进化”不是一句空话。

研究者从 ALFWorld 里挑了一个任务：把两张信用卡放到某个地方。他们按关键词把生成的技能分成三类——程序类，带编号步骤的详细流程；格式类，讲动作语法该怎么写；恢复类，处理“什么都没发生”这种报错。

训练刚起步时（第 0 步，相当于从 SFT 阶段继承下来的初始状态），技能大多是格式类和恢复类，比如“确认动作语法再执行”。此时重放增益是 0，说明这类技能对实际表现没什么帮助。

到第 50 步，技能变成“具体任务规划”，比如“去床头柜找第一张卡，去柜子找第二张卡”，重放增益开始转正，涨到 0.05。

第 100 步时，技能升级为“任务级流程”，比如“系统性搜索所有可能的位置，依次捡起找到的卡，依次放到柜子里”，增益升到 0.06。

第 150 步，技能进一步细化为“流程加前置条件”，比如“在搜索可能位置的同时，先打开关闭的容器再检查里面有没有东西”，增益一下跳到 0.36。

训练末段的最后 45 步里，“程序类”技能占比超过 94%，几乎完全取代了早期的格式类和恢复类技能。把这组数字连起来看，就像看着一个人从背操作手册，慢慢变成能规划复杂任务路径的老手。而且整个过程是模型自己摸索出来的，没有人去干预、告诉它“你现在该学更高级的技能了”。

两个真实案例

论文给了两个具体案例，让抽象数字有了血肉。

第一个是 ALFWorld 上的“把两个洗手液放进柜子”。学生自己跑的 8 次尝试里只成功了 2 次。研究者注意到一个现象：4 次对照组尝试全都没能找到第二瓶洗手液。细看失败轨迹，学生把第一瓶放进柜子后又把它拿了出来，等于在原地打转。

被选作“证据”的那次成功轨迹则是另一番景象：第 19 步时学生手上还拿着第一瓶，就在垃圾桶里发现了第二瓶，可试了好几次都捡不起来；直到第 40 步把手里那瓶放回柜子，第 43 步才顺利捡起第二瓶，第 45 步完成任务。

模型从这次成功经历里提炼出的技能，特别强调要把垃圾桶也列入搜索范围，并且要确认每次捡起动作真的生效。带着这个技能重跑 4 次，全部在 18 步以内成功，对照组 4 次则全部失败。重放增益直接拉到 0.878，几乎是满分的差距。

第二个案例在搜索类任务里，问题是：葡萄牙公主安东尼娅的母亲是什么时候去世的？6 次失败尝试全都直接搜“安东尼娅的母亲去世日期”，搜到的是另一位同名公主玛丽亚·安东尼娅，日期自然答错。成功的那次换了个思路：先搜母亲是谁，确认是玛丽亚二世，再专门搜玛丽亚二世的去世日期，一下就对了。

模型从中总结出的技能是一句很克制的话：遇到问“某人的亲属”这类问题，先确定亲属的身份，再搜具体属性；并且特意要求不能把答案或具体人名写进技能里。这个设计很细，为的是防止模型靠“偷看答案”作弊拿高分，而是真的学到一种能迁移的解题策略。

该任务重放后 4 次全部答对，对照组只对了 1 次，增益为 0.469。

这两条路还会继续往下走。

论文点到了几项前作，这条研究线怎么一步步演化过来，值得单独说说。

2026年的SDAR从外部技能库里检索技能，再交给老师模型——技能库固定，不随训练变化。同年的OPID往前走了一步，用外部模型从已完成的任务轨迹里提取技能，好比请了个外部顾问来写总结，比固定库灵活，可技能生成还是跟学生的训练过程脱节。

再往前是SEED，本文反复提到的最强基线。它头一回让模型靠监督微调自己学会写技能，不再依赖外部分析员或固定库。这个转折很关键：技能生成这件事第一次由模型自己完成，不再外包。

不过SEED留了个尾巴：技能生成器是提前训练好的，训练完就不再更新，没法跟着强化学习主干的进步继续进化。RSIPO就在这个基础上把“技能生成”拉进了强化学习的实时循环，让技能和策略同步成长——论文标题里“协同进化”这个词就是这么来的。

写在后面

读这篇论文，真正触动我的不是RSIPO的技术设计，而是那张统计图——它展示老师在各种情况下表现的好坏。

研究者很诚实地摆出一个意外现象：技能增强的老师，在学生“半生不熟”的阶段最管用；学生完全不会或者已经完全掌握时，老师的额外帮助反而没那么大，有些情况下老师还更差。这个发现比RSIPO的方案更有普适性，它揭示的是关于“指导”和“教学”的更一般规律：好的指导不是均匀分布的，只在某个特定能力窗口里最有价值，窗口之外给指导甚至可能是负贡献。

教育领域常讨论一个概念叫“最近发展区”，说的是学习者刚好能理解、还没完全掌握的那个区间，教学在这个区间效果最好。这篇论文用重放实验，等于拿数据实证了AI训练里也有类似现象，只是他们没用这个词，直接拿统计数字说话。

还有个细节值得单拎出来。技能奖励的设计里，论文特意说明奖励信号rx不做经验贝叶斯收缩，理由是策略梯度信号要保持无偏，收缩会压掉本该存在的差异；信任系数那边却相反，必须收缩，因为噪声会直接扭曲损失权重。两个看似矛盾的处理放进同一个框架，反映的是一种更深的设计哲学：同一个原始信号（重放增益），用在不同地方该不该做统计修正，取决于它最终要承担什么角色，而不是一刀切。这种分开处理，比不少论文里简单粗暴的统一公式更像有人仔细琢磨过。

论文写局限也很坦诚：重放机制要把任务环境重置到同一个起点才能对比，所以这套方法目前只能用在模拟器或者有离线检索语料支持的搜索环境里。换成真实的网页浏览任务，网页内容随时变化，没法倒回完全一样的起点重跑一遍，对照实验的基础就不成立了。这是个挺现实的工程约束，论文自己也没回避。

如果技能和策略真能一直这样协同进化下去，AI学一项技能的方式，会不会越来越像人类带新人上手一门手艺——不是先把所有规矩背熟再干活，而是干着干着才慢慢总结出哪些经验真管用，哪些只是走个过场？

Q&A

Q1：RSIPO是什么？

A：RSIPO全称递归自我提升策略优化，是一个强化学习框架，让AI智能体在训练中同时进化任务执行能力和自我总结技能的能力。核心做法是通过轨迹重放检验技能是否真有用，并动态调整对自我生成老师的信任程度。

Q2：RSIPO和SEED这类方法最大的区别是什么？

A：SEED的技能生成器是提前用离线数据训练好的，训练完不再更新；RSIPO让技能生成能力随强化学习训练实时进化，还会评估老师给的指导靠不靠谱，不靠谱就主动降低甚至关掉对老师的信任。

Q3：RSIPO在实际测试中效果如何？

A：ALFWorld居家任务测试里，用Qwen2.5-7B模型，RSIPO平均成功率达到98.6%，比最强对比方法SEED高2.5个百分点，比标准GRPO方法高17.4个百分点；搜索类问答任务上也拿到同类方法中领先或接近最优的表现。