RSI-Anything：反馈很贵时，AI如何靠世界模型持续变聪明

2022年底有个现象挺耐人寻味。大语言模型能否自我改进，当时被反复拿出来讨论，于是冒出了各类“自我反思”做法——让模型回看自己错在哪，然后重来一遍。这套路子在数学题和代码生成上确实奏效，模型多跑几遍，分数就往上走。

可一旦搬到机器人控制、化学实验、GUI操作这类要靠真实世界给反馈的场景，情况立刻不一样了。

道理不复杂。数学题让模型自己核对一遍答案，成本几乎为零；换成让机器人到真实验室做一次实验，几个小时、几百美元试剂就出去了。模型想“多试几次改进自己”，每试一次都是真金白银，试错空间被卡得很死。

论文要回答的就是这个问题：外部反馈又贵又慢时，一个系统怎么才能继续变聪明？

**反馈贵这件事听着抽象，换个场景就好懂了**。

拿学做菜打比方：每炒一盘菜，买菜、生火、动手、尝味，一次试错就是半小时加一堆食材钱。要是能先在脑子里“过”一遍，大致判断这个火候配这个调料是什么味道，再决定下不下厨，试错效率会高不少。真正开炒的那几次，也更有针对性。

论文给出的核心思路，就是给AI配一个这样的“脑内模拟器”。

世界模型*：一种根据当前状态和某个候选动作，预测接下来会发生什么的模型。它并不真的执行，只是“想象”执行后的结果。

论文作者来自PhAI Labs、香港中文大学、上海交大、复旦、牛津、斯坦福、北大等多家机构，系统被命名为**RSI-Anything**。RSI的全称是“Recursive Self-Improvement”，即“递归式自我改进”。

递归自我改进（RSI）*：系统把每一轮交互里积累的经验转成持久的能力提升，而这种提升会继续作用于下一轮决策，像滚雪球一样越滚越大。

系统具体怎么运转？得一层层拆开看。

先预测，再出手：为什么要让AI“脑补”结果

RSI-Anything的底座是一个叫JEPA-Anything的预测基础模型，它做的事说白了就是：给定当前情况和上下文，预测接下来的“潜在状态”长什么样。

其中有个专业设计叫正交预测因子分解（OPF，Orthogonal Predictive Factorization）：把待预测目标拆成若干互相独立、互不重叠的因子，让各自的预测器分别去猜，最后再把结果拼成完整预测。

通俗点说，与其让一个模型硬猜“接下来会怎样”这种大而笼统的问题，不如拆成几个小问题分头猜、猜完再组装。每个小预测器任务更聚焦，准头也更高。

这套机制在代码修复任务里怎么落地？流程是：先让一个7B参数的代码模型（ReasonFlux-Coder-7B）针对一段有bug的代码给出四个候选修复方案；然后世界模型对四个方案分别预测执行后大概率是什么结果——通过测试、报错，还是运行超时；模型据此打分排序，挑出最有希望的那个真正执行，再看实际结果与预测是否吻合。

**好比修一台坏掉的电器，有四种修法，与其四种都拆开真试一遍，不如先凭经验判断哪种最可能成功，优先试它。**

不做这一步会怎样？论文做了对照实验：完全随机挑一个候选去执行，隐藏测试集上的成功率是26.0%；换成一个固定不变的静态打分器，成功率26.3%，提升很有限。引入世界模型预测来给候选排序后，成功率升到29.2%。这两三个百分点的背后，是候选方案排序准确率从66.5%涨到72.8%，衡量预测可信度的Brier分数则从0.488降到0.358（分数越低，预测越靠谱）。关键在于，三种方法消耗的在线测试调用次数几乎相同，都在3.7次左右——同样的钱，办了更多的事。

Brier分数*：衡量概率预测准不准的一项指标，数值越低，说明预测的概率分布与真实结果越吻合。

预测会过时：模型得跟着经验一起进化

光有预测还不够。

论文点出一个很值得琢磨的矛盾：如果去改进生成候选方案的那个策略模型，它产出的候选分布就变了，而世界模型是在旧候选分布上训练的，碰上新分布的候选，预测可能失准。反过来说，如果去改进世界模型，它给出的排序变了，又会反过来影响策略模型该学哪些数据。

两个组件互相牵制，单独改哪一个，都不能保证整体变好。

**这就像两人同划一条船，一个人突然换了划桨节奏想加速，另一个还按老节奏划，船反而打起转来。**

论文提出的办法，是搭一套“可靠性检查”机制。世界模型不会收到反馈就一股脑跟着更新，它先判断自己近期的预测准不准。一旦发现预测开始“不靠谱”——比如预测结果和真实结果对不上的比例在升高——同时手头的数据和预算又都够用，才会启动一次模型适配更新。

更新做完，系统也不会马上拿来用，还要过两道关：一是组件检查，看单独的策略或模型是不是真变好了；二是配对兼容性检查，看新策略配新模型整体上是否强过原来的组合。两关全过，这次更新才留下，进入下一轮循环；只要有一关没过，就退回原版本，继续用老组合。

这套机制在代码修复任务上拿到了实打实的收益。代码生成模型固定不动，只让世界模型跟着执行反馈持续适配，隐藏测试成功率就从29.2%升到31.2%，在线测试调用次数几乎没动（3.72次）。两个百分点的提升，是在“花同样的钱”的前提下拿到的。

GUI操作里，AI学会了少走弯路

代码修复相对封闭，论文又测了更接近日常使用的图形界面（GUI）操作任务。

经典测试之一是click-checkboxes：让AI在网页上勾选指定复选框再提交。听着简单，可AI很容易点错、重复点，或者提交了错误的选项。

没做任何强化的基线配置下，成功率是51%。RSI-Anything用交互反馈更新策略和世界模型之后，中间配置升到79%，最终配置达到99%。动作效率的变化更有意思：平均每轮操作的动作数从5.30次降到3.21次，降幅接近四成；重复点击次数从237次直接归零；提交错误从9次降到1次。

**这个数据背后其实藏着一个容易被忽略的细节**：

中间那版配置的动作数虽然降到最低（2.93次），却犯了21次提交错误，比基线还多。最终配置的动作数比中间配置略多（3.21 vs 2.93），错误却几乎消失。这说明只盯着“效率”一个指标去优化，可能把“准确性”搭进去；真正好的系统得在两者之间找平衡，而不是一味让动作越来越少。

在更复杂的OSWorld环境（模拟真实电脑桌面操作）里，RSI-Anything比一个叫RLAnything的强化学习系统，任务成功率又多出5.5%的相对提升；相比最初始的未优化版本，提升幅度达到18.4%。

实验室里的AI，版本越迭代越懂行

下一个场景离普通人的生活更远一点，但更能说明问题：实验室任务规划。

论文用的基准测试叫LabHorizon，它要求AI在遵守试剂、仪器、操作顺序等约束的前提下完成两类任务：一类是看懂视觉场景、选出下一步该做什么（Level-1），另一类是生成一整套符合标准操作规程的动作序列（Level-2）。

研究团队追踪了同一个40亿参数（4B）策略模型在持续自我改进过程中的五个连续版本，在同一个200道题的测试集上反复打分。结果依次是：21.80%、38.03%、41.99%、44.56%、46.01%。从第一版到最后一版，分数翻了一倍多，整整提升了24.21个百分点。

这组数字最打动人的地方，不是最终分数有多高，而是一路稳步爬升，没有大起大落。这说明每一轮保留下来的改进都是真实、能持续积累的，不是运气好蒙对了一次。

只靠4B参数，这个模型最终版本的Level-2分数到了46.01%，反倒压过一个专门搭起来的参考系统（45.32%）。那套系统用了经过训练的350亿参数模型，还加了Gemini 3.1 Pro来模拟评估。一路自我迭代下来，小模型把规模更大的组合系统追平甚至甩在了后面。

化学实验室：AI挑选反应条件，比贝叶斯优化更省实验次数

化学合成优化是经典的“每次尝试都很贵”的场景。研究人员想找出某个Suzuki-Miyaura偶联反应（有机化学里很常用的一种碳碳键连接反应）的最佳催化剂、碱、溶剂组合，可每换一组条件就得真做一次实验，用气相色谱（GC）或液相色谱质谱联用（LC-MS）测产率。

贝叶斯优化*：一种经典的黑箱优化方法，专门用在实验代价很高、无法穷举所有可能性的场景里，通过已有的实验结果推测下一步最该试哪个条件。

论文让RSI-Anything和贝叶斯优化在相同实验预算下正面比较。GC分析那组实验限定20次，RSI-Anything找到的最佳产率是93.0%，贝叶斯优化是87.5%，差了5.5个百分点。LC-MS分析的流动化学实验限定40次，RSI-Anything的平均最佳观测产率达到96.15%，贝叶斯优化只有82.16%，差距拉大到接近14个百分点。

这里用的预测模型，把专门做化学反应预测的ReactionT5模型和JEPA-Anything的预测架构结合在一起，构造出一个能根据反应物和候选条件预测产率分布的工具。每做一次真实实验，测得的产率都会反过来帮这个预测器调整，让它对下一次该选哪个条件判断得更准。

**这就像老手厨师尝菜**。新手可能要把能想到的调料搭配挨个试一遍，才找得到最合口的那一版；老师傅靠经验尝上一两次，方向就八九不离十，越试越准，不必把所有组合都白白耗掉。

免疫科学：从预测模型到一个具体的治疗假说

最后这个应用场景，是整篇论文里跨度最大的一个，从代码、界面、实验室规划、化学实验一路延伸到免疫学研究。

研究团队做的是一套端到端的免疫科学工作流，一共分三层。最底层，一个叫Agent Genesis的系统负责自动搜索科学智能体的工作流程和模型配置，最后挑出一套专门用来构建模型的智能体工作流。中间这层产出的东西叫“免疫世界模型”，细胞、组织、个体三个层级的免疫状态它都能表示，还能预测施加某种具体干预之后会出什么结果——细胞因子、基因扰动、候选药物都算干预。最上面一层是分析智能体，它拿着已经固定下来的预测模型，把模拟、评估、调用工具、修正分析、给候选假说排序这一整套流程协调起来。

流程走到最后，系统先做了一轮自我修正，把一批筛出来但站不住脚的细胞因子配对候选方案排除掉，然后给出了一个具体的治疗假说：联合使用SIRPα抑制剂和IL-36γ轴调节。这个假说还没经过实验验证，但整套系统从头到尾一步步推下来，得出的是一个能拿到实际中去检验的科学猜想。

这个案例最有意思的地方在于，它说明“预测-反馈-保留”这套机制不只能修代码、点按钮，甚至能一路延伸到生成具体的、可供湿实验验证的生物医学假说。

这套系统到底解决了什么根本矛盾

回过头看，整篇论文其实在回答一个很朴素的问题：当你没法无限次试错的时候，怎么让一个AI系统还能持续变聪明？

办法并不在于让模型更“用力”地反复尝试，关键在于赋予它“预判”的本事：先在内部推演一遍，再把有限的真实试错机会集中到最有希望的方向上。当然，这种预判能力也得随真实反馈持续校正，不然推演就会和现实越偏越远。

Q&A

Q1：RSI-Anything是什么？

A：RSI-Anything 是一套面向通用的 AI 自我改进框架。它借助预测性的世界模型来指导动作选择与学习数据筛选，从而让 AI 系统在反馈成本高昂的真实场景中不断变强。

Q2：RSI-Anything在代码修复任务上效果如何？

A：代码生成模型固定不变的情况下，引入世界模型预测选择后，成功率从26.3%提升到29.2%；再经过世界模型自适应调整，进一步提升到31.2%，测试调用次数基本没变。

Q3：RSI-Anything和传统的贝叶斯优化相比有什么优势？

A：在化学反应条件优化实验中，同样的实验预算下，RSI-Anything的平均最佳产率达到96.15%，贝叶斯优化只有82.16%，两者相差接近14个百分点。