ViSkill让AI智能体用图像存经验，推箱子任务不再每次失忆

人在玩一款没见过的推箱子游戏时，第一局哪怕输了，也能从失败里记住些东西，换张新地图照样用得上。反观现在很多AI智能体，每碰到一个新任务就像失忆，得从零开始摸索。

这篇论文要处理的就是这件事。研究者的答案挺有意思：重点不在让AI变得更聪明，而在让它学会“存图”，不再“存字”。

问题究竟出在哪儿

先交代一个背景。眼下训练能与环境交互的AI智能体，主流路线是强化学习。

强化学习：让AI反复尝试，再依据结果好坏去调整自身行为的一种训练方式，有点像用奖惩教狗做动作。

智能体在推箱子、走迷宫这类任务里一遍遍试错，做对了给奖励，参数随之慢慢调整。可这些成功经验在参数调完之后就“消失”了，成了一堆模型内部看不见也摸不着的数字。下回遇上类似但不完全一样的任务，AI仍要重新摸索，哪怕上次明明解决过高度相似的问题。

于是有人提出，把成功的经验明确存下来，做成一个“技能库”，下次直接取用。这个想法本身不算新，毛病出在存储方式上。

现有的技能库基本都用文字记录。拿推箱子策略来说，会被写成这样一段话：“玩家在箱子上方，目标在右下方且背后有墙，先向下推，再绕到左边，然后向右推。”

文本中心化技能表示：把智能体的空间经验（位置关系、动作轨迹）用自然语言描述出来存储，再检索复用的方法。

这种做法有个要命的短板。空间布局一旦被压成语言，大量几何信息就丢了。

打个比方，朋友从没去过某座城市，你只靠嘴给他指路去找一家餐厅：“往前走大概两百米，左转，再走一个路口，右手边有个红色招牌。”城市布局稍微复杂些，这段描述就很容易让人在十字路口拐错，因为语言说不清“这条路和那条路之间那点微妙的夹角”，也讲不明“那栋楼到底挡住了什么视线”。换成直接给他一张标好路线的地图照片，出错率会低得多。地图里藏着的空间关系，文字永远转述不全。

智能体面对的网格世界、物体摆放，本质上也是这类“地图型”信息，硬用语言转述，损耗不可避免。

ViSkill是怎么解决的

论文提出的方法叫ViSkill，思路很直接：图像保留的空间信息比文字更完整，那就把技能直接做成图像。

研究团队把每一次成功的交互轨迹渲染成一张“技能卡”。卡片里既有带标注的轨迹截图，按时间顺序展示智能体怎样一步步走向成功，也有一段文字写成的策略说明，两者合在同一张图里，直接当作视觉输入喂给AI。

视觉化的技能表示方式：成功交互的轨迹不丢弃，而是保存成一组带标注的图像序列，配上策略的文字说明，再合成一张图，作为技能的可复用表示。关键在于空间信息不能被转成纯文字。

有个细节值得多说一句。为什么不止存图，还要配一段文字策略？纯图像缺了“为什么要这么做”的抽象总结，纯文字又丢掉空间细节，两者合起来才能既留住几何结构，又传递高层次的意图。这就像一本菜谱，只放一张成品照片，你不知道火候和顺序；只写文字步骤，你又记不住摆盘和食材的实际样子。图文并茂，经验才算传完整。

那么问题来了，AI怎么知道该从技能库里取哪张卡片？论文用的是几何相似度匹配，并非语言匹配。

技能检索与几何相似度：检索时看的是当前任务的空间布局，比如物体相对位置、彼此距离、障碍怎么分布，据此在技能库中找出最相似的历史技能；任务描述的文字并不参与匹配。

为什么要这么做？现实里“同样的指令，不同的地图”很常见。比如同样是“把箱子推到目标点”，不同关卡的墙体位置、箱子初始位置可能完全不一样，解法也截然不同。靠语言匹配，两个任务的指令文字可能几乎一样，对应的最优策略却南辕北辙。只有靠几何特征匹配，才能找到真正可复用的经验。

论文给出了一个检索打分公式，把几何相似度和该技能过去的历史成功率一起考虑，两者加权算出最终得分，分数最高且超过某个门槛的技能才会被取用，否则智能体就自己摸索，不受干扰。

失败的尝试也能派上用场：技能引导奖励

光有技能库还不够。传统强化学习只认“成功”，失败的轨迹哪怕有一部分走对了方向，也拿不到任何正向信号。这其实挺浪费。

论文设计了一个辅助奖励机制，用来衡量智能体的实际轨迹与检索到的参考技能之间走了多远的“重合路径”。一次尝试最终虽然失败了，但走的路线和技能卡片里记录的策略高度吻合，一直走到相当远的地方才偏离，那它也能拿到一部分奖励，不至于颗粒无收。

技能引导奖励这项机制的做法是：拿智能体实际走过的轨迹，去和检索到的参考技能轨迹比对，匹配到一定程度，即便尝试最后失败，也能拿到一部分奖励，前提是方向走得对。

分寸拿捏在这里很关键。这部分奖励设有上限，严格低于任务真正完成时的终局奖励，避免智能体为了蹭一点部分奖励而绕开真正的任务目标。

可以类比老师批改一道没做完的证明题。学生推导到一半思路是对的，哪怕最终没证出来，老师也会给一部分分，不会直接判零。但这部分分永远压在全对之下，不然学生就会盘算着只写一半稳拿分数，不肯冒险把整道题做完。

技能怎么进库，又怎么被淘汰

技能库不是想塞多少就塞多少。每次成功的轨迹都存进去，库很快就会膨胀，重复的、质量参差不齐的技能堆在一起，检索效率和准确性都会被拖累。

论文为此设了两道关卡。头一道是质量关：轨迹长度不能超过某个预算上限，这个上限由任务专用的求解器算出最短路径长度来定，只有足够高效的轨迹才够格入库。第二道是新颖关：库里已经有技能和新轨迹的配置高度相似，就不再重复收录。

质量门与新颖门：一条看轨迹长度是否接近最优解，一条看是否与库中已有技能过于相似，用这两条来筛哪些成功经验值得存进技能库。

库满了以后，淘汰机制也有讲究。不是简单的先进先出，而是把一个技能的历史效用和使用频率放在一起权衡，效用低、又很少被调用的技能优先清出去。这样库里留下来的，始终是那批好用且常用的经验。

这套机制背后是个很朴素的道理：经验的价值不在数量，在代表性和实用性。就像老医生的病例笔记本，他不会把每个病人的病历原样抄一份塞进参考手册，而是挑典型、疑难、能举一反三的案例记下来。什么都记，手册就成了一堆垃圾，真需要时反而翻不到关键信息。

冷启动：别让AI从零开始摸黑走

训练刚开始时技能库是空的，智能体没有经验可参考，只能瞎子摸象式地探索。这会拖慢整个正反馈循环的启动速度——积累经验、用经验指导、再积累更好的经验。

论文为此设计了一个可选的冷启动机制：先用离线的任务求解器生成一批多样化的示范轨迹，再借外部大模型把这些轨迹总结成策略描述，通过“最远点采样”挑出覆盖面最广的一批，提前放进技能库。

冷启动初始化：正式训练开始前，用外部求解器和模型预先生成一批多样化的种子技能填进技能库，让早期学习提速；这些种子技能只影响初期，之后全靠策略自身生成的成功经验来更新。

这就像开一家新餐厅。与其让厨师完全从零试菜、靠顾客反馈一点点摸出受欢迎的菜品，不如先引入几道业内公认的经典菜打底，开业第一天就能有像样的出品，后面再按店里的实际反馈慢慢调菜单。没有这几道“种子菜”，前期生意很可能因为菜品不稳定而流失顾客，错过积累口碑的黄金期。

实验结果：数字说话

论文在三个环境里做了测试：Sokoban（推箱子）、FrozenLake（冰湖寻路）、PrimitiveSkill（三维机械臂操作，含放置、堆叠、开抽屉、对齐、交换五个子任务）。

对比对象相当丰富。既有GPT-5、o3、Gemini 2.5 Pro、Claude 4.5 Sonnet这些顶级闭源模型，也有Qwen2.5-VL系列开源模型，还有专门做强化学习智能体训练的VAGEN和AtlasVA。

结果ViSkill拿到0.89的综合成功率，加上冷启动后提升到0.91，超过所有参与对比的方法，包括表现最好的AtlasVA（0.87）。拆开看，Sokoban上ViSkill达到0.82（加冷启动0.88），FrozenLake上0.84（加冷启动0.85），PrimitiveSkill五个子任务平均成功率直接拉满到1.00。

有意思的是，GPT-5这样的顶级闭源模型在Sokoban上只有0.70，FrozenLake更只有0.63。空间推理和多轮决策，并不是简单堆模型参数规模就能解决的，经验的显式积累和复用，提供了一条参数规模之外的路径。

训练过程的曲线也很说明问题。ViSkill不只是最终成绩更高，收敛速度也明显快于标准PPO算法，Sokoban上尤其明显，冷启动版本从训练一开始就遥遥领先。

消融实验：每个部件都在发挥作用

论文还做了细致的拆解实验，逐个验证每个设计模块是否真的有用。

空间信息被压成文字之后损失有多大？纯文本技能顶替视觉技能后，Sokoban成功率由0.82降到0.63，FrozenLake由0.84降到0.59，两项跌幅都在0.2左右。换成“OCR风格”的技能也一样——文字虽渲染成图片，原始轨迹画面却没留下——成绩同样比完整的视觉技能卡差出一截。说到底，这正好印证了开篇的核心判断：空间信息一旦被文字压缩，哪怕之后再转回图像，损耗也补不回来了。

去掉技能引导奖励，两个环境各掉0.04到0.05个点，说明这部分信号有用但不是决定性的。去掉策略文字说明，Sokoban掉得更多（0.10个点），说明高层次的策略总结对组合型规划任务帮助更大。最致命的是去掉策略优化本身——只保留技能检索和入库，不再训练模型参数——成功率直接腰斩还多，Sokoban从0.82掉到0.29，FrozenLake从0.84掉到0.33。

说到底，技能库并不会自动让模型变强。真正起作用的，是技能库与策略训练之间形成的闭环：模型借助技能做得更好，而表现更好的模型又会产出质量更高的技能，两者分开都只是半成品。

论文对此做了专门验证：将训练过程中积累的技能库，直接交给一个完全未训练过的基础模型使用。即便技能库并非联合优化过程的产物，基础模型的成功率也能从0.14升到0.29至0.33；若换用联合优化生成的技能库，效果更佳，可提升至0.41和0.39。可见策略与技能库协同进化，产出的经验质量更高，迁移性也更强。

**一些实用的调参发现**

超参数敏感性分析论文也做了不少，这里挑几个有意思的讲。

技能卡片的分辨率即便压得很低，性能损失也不大。把图片缩到原尺寸的20%，ViSkill的成绩依然压过纯文本和OCR方案，token消耗还大幅下降。换句话说，视觉技能的优势并非靠堆信息量硬撑，它本身就是一种有效的结构性优势——像素细节大量压缩后，关键的空间关系仍然留得住。

几何特征提取器也未必非得手工精心设计。论文拿通用的视觉特征模型DINOv2替换人工规则特征试了试，结果只比调校过的人工规则低1到2个百分点。技能检索所需的空间结构信息，其实相当一部分能从通用视觉表征中自动恢复。

质量门槛的设定同样有弹性。论文原本用任务专用求解器算出最优轨迹长度来当筛选标准；换成简单的固定长度阈值后，Sokoban上的成绩反而略好，FrozenLake上只小幅下滑。也就是说，在没有现成求解器的场景下，一个粗糙但合理的固定预算也能起到不错的过滤作用。

Q&A

Q1：ViSkill是什么？

A：ViSkill是一个视觉原生技能学习框架。它把AI智能体成功完成任务的经验，制做成带标注轨迹和策略说明的合成图片存下来，再通过几何相似度检索来复用，替代了以往纯文字的技能描述方式。

Q2：ViSkill相比普通强化学习PPO有什么优势？

A：在Sokoban、FrozenLake、PrimitiveSkill三个环境上，ViSkill的综合成功率是0.89，加上冷启动后达到0.91；训练收敛速度也比标准PPO明显更快。原因在于它能显式复用成功经验，而不是只靠参数隐式吸收。

Q3：为什么用图像存储技能比用文字更好？

A：实验里把技能换成纯文本后，成功率下降明显，Sokoban从0.82跌到0.63。空间布局、物体相对位置这类几何信息一旦被压成语言描述，损失会很严重，而图像能把细节完整保留下来。