VLA模型"看懂却做不对":PAIR用中间表示架桥
你有没有想过,一个机器人在接到"把杯子放到桌上"这句指令后,脑子里到底发生了什么?它要先看懂眼前的画面:桌子在哪,杯子在哪,手在哪。然后它要理解这句话的意思。最后,它要把这些理解变成一串具体的数字,告诉机械臂的每个关节该转多少度,夹爪该夹多紧。这整个过程,看起来是一气呵成的,但其实中间藏着一道很深的裂缝。...
接到"把杯子放到桌上"这种话,机器人脑袋里会经历什么?这个问题很少有人细想。
它得先弄明白眼前的局面:桌子在哪个位置,杯子在哪,自己的手在哪。接着还要读懂这句话的含义。最后,这些理解要换算成一串具体数值,交给机械臂每个关节去执行转多少度、夹爪该用多大力度。整个过程表面上一气呵成,实际上中间横着一道很深的裂缝。
这道裂缝,正是这篇论文要处理的对象。
**为啥"看懂"和"做对"当中隔着一条缝**
如今机器人控制领域用得最多的模型,是VLA。
VLA(Vision-Language-Action模型):把摄像头拍到的画面和语言指令直接对应成机器人连续动作的一类模型,说白了就是"看图、说话、再动手"合为一体的系统。
训练这类模型的路子往往相当粗放:喂给它大量人类示范,让它记住"这个场景、这句话,对应这个动作",再用一个损失函数去逼近标准答案。至于模型内部如何从"理解画面和语言"走到"生成动作序列",中间没人过问,全凭它在训练里自己摸出来。
这就像带一个新员工下厨,你只给他看菜谱上的字和成品的照片,从不讲切菜怎么下手、什么时候下锅、翻炒该用多大劲,也不说怎么从"看懂菜谱"跨到"真能下厨"。他最后做不做得出来,全靠自己乱撞,撞对了算运气,撞不对,那道缝就一直卡着,菜谱看懂了,菜还是做不像样。中间不给任何指点,他只能用反复试错把"看懂"和"做对"之间的桥一点点拼起来,代价是失败更多、学得更慢。
论文给这道裂缝起了个名字,叫"
此前已有研究试着把这个转换环节摆到明面上,例如借助视觉轨迹、物体可操作性提示、视觉推理链条之类的手段,给模型补一些中间线索。这些尝试说明了一件事:把跟控制有关的结构露出来,对动作生成确实有帮助。不过论文作者想再往前推一步,他们抛出的问题是:能否直接从示范数据的两头——也就是"任务是什么"和"动作怎么做"这两个现成的信息源——把那个缺失的中间表示学出来?
**
论文给出的方法名叫
PAIR(Perception-Action Intermediate Representation):一个专门学习感知与动作之间桥接表示的框架,目标是在视觉语言理解和动作生成之间搭一座明确的桥。
PAIR的设计分两条线走,一条从动作那头起步,一条从感知那头起步,最终把两条线合到一处。
动作这条线上,论文用了一个叫
Masked Action Autoencoder
做法是这样:取一段专家录制的动作轨迹,随机遮掉其中若干时间步,再掺入一点高斯噪声把它搅乱,随后让编码器把这段被破坏的轨迹压成一串名为
Action Latent Tokens
这个设计的关键落在"遮挡"和"加噪"两个动作上。假如一个动作步骤都不遮,编码器完全可以偷懒,把每个时间点的动作值照原样复制一遍就还原完了,这么学出来的隐藏向量里压根没有"动作之间如何衔接"的信息。好比考试允许直接抄答案,学生就永远练不会推导。遮挡逼着模型只能靠上下文去猜被盖住的那部分,而这个"猜"的本事,恰好对应动作的时序结构。加噪声则进一步逼它别去死记某个具体数值,转而抓住更稳的动作模式。
感知这条线上,论文设计了一个叫
Bridge Module
这个模块干活的方式,有点像面试官拿着几道标准问题去跟候选人聊。它备好了固定数量的"学习型查询"(
Bridge Tokens
接下来是关键一步:怎样让Bridge Tokens既留得住任务信息,又带得上动作的执行结构?论文的办法是把Bridge Tokens和前面提到的Action Latent Tokens直接对齐,用一个余弦相似度损失,逼着两边对应的时间步在向量空间里彼此靠近。
这个对齐操作,好比给两个各说各的方言的人请了个翻译。感知这头说的是"场景里有什么、任务要干什么"的方言,动作那头说的是"手往哪个方向移多少"的方言。少了这一步对齐,两套表示就永远是两张对不上的地图,模型只能靠最后的动作损失硬把两边拽到一起,效果自然要打折。论文的消融实验也印证了这点:去掉对齐损失后,
把半成品直接放到产线开头,这是早期注入的思路。
光有Bridge Tokens还不够,怎么用才是关键。
论文给出的方案叫Bridge Injection。做法说来不复杂:先将Bridge Tokens投影进动作标记(Action Tokens)所在的空间,再交给动作专家模型(Action Expert)处理。
Action Expert
其中有个细致设计叫自适应门控(
可以拿工厂流水线打比方。通常毛坯件从零开始,逐道工序加工,最后才成成品;PAIR干的事,等于在流水线起点就放进一个已经做过部分预加工的半成品,这个半成品携带着“这个零件最终大致长什么样”的信息。反过来,如果不在起点注入,改到流水线中段或末端才把这个半成品插进去,工人可能已经照着原来的毛坯走了好几道工序,中途插入反倒容易打乱既有的加工节奏。论文确实比较过:注入位置从起点挪到中间、末端,或者每一层都注入,结果都不如放在起点。起点注入的平均成功率为98.4%,末端注入降到97.4%,全层注入为97.6%。可见“早点给出方向”比“反复提醒”更有效,这和“磨刀不误砍柴工”的道理有些相通——开头把方向定准,后续精细加工才能顺着走,而不是边走边改方向。
训练结束、进入实际部署的推理阶段后,负责生成Action Latent Tokens的那个自编码器会被彻底丢弃,只留Bridge Module根据当前画面和指令实时生成Bridge Tokens。这个设计有巧思:自编码器只在训练时充当“教练”,把专家动作的结构“刻”进Bridge Module;一旦Bridge Module学会了怎样从感知信息中提炼带动作结构的特征,教练就可以退场——毕竟真正执行任务时,根本拿不到专家动作作参考。
实验结果:从标准测试到真实机械臂
论文在三个仿真基准和七个真实世界任务上验证了PAIR,搭配的基座模型是
LIBERO
在LIBERO上,PAIR把
LIBERO-Plus
这个测试更能分辨一个方法究竟是“真的学到了东西”,还是“死记硬背了训练环境”。结果显示,PAIR把VLA-Adapter的总体成功率从59.1%提高到64.2%,提升超过5个百分点;视角变化和初始状态变化两项提升最明显,分别提高8.1和7.8个百分点。更值得注意的是,从LIBERO到
CALVIN ABC→D
在这个长序列任务上,PAIR把VLA-Adapter的平均完成任务链长度从4.42提升到4.53,把
论文还做了七个真实世界任务实验,用的是一台
几个最核心的实验数据汇总如下:
| 基准测试 | 基座模型 | 原始表现 | 加PAIR后 |
|---|---|---|---|
| LIBERO(平均成功率) | VLA-Adapter | 97.3% | **98.4%** |
| LIBERO-Plus(总体成功率) | VLA-Adapter | 59.1% | **64.2%** |
| CALVIN(平均完成序列长度) | VLA-Adapter | 4.42 | **4.53** |
| CALVIN(平均完成序列长度) | OpenVLA-OFT | 4.28 | **4.40** |
| 真实世界七任务(平均成功率) | OpenVLA-OFT | 51.4% | **65.0%** |
**探进模型内部:Bridge Tokens里装了什么**
任务成功率之外,论文还从表示层面做了一组分析,想弄明白Bridge Tokens到底携带哪些信息。
他们用了一种叫
线性探针
结果是,Bridge Tokens预测当前任务类别的平衡准确率达到87.8%;作为对照,仅用动作信息训练出的自编码器隐藏向量,任务识别准确率只有35.2%。这说明任务语义确实被Bridge Tokens保留了下来,而纯动作结构表示对此是“失明”的——它不知道任务是什么,只知道动作长什么样。
更关键的发现出现在动作信息这一侧。论文测了动作信息在模型哪一层才变得可读:普通Action Tokens要逐层向前传递,经过24层Transformer,动作预测拟合优度(R²)才达到0.844;Bridge Tokens则还没进入任何一层Transformer,就已经做到0.878。
这个差距不小。普通模型的动作标记像新手司机,得一路开一路摸索路况,到了终点才敢说知道路怎么走;装了Bridge Tokens的模型,相当于出发前就拿到一张标好关键路口的地图,不必开到终点才明白路线,起步时方向感就有了。少了这份提前给的方向感,模型就得在二十多层网络里反复试错、拼凑动作结构,理解所需的计算路径被拉长,每层网络的负担也更重——好比让新手司机自己摸出整条路线,而不是事先给他一份路书。
论文还用了一种叫
RSA
结果显示,Bridge Tokens与真实动作的RSA相关系数为0.878,前10个最近邻重合率80.4%;把样本顺序打乱做对照,这两个数字分别只有0.014和21.6%。也就是说,Bridge Tokens不光记住了“这是什么任务”,还记住了“这个任务对应的动作在整体动作空间里处于什么位置、和哪些动作相近、和哪些动作差异大”。
**几组耐人寻味的消融实验**
论文另外做了几组很细的对照实验,值得单独拿出来说。
先看对齐目标怎么选。论文试了不用Action Latent Tokens做对齐目标、直接拿原始专家动作数值去对齐的做法:直接对齐原始动作的平均成功率是97.1%,对齐经自编码器处理后的Action Latent Tokens则达到98.4%。原始动作数值里噪声和冗余细节太多,直接拿来对齐会让Bridge Tokens学得不够干净;经自编码器压缩提纯后的隐藏表示,才是更合适的对齐靶子。
再看自编码器训练时加噪声有没有用。论文对比了干净数据训练和加噪声训练两种自编码器,加噪声让最终平均成功率从97.6%升到98.4%,每个子任务都有提升。这和表示学习里的不少经验对得上:训练阶段适当制造一些“干扰”,模型反而能学到更稳健、更抓本质的特征,而不是记住表面、脆弱的细节。
第三组是注入强度要不要做成可学习的。论文把固定注入强度(1.0和0.5)与自适应门控学出的强度放在一起比:自适应门控达到98.4%,两个固定强度分别是98.0%和98.1%。不同场景、不同时间步需要的“信任度”并不一样——有时Bridge Tokens给的信息特别靠谱,该多听;有时原始动作标记本身就够好,该少掺和。固定强度区分不了这种差异,自适应门控能随当下情况动态调整。
**写在后面**
读完整篇论文,让我反复琢磨的一点是:PAIR并没有去定义“中间表示应该长什么样”,它没说这个桥接层代表物体的几何位置,也没说代表某种可操作性或某种运动轨迹,而是完全让两边的数据自己去“商量”出一套共同语言。这和此前不少工作形成有意思的对照——用视觉轨迹或物体可操作性做中间表示的方法,其实是研究者事先替模型决定了“你应该关注这个物理含义”。PAIR选的是更“谦虚”的做法,让任务语义和动作结构这两股数据自己去塑造桥接层的样子。数据驱动与先验知识驱动之争,在别的领域里也反复出现过。
还有个细节值得单独拎出来说。论文发现,任务身份信息在普通动作标记里“浮现”得特别快,第一层Transformer之后识别准确率就到了97%;动作结构信息却要一直攒到最后一层才完全成形。也就是说,“知道要做什么”和“知道具体怎么做”在模型内部走的是两条节奏完全不同的学习路径:前者几乎立刻就能从视觉语言信息里读出来,后者需要反复的层层加工才能沉淀。这暗示了一件事:未来若想进一步压缩VLA模型的层数来提速,也许可以给“动作结构的形成”单独开一条更短的路径,不必让它跟任务识别挤在同一条计算流水线上慢慢熬。
论文没解决的问题也不少。Bridge Tokens的数量目前跟动作时间步的数量绑定,固定成8个;动作序列变长或变短时,这种绑定关系会不会变得僵硬,目前还没看到讨论。另外,论文的真实世界实验是每个任务单独训练一个策略,要做跨任务的通用策略,Bridge Tokens能不能继续保持这种“桥接”效果,是个开放的问题。
Q&A
Q1:PAIR是什么?
A:PAIR是一个框架,它在机器人“看懂场景和指令”与“生成具体动作”之间建立桥接表示:让专家动作结构和感知特征互相对齐,生成Bridge Tokens并提前注入动作生成模块,帮助模型更顺畸地完成从感知到动作的转换。
Q2:PAIR在真实机械臂实验中表现如何?
A:在
Q3:PAIR推理时还需要用到专家动作数据吗?
训练阶段那套用来提取动作结构的自编码器,部署时并不会留着。Bridge Tokens 靠的是当下的画面和语言指令,边看边生成,不需要喂进任何专家动作数据。