浙大团队提出VLA-Δ:用状态差异监督破解机器人动作生成难题
你有没有想过,为什么家里的扫地机器人撞到桌脚后,还会固执地朝同一个方向撞第二次?这不是因为它笨,而是因为它根本没理解"撞到桌脚"这件事意味着什么。它只是在重复一套记好的动作序列,而不是在理解空间里正在发生的变化。这个问题放大到更复杂的机器人身上会更明显。想象一个机械臂要完成"把苹果放进容器"的任务,结果...
扫地机器人撞上桌脚,为什么还会固执地朝同一个方向再撞一次?
不是它笨。它压根没弄明白“撞到桌脚”意味着什么,只是在重复一套记好的动作序列,对空间里正在发生的变化毫无感知。
任务越复杂,这个问题越扎眼。一个机械臂要把苹果放进容器,结果还没碰到苹果就提前合上了夹爪;或者抓取失败后照样朝放置点移动,像什么都没发生。这类场景在当前的机器人研究里相当普遍,并非个例。
这篇论文来自浙江大学
机器人到底卡在哪里
想弄懂这篇论文的价值,得先看清现在的机器人大脑是怎么运转的。
目前主流的机器人控制系统叫VLA模型
VLA模型*:Vision-Language-Action模型的简称,指能同时处理视觉、语言和动作三种信息的机器人控制系统,RT-2、
OpenVLA、π0都属于这个家族。
这类模型的训练逻辑说起来直白:喂给它大量“看到的画面加对应的动作”的配对数据,它就学着从画面直接映射到动作。听着挺合理,毕竟人学开车也是靠大量练习形成肌肉记忆。
问题恰恰出在这。模型学的是观察和动作之间的对应关系,物理世界里到底发生了什么变化,它并不关心。它记住的是“看到这个场景就该这样动手”,而不是“物体现在处于什么状态,接下来状态会怎么转变”。结果就是模型很容易陷入“背答案”的状态,遇到和训练数据稍有出入的情况,就容易出戏。
好比一个学生死记硬背了一百道数学题的解法,看到第一百零一道题只换了个数字,就完全不知道怎么下笔。他没理解背后的数学原理,只记住了特定题目和特定答案的配对。如果训练时多加一步“讲清楚每道题背后的数学逻辑是什么”,学生遇到新题目至少知道该往哪个方向想,而不是直接卡死。这个比喻精确对应着VLA模型的核心缺陷:缺乏对中间物理状态变化的显式监督。
那有没有人尝试解决这个问题?有,但解决得不够彻底。
论文把现有的解决思路分成了几类。第一类叫推理式VLA,比如
第二类叫
世界动作模型
机器人有了这类方法,看上去就像长了想象力。可生成未来图像这个动作本身就极耗算力;况且图像重建只管画面像不像样,至于哪些变化才是完成任务真正需要的,它说不准。也就是说,模型也许能画出一张挺逼真的未来图景,但图里哪个细节对任务最关键,它自己未必拎得清。
第三类叫
隐空间世界模型
三类方法都栽在同一个地方:它们拿来监督的东西,不是过于抽象(任务语义),就是过于表面(视觉画面),真正左右动作怎么做的那个核心变量始终没被碰到——物体的位置如何变化、机器人和物体之间的接触状态如何变化。
VLA-Δ
既要懂语义,也要懂运动细节
VLA-Δ的设计思路是搭建一组可学习的查询向量
物理状态差异查询
这份表示不是凭空产生意义的。论文设计了三条监督路径,分别从三个角度逼着这组查询学会表达真正有用的信息。
第一条路径叫
结构化转变槽
模型里各有特定的一组查询向量对应这九个变量,等于给每个查询划定了明确的职责。比如专管“任务进度”的那组查询,得学会预测当前任务完成到百分之多少、下一步又能完成到百分之多少;专管“接触状态”的那组,则要学会判断夹爪眼下有没有碰到物体,之后是建立接触、保持接触,还是分开。
这套思路到底像什么?
可以拿带新员工上生产线来打比方。只丢一句“看老员工怎么做,照着模仿”,他上手可能挺快,可流程一变就懵。换种带法:把产线拆成质检、装配、包装几个明确岗位,每人盯住自己那个指标,突发情况一来,至少各岗位都知道该看什么变化。反过来,所有信息混在一起交给一个人全权处理,顾此失彼不说,连基本状态都判断不清。
结构化转变
第二条路径叫稀疏
光流
结构化转变槽盯住了几个关键变量,可它粒度毕竟粗,物体移动、夹爪靠近、局部对齐这类细腻的视觉运动细节覆盖不到。论文于是又叠了一层光流监督,让模型预测当前画面与未来画面之间每个像素的二维位移,等于给模型配了一枚“动作细节放大镜”。
第三条路径最耐人寻味,叫
未来状态差异文本
这段文字并非随意生成,靠的是模型原生的自回归语言生成机制学出来的。论文还设了一道关键的注意力限制:生成这段文字时,文字部分只能看到此前已生成的文字和那组查询向量,原始视觉语言输入是看不到的。
这道限制听着绕,用意却明白。文字生成若直接看到原始画面,查询向量就形同虚设,模型尽可从画面抄答案绕过去。把这条捷径强行切断,所有关于当前场景的信息就都得先过查询向量这个“中转站”,才能影响最终生成的文字。
好比考试不许翻书抄答案,只能拿自己整理过的笔记答题。书一翻,笔记记没记好都无所谓,反正能作弊;捷径一断,知识才被迫真正内化进笔记。模型里的查询向量就是这份“笔记”,得足够扎实才撑得起后面的文字生成。少了这道限制,查询向量很可能学成一堆空洞向量,起不到任何信息压缩的作用。
三条路径合到一处,就是从三个维度逼这组查询向量:任务语义要懂(文字监督),具体状态变量要懂(结构化槽监督),视觉运动细节也要懂(光流监督)。缺哪一样,信息都不完整。
不过有个关键设计得说清楚:三条监督路径只在预训练阶段用。到了具体任务的微调阶段,模型只用普通动作学习目标训练,不再需要额外标注这些物理转变信息。部署上线跑任务时,模型直接从当前观察生成动作,既不用先生成那段差异文本再倒推动作,也不用先想象未来画面。
这么设计避开了一个常见的坑:每次推理都要先生成一段文字描述或一张未来画面,机器人反应速度就会被拖慢,实时控制根本做不到。VLA-Δ把这些“思考”过程压进预训练阶段学到的查询表示里,推理时直接复用,不必重新生成。
数据从哪来
说到这里难免要问:这些物理状态变化的标注信息究竟从哪来?总不能全靠人工一帧一帧标,成本太高了。
论文团队搭了一套自动化数据标注流水线,处理来自DROID、MolmoAct、RH20T三个数据源的机器人演示数据,总规模约484小时、2400万帧。
这套流水线先把所有数据统一转换成
视觉层面的标注则交给专门的视觉模型完成。
SAM 3
UniDepth V2
MegaFlow
这三个视觉工具分工明确:定位物体位置、估算深度信息、计算运动轨迹,三者合起来才能把语义标签和具体的空间几何信息对齐,生成最终统一的物理状态转变标注。
光靠自动化流水线难免出错,论文因此设了多层质量把关。先由程序自动检查格式错误、时间错位、坐标无效这些明显问题,再用
这说明流水线产出的标注质量相当可靠,不是粗糙的伪标签,也正是整个方法能生效的前提。标注质量太差,后面模型结构再精巧,学到的也只是噪音。
实验结果说了什么
设计思路再漂亮也得看实际效果。
论文在三个场景下做了验证,仿真测试
在
更能说明问题的是LIBERO-Plus上的测试。这个基准盯的就是环境出各种扰动时模型还能不能正常干活,扰动分四类:语言表述变、光照变、背景变、布局变。
语言扰动这一项,VLA-Δ拿到89.0%。指令换个说法,模型要是真吃透了任务背后的物理逻辑,就不会被措辞的小改动带跑;反过来,只记住特定句式和特定动作的对应关系,换个说法它就懵了。这恰好印证了论文一开始的担心:过度依赖观察动作配对,模型的抗干扰能力会偏弱。
双臂机器人操作基准RoboTwin 2.0上,VLA-Δ在Clean和Random两种设置下平均成功率分别是90.06%和89.74%,对比方法里都排第一,比第二名ZR-0分别高出1.36和1.76个百分点。
还有个细节值得拎出来说。从Clean切到Random,也就是场景带上各种随机扰动之后,VLA-Δ的成绩只掉了0.32个百分点,ZR-0掉了0.72个百分点。
具体任务层面,VLA-Δ在BlocksRankingSize(按大小排列积木)和HangingMug(挂杯子)两项上拿到最高成绩。前者要反复抓取、搬运、放置,后续操作还得根据前面放置的结果调整空间关系;后者要旋转、重新抓握、挂钩,整个过程涉及物体在桌面支撑、夹爪抓握、挂架支撑三种状态之间切换。这两个任务正好对应“渐进式空间调整”和“多阶段接触转变”,也正是VLA-Δ监督机制特别用力的地方。
真实世界里表现怎么样
仿真环境再漂亮,终究隔着一层。论文团队在真实场景里做了测试,VLA-Δ平均成功率达到68.0%,对比方法中排名第一,比π0.5高出5.5个百分点。
避障任务上,VLA-Δ拿到42.5%的成功率,同样是最高的。这项任务要求机器人把胡萝卜放到架子上,途中不能碰到旁边的杯子。论文把这个结果和Future-State Difference Text里“物体约束”那部分内容对上了号:这段文字描述明确写了要避开哪些障碍物、要保持哪些物体间关系,这些信息直接影响了模型在真实抓取时对碰撞风险的判断。
在空间推理、精细操作两项上,拿下最高分的同样是VLA-Δ。原因或许在于两点:结构化转变槽中有专门记录空间位置的变量,光流监督又补足了视觉细节。
拆开看每个部件的贡献
方法好不好,只看最终分数不够,还得看每个组件到底贡献了多少。论文为此做了详细的消融实验。
起点是一个只用普通视觉语言特征的基线,平均成功率95.70%。加上那组可学习的查询向量机制,升到96.25%,说明压缩的查询表示本身就有帮助。单独加未来状态差异文本监督,升到97.20%;单独加结构化转变槛监督,升到96.90%;单独加光流监督,升到97.35%。
三者全部叠加,也就是完整版VLA-Δ,最终成绩98.40%。这条数字曲线说明一件事:三条监督路径不是互相替代,而是互相补充。每条单独加进去都有正向效果,可没有哪一条能顶替另外两条,叠在一起效果最好。
论文还做了一个很细的可视化分析,把负责结构化转变槛的那组查询向量的隐藏状态提取出来分析。更有意思的是,即便后续在LIBERO上用纯动作监督微调模型,这些查询向量依然保持着七个清晰可分的簇。预训练阶段学到的语义分工结构,并没有在微调中被动作学习目标冲掉,它继续在后台支撑着模型对任务相关信息的组织方式。
这就像一个人读研究生之前先经过严格的本科专业训练,后来即便跨行做别的工作,早年打下的那套系统性思考框架依然会在不知不觉中影响他处理新问题的方式。预训练阶段学到的结构不是昙花一现,它成了后续学习的底座。
论文团队还做了注意力可视化,对比带不带三种转变监督的模型,在“叠毛巾”和“挂马克杯”两个任务上,查询向量究竟关注图像里的哪些位置。带监督的模型,注意力明显集中在目标物体、夹爪、接触区域这些任务相关的地方;不带监督的模型注意力更分散,甚至分到背景这种和任务无关的区域上。这张对比图直观说明:显式的物理状态监督确实在塑造模型关注哪里这件事上起了作用,分数提升不是凑数据凑出来的,背后有实实在在的注意力机制变化撑着。
写在后面
读完这篇论文,最让我多想一层的是那个“切断捷径”的设计。
论文刻意限制未来状态差异文本的生成过程,不让它直接看到原始画面,必须先经过查询向量这个中转站。初看是个小细节,往深里想,这其实是在人为制造一种信息瓶颈,逼着模型把有限的表达能力花在真正重要的东西上。
这让我联想到一件完全不相关的事:写摘要训练。很多人写论文摘要习惯直接从正文里摘抄一两句话拼起来,这样写出来的摘要往往读着生硬,因为它没经过真正的消化。真正好的摘要,是先把全文读懂、理解透,再凭着理解重新组织语言写出来,这个过程本身会倒逼你发现自己哪里没真正弄懂。VLA-Δ里这个注意力限制,起到的就是类似的强迫消化的作用。
论文里有一处数据让我挺意外,就是结构化转变。
这篇论文留了个开放问题没答:三条监督信号的权重到底怎么定?文中提到几个加权系数,可调参过程没细说。三者一旦失衡,比如光流监督的权重压得过重,模型会不会跑偏,变成一个只盯像素运动、把语义理解丢一边的“运动传感器”?这条边界划在哪儿,估计还得靠更多实验去试探。
机器人哪天才算真正“看懂”自己手上发生的事,而不是把一套记好的动作再演一遍?这篇论文朝这个方向走了一步,但路显然还长。
Q&A
Q1:VLA-Δ是什么?A:VLA-Δ是浙江大学
Q2:VLA-Δ和之前的机器人控制方法有什么区别?A:以往的做法,像推理式VLA,只在语言层面做任务规划;世界动作模型则靠预测未来画面来指导动作。这些方法都没能直接监督物理状态本身的转变。VLA-Δ走的是另一条路:结构化转变槛、光流、未来状态差异文本,三条路径一起监督物理状态的变化,让模型真正弄明白场景里在发生什么。
Q3:VLA-Δ在实际测试中表现怎么样?A:在LIBERO仿真基准上,VLA-Δ的平均成功率达到98.4%,在对比方法里是最高的;RoboTwin 2.0基准上同样拿到最高分。真实机械臂实测中,平均成功率68.0%,比π0.5高出5.5个百分点,避障和精细操作这两类任务上尤其亮眼。