浙大团队提出VLA-Δ:用状态差异监督破解机器人动作生成难题

资讯 腾讯网 作者:科技行者 全文 5618 字 · 约 15 分钟读完 配图 1 张 分类VLA机器人

你有没有想过,为什么家里的扫地机器人撞到桌脚后,还会固执地朝同一个方向撞第二次?这不是因为它笨,而是因为它根本没理解"撞到桌脚"这件事意味着什么。它只是在重复一套记好的动作序列,而不是在理解空间里正在发生的变化。这个问题放大到更复杂的机器人身上会更明显。想象一个机械臂要完成"把苹果放进容器"的任务,结果...

所属频道 机器人与具身智能

扫地机器人撞上桌脚,为什么还会固执地朝同一个方向再撞一次?

不是它笨。它压根没弄明白“撞到桌脚”意味着什么,只是在重复一套记好的动作序列,对空间里正在发生的变化毫无感知。

任务越复杂,这个问题越扎眼。一个机械臂要把苹果放进容器,结果还没碰到苹果就提前合上了夹爪;或者抓取失败后照样朝放置点移动,像什么都没发生。这类场景在当前的机器人研究里相当普遍,并非个例。

这篇论文来自浙江大学

机器人到底卡在哪里

想弄懂这篇论文的价值,得先看清现在的机器人大脑是怎么运转的。

目前主流的机器人控制系统叫VLA模型

VLA模型*:Vision-Language-Action模型的简称,指能同时处理视觉、语言和动作三种信息的机器人控制系统,RT-2、OpenVLA、π0都属于这个家族。

这类模型的训练逻辑说起来直白:喂给它大量“看到的画面加对应的动作”的配对数据,它就学着从画面直接映射到动作。听着挺合理,毕竟人学开车也是靠大量练习形成肌肉记忆。

问题恰恰出在这。模型学的是观察和动作之间的对应关系,物理世界里到底发生了什么变化,它并不关心。它记住的是“看到这个场景就该这样动手”,而不是“物体现在处于什么状态,接下来状态会怎么转变”。结果就是模型很容易陷入“背答案”的状态,遇到和训练数据稍有出入的情况,就容易出戏。

好比一个学生死记硬背了一百道数学题的解法,看到第一百零一道题只换了个数字,就完全不知道怎么下笔。他没理解背后的数学原理,只记住了特定题目和特定答案的配对。如果训练时多加一步“讲清楚每道题背后的数学逻辑是什么”,学生遇到新题目至少知道该往哪个方向想,而不是直接卡死。这个比喻精确对应着VLA模型的核心缺陷:缺乏对中间物理状态变化的显式监督。

那有没有人尝试解决这个问题?有,但解决得不够彻底。

论文把现有的解决思路分成了几类。第一类叫推理式VLA,比如

第二类叫

世界动作模型

机器人有了这类方法,看上去就像长了想象力。可生成未来图像这个动作本身就极耗算力;况且图像重建只管画面像不像样,至于哪些变化才是完成任务真正需要的,它说不准。也就是说,模型也许能画出一张挺逼真的未来图景,但图里哪个细节对任务最关键,它自己未必拎得清。

第三类叫

隐空间世界模型

三类方法都栽在同一个地方:它们拿来监督的东西,不是过于抽象(任务语义),就是过于表面(视觉画面),真正左右动作怎么做的那个核心变量始终没被碰到——物体的位置如何变化、机器人和物体之间的接触状态如何变化。

VLA-Δ

既要懂语义,也要懂运动细节

VLA-Δ的设计思路是搭建一组可学习的查询向量

物理状态差异查询

这份表示不是凭空产生意义的。论文设计了三条监督路径,分别从三个角度逼着这组查询学会表达真正有用的信息。

第一条路径叫

结构化转变槽

模型里各有特定的一组查询向量对应这九个变量,等于给每个查询划定了明确的职责。比如专管“任务进度”的那组查询,得学会预测当前任务完成到百分之多少、下一步又能完成到百分之多少;专管“接触状态”的那组,则要学会判断夹爪眼下有没有碰到物体,之后是建立接触、保持接触,还是分开。

这套思路到底像什么?

可以拿带新员工上生产线来打比方。只丢一句“看老员工怎么做,照着模仿”,他上手可能挺快,可流程一变就懵。换种带法:把产线拆成质检、装配、包装几个明确岗位,每人盯住自己那个指标,突发情况一来,至少各岗位都知道该看什么变化。反过来,所有信息混在一起交给一个人全权处理,顾此失彼不说,连基本状态都判断不清。

结构化转变

第二条路径叫稀疏

光流

结构化转变槽盯住了几个关键变量,可它粒度毕竟粗,物体移动、夹爪靠近、局部对齐这类细腻的视觉运动细节覆盖不到。论文于是又叠了一层光流监督,让模型预测当前画面与未来画面之间每个像素的二维位移,等于给模型配了一枚“动作细节放大镜”。

第三条路径最耐人寻味,叫

未来状态差异文本

这段文字并非随意生成,靠的是模型原生的自回归语言生成机制学出来的。论文还设了一道关键的注意力限制:生成这段文字时,文字部分只能看到此前已生成的文字和那组查询向量,原始视觉语言输入是看不到的。

这道限制听着绕,用意却明白。文字生成若直接看到原始画面,查询向量就形同虚设,模型尽可从画面抄答案绕过去。把这条捷径强行切断,所有关于当前场景的信息就都得先过查询向量这个“中转站”,才能影响最终生成的文字。

好比考试不许翻书抄答案,只能拿自己整理过的笔记答题。书一翻,笔记记没记好都无所谓,反正能作弊;捷径一断,知识才被迫真正内化进笔记。模型里的查询向量就是这份“笔记”,得足够扎实才撑得起后面的文字生成。少了这道限制,查询向量很可能学成一堆空洞向量,起不到任何信息压缩的作用。

三条路径合到一处,就是从三个维度逼这组查询向量:任务语义要懂(文字监督),具体状态变量要懂(结构化槽监督),视觉运动细节也要懂(光流监督)。缺哪一样,信息都不完整。

不过有个关键设计得说清楚:三条监督路径只在预训练阶段用。到了具体任务的微调阶段,模型只用普通动作学习目标训练,不再需要额外标注这些物理转变信息。部署上线跑任务时,模型直接从当前观察生成动作,既不用先生成那段差异文本再倒推动作,也不用先想象未来画面。

这么设计避开了一个常见的坑:每次推理都要先生成一段文字描述或一张未来画面,机器人反应速度就会被拖慢,实时控制根本做不到。VLA-Δ把这些“思考”过程压进预训练阶段学到的查询表示里,推理时直接复用,不必重新生成。

数据从哪来

说到这里难免要问:这些物理状态变化的标注信息究竟从哪来?总不能全靠人工一帧一帧标,成本太高了。

论文团队搭了一套自动化数据标注流水线,处理来自DROID、MolmoAct、RH20T三个数据源的机器人演示数据,总规模约484小时、2400万帧。

这套流水线先把所有数据统一转换成

视觉层面的标注则交给专门的视觉模型完成。

SAM 3

UniDepth V2

MegaFlow

这三个视觉工具分工明确:定位物体位置、估算深度信息、计算运动轨迹,三者合起来才能把语义标签和具体的空间几何信息对齐,生成最终统一的物理状态转变标注。

光靠自动化流水线难免出错,论文因此设了多层质量把关。先由程序自动检查格式错误、时间错位、坐标无效这些明显问题,再用

这说明流水线产出的标注质量相当可靠,不是粗糙的伪标签,也正是整个方法能生效的前提。标注质量太差,后面模型结构再精巧,学到的也只是噪音。

实验结果说了什么

设计思路再漂亮也得看实际效果。

论文在三个场景下做了验证,仿真测试

在

更能说明问题的是LIBERO-Plus上的测试。这个基准盯的就是环境出各种扰动时模型还能不能正常干活,扰动分四类:语言表述变、光照变、背景变、布局变。

语言扰动这一项,VLA-Δ拿到89.0%。指令换个说法,模型要是真吃透了任务背后的物理逻辑,就不会被措辞的小改动带跑;反过来,只记住特定句式和特定动作的对应关系,换个说法它就懵了。这恰好印证了论文一开始的担心:过度依赖观察动作配对,模型的抗干扰能力会偏弱。

双臂机器人操作基准RoboTwin 2.0上,VLA-Δ在Clean和Random两种设置下平均成功率分别是90.06%和89.74%,对比方法里都排第一,比第二名ZR-0分别高出1.36和1.76个百分点。

还有个细节值得拎出来说。从Clean切到Random,也就是场景带上各种随机扰动之后,VLA-Δ的成绩只掉了0.32个百分点,ZR-0掉了0.72个百分点。

具体任务层面,VLA-Δ在BlocksRankingSize(按大小排列积木)和HangingMug(挂杯子)两项上拿到最高成绩。前者要反复抓取、搬运、放置,后续操作还得根据前面放置的结果调整空间关系;后者要旋转、重新抓握、挂钩,整个过程涉及物体在桌面支撑、夹爪抓握、挂架支撑三种状态之间切换。这两个任务正好对应“渐进式空间调整”和“多阶段接触转变”,也正是VLA-Δ监督机制特别用力的地方。

真实世界里表现怎么样

仿真环境再漂亮,终究隔着一层。论文团队在真实场景里做了测试,VLA-Δ平均成功率达到68.0%,对比方法中排名第一,比π0.5高出5.5个百分点。

避障任务上,VLA-Δ拿到42.5%的成功率,同样是最高的。这项任务要求机器人把胡萝卜放到架子上,途中不能碰到旁边的杯子。论文把这个结果和Future-State Difference Text里“物体约束”那部分内容对上了号:这段文字描述明确写了要避开哪些障碍物、要保持哪些物体间关系,这些信息直接影响了模型在真实抓取时对碰撞风险的判断。

在空间推理、精细操作两项上,拿下最高分的同样是VLA-Δ。原因或许在于两点:结构化转变槽中有专门记录空间位置的变量,光流监督又补足了视觉细节。

拆开看每个部件的贡献

方法好不好,只看最终分数不够,还得看每个组件到底贡献了多少。论文为此做了详细的消融实验。

起点是一个只用普通视觉语言特征的基线,平均成功率95.70%。加上那组可学习的查询向量机制,升到96.25%,说明压缩的查询表示本身就有帮助。单独加未来状态差异文本监督,升到97.20%;单独加结构化转变槛监督,升到96.90%;单独加光流监督,升到97.35%。

三者全部叠加,也就是完整版VLA-Δ,最终成绩98.40%。这条数字曲线说明一件事:三条监督路径不是互相替代,而是互相补充。每条单独加进去都有正向效果,可没有哪一条能顶替另外两条,叠在一起效果最好。

论文还做了一个很细的可视化分析,把负责结构化转变槛的那组查询向量的隐藏状态提取出来分析。更有意思的是,即便后续在LIBERO上用纯动作监督微调模型,这些查询向量依然保持着七个清晰可分的簇。预训练阶段学到的语义分工结构,并没有在微调中被动作学习目标冲掉,它继续在后台支撑着模型对任务相关信息的组织方式。

这就像一个人读研究生之前先经过严格的本科专业训练,后来即便跨行做别的工作,早年打下的那套系统性思考框架依然会在不知不觉中影响他处理新问题的方式。预训练阶段学到的结构不是昙花一现,它成了后续学习的底座。

论文团队还做了注意力可视化,对比带不带三种转变监督的模型,在“叠毛巾”和“挂马克杯”两个任务上,查询向量究竟关注图像里的哪些位置。带监督的模型,注意力明显集中在目标物体、夹爪、接触区域这些任务相关的地方;不带监督的模型注意力更分散,甚至分到背景这种和任务无关的区域上。这张对比图直观说明:显式的物理状态监督确实在塑造模型关注哪里这件事上起了作用,分数提升不是凑数据凑出来的,背后有实实在在的注意力机制变化撑着。

写在后面

读完这篇论文,最让我多想一层的是那个“切断捷径”的设计。

论文刻意限制未来状态差异文本的生成过程,不让它直接看到原始画面,必须先经过查询向量这个中转站。初看是个小细节,往深里想,这其实是在人为制造一种信息瓶颈,逼着模型把有限的表达能力花在真正重要的东西上。

这让我联想到一件完全不相关的事:写摘要训练。很多人写论文摘要习惯直接从正文里摘抄一两句话拼起来,这样写出来的摘要往往读着生硬,因为它没经过真正的消化。真正好的摘要,是先把全文读懂、理解透,再凭着理解重新组织语言写出来,这个过程本身会倒逼你发现自己哪里没真正弄懂。VLA-Δ里这个注意力限制,起到的就是类似的强迫消化的作用。

论文里有一处数据让我挺意外,就是结构化转变。

这篇论文留了个开放问题没答:三条监督信号的权重到底怎么定?文中提到几个加权系数,可调参过程没细说。三者一旦失衡,比如光流监督的权重压得过重,模型会不会跑偏,变成一个只盯像素运动、把语义理解丢一边的“运动传感器”?这条边界划在哪儿,估计还得靠更多实验去试探。

机器人哪天才算真正“看懂”自己手上发生的事,而不是把一套记好的动作再演一遍?这篇论文朝这个方向走了一步,但路显然还长。

Q&A

Q1:VLA-Δ是什么?A:VLA-Δ是浙江大学

Q2:VLA-Δ和之前的机器人控制方法有什么区别?A:以往的做法,像推理式VLA,只在语言层面做任务规划;世界动作模型则靠预测未来画面来指导动作。这些方法都没能直接监督物理状态本身的转变。VLA-Δ走的是另一条路:结构化转变槛、光流、未来状态差异文本,三条路径一起监督物理状态的变化,让模型真正弄明白场景里在发生什么。

Q3:VLA-Δ在实际测试中表现怎么样?A:在LIBERO仿真基准上,VLA-Δ的平均成功率达到98.4%,在对比方法里是最高的;RoboTwin 2.0基准上同样拿到最高分。真实机械臂实测中,平均成功率68.0%,比π0.5高出5.5个百分点,避障和精细操作这两类任务上尤其亮眼。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,..

    来源 腾讯网
  2. 人形机器人租赁价跌破2000元,融资7月后普遍下滑

    (本文作者为 木禾商业财经,钛媒体经授权发布)文 | 木禾商业财经,作者 I 龚正,编辑 I 杨晶具身智能机器人,在2026年只走过两个季节。一是疯狂的火热夏季,二是寒意开吹的冬天。宇树的王兴兴,在为各路投资人赚得盆满钵满、只留自己继续创业后,明显开始更多活跃于公共舆论与“微博热搜”之间,开始更多push宇树机器人的.

    来源 腾讯网
  3. 智能眼镜1-10月销售额增1倍:商务部最新数据

    IT之家 11 月 20 日消息,11 月 19 日,商务部消费促进司负责人谈 2026 年 1-10 月我国消费市场情况。今年以来,我国消费市场规模稳步扩大,呈现商品消费稳、服务消费旺、新型消费热的特点。1-10 月,社会消费商品和服务零售总额同比(下同)增长 2.5%。 IT之家从公告获悉,在消费品以旧换新政策强有

    来源 AI 行业观察
  4. Artex走红:新手靠几句提示词就能发动网络攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 科技快讯
  5. MIT“AI炒作指数”:AI像皮疹蔓延,人还能做主吗?

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹

    来源 AI 科技快讯
  6. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  7. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  8. 马斯克:Optimus明年或能做家务,演示视频1至2个月内发布

    特斯拉CEO马斯克称,人形机器人Optimus研发进展较好,预计未来1至2个月内发布真实演示视频,并有望在12至18个月内具备收拾脏盘子、倒垃圾等家务能力。马斯克在赴中国深圳出席APEC峰会期间,以线上方式参加美国两场峰会访谈,介绍特斯拉机器人及芯片业务最新进展,并表示Optimus将逐步从研发测试走向应用。

    来源 AI 产业速递
  9. Artex成犯罪分子新宠:AI黑客工具让新手也能“点按式”攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 行业观察
  10. 谷歌搜索框押注AI Overviews:广告收入承压,人形机器人仍要人抬上楼

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹一样蔓延时

    来源 AI 行业观察
  11. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  12. 韩国娱乐公司计划推出机器人女团,“成员”或来自中国

    韩国娱乐科技企业Galaxy Corporation计划明年1月面向全球推出机器人女团,后续分别推出虚拟AI女团和真人女团。创始人兼CEO崔龙湖介绍,合作方包括宇树科技和巨星传奇,正探索中国公司出硬件、韩国方面出内容的发展模式。

    来源 凤凰科技
  13. 赛力斯科技之旅:从超级工厂到问界,完整技术链路如何跑通

    近日,赛力斯科技之旅媒体探访活动在重庆持续举行。探访团见证了赛力斯在智能制造、机器人、整车平台、超级增程等方面的核心技术,并深度试乘试驾问界系列车型。从工厂,到平台,再到整车——赛力斯用一条完整的技术链路,向外界展示了:一家技术科技型企业的内核,究竟是什么样。 领先智造筑牢品质根基 探访首站设在赛力斯超级工厂(龙兴)。

    来源 AI 行业观察
  14. 行业首次:小鹏 2026 科技日将首发「图灵 AI 共驾」,把智能辅助驾驶能力赋能人驾

    IT之家 11 月 20 日消息,小鹏汽车 2026 年小鹏科技日(AI DAY)已经官宣定档 11 月 25 日在广州举行,主题为“原点”(Origin)。 据小鹏介绍,本届科技日的核心发布之一,是“图灵 AI 共驾”的首次亮相。小鹏表示,这是行业首次将智能辅助驾驶能力延伸至人工驾驶场景。 其首个落地功能为“VLA

    来源 AI 行业观察
  15. Windows BitLocker加密被破!原本破解要19年,如今只需20天

    【TechWeb】Windows Hello和BitLocker的PIN保护机制,正面临一场来自硬件层的挑战。柏林工业大学的研究团队11月18日发表论文,披露了一项名为"Hello Again"的物理攻击:通过在主板闪存芯片与处理器之间的通信链路上做手脚,攻击者可以绕过TPM的错误尝试锁定保护,从而大幅缩短暴力破解时间

    来源 腾讯网
  16. 2亿人的红果:最后的流量神话|深氪

    文|兰杰 李小霞 编辑|乔芊 杨轩 即使是字节这样信仰数据的公司,也无法参透流量的一切秘密。 很难解释,为什么在2025年初,红果APP的日活用户数从1.2亿缓慢爬升到1.5亿,花了整整5个月之久。毕竟此前,红果以“每季度翻一倍”的惊人速度在猛增。 同样难以解释,为什么突然,“唰的一下,又迈过1.5亿了。”一位接近红果

    来源 腾讯网
向下滚动自动加载更多