VLA模型"看懂却做不对":PAIR用中间表示架桥

资讯 腾讯网 作者:科技行者 全文 5567 字 · 约 14 分钟读完 分类机器人

你有没有想过,一个机器人在接到"把杯子放到桌上"这句指令后,脑子里到底发生了什么?它要先看懂眼前的画面:桌子在哪,杯子在哪,手在哪。然后它要理解这句话的意思。最后,它要把这些理解变成一串具体的数字,告诉机械臂的每个关节该转多少度,夹爪该夹多紧。这整个过程,看起来是一气呵成的,但其实中间藏着一道很深的裂缝。...

所属频道 机器人与具身智能

接到"把杯子放到桌上"这种话,机器人脑袋里会经历什么?这个问题很少有人细想。

它得先弄明白眼前的局面:桌子在哪个位置,杯子在哪,自己的手在哪。接着还要读懂这句话的含义。最后,这些理解要换算成一串具体数值,交给机械臂每个关节去执行转多少度、夹爪该用多大力度。整个过程表面上一气呵成,实际上中间横着一道很深的裂缝。

这道裂缝,正是这篇论文要处理的对象。

**为啥"看懂"和"做对"当中隔着一条缝**

如今机器人控制领域用得最多的模型,是VLA。

VLA(Vision-Language-Action模型):把摄像头拍到的画面和语言指令直接对应成机器人连续动作的一类模型,说白了就是"看图、说话、再动手"合为一体的系统。

训练这类模型的路子往往相当粗放:喂给它大量人类示范,让它记住"这个场景、这句话,对应这个动作",再用一个损失函数去逼近标准答案。至于模型内部如何从"理解画面和语言"走到"生成动作序列",中间没人过问,全凭它在训练里自己摸出来。

这就像带一个新员工下厨,你只给他看菜谱上的字和成品的照片,从不讲切菜怎么下手、什么时候下锅、翻炒该用多大劲,也不说怎么从"看懂菜谱"跨到"真能下厨"。他最后做不做得出来,全靠自己乱撞,撞对了算运气,撞不对,那道缝就一直卡着,菜谱看懂了,菜还是做不像样。中间不给任何指点,他只能用反复试错把"看懂"和"做对"之间的桥一点点拼起来,代价是失败更多、学得更慢。

论文给这道裂缝起了个名字,叫"

此前已有研究试着把这个转换环节摆到明面上,例如借助视觉轨迹、物体可操作性提示、视觉推理链条之类的手段,给模型补一些中间线索。这些尝试说明了一件事:把跟控制有关的结构露出来,对动作生成确实有帮助。不过论文作者想再往前推一步,他们抛出的问题是:能否直接从示范数据的两头——也就是"任务是什么"和"动作怎么做"这两个现成的信息源——把那个缺失的中间表示学出来?

**

论文给出的方法名叫

PAIR(Perception-Action Intermediate Representation):一个专门学习感知与动作之间桥接表示的框架,目标是在视觉语言理解和动作生成之间搭一座明确的桥。

PAIR的设计分两条线走,一条从动作那头起步,一条从感知那头起步,最终把两条线合到一处。

动作这条线上,论文用了一个叫

Masked Action Autoencoder

做法是这样:取一段专家录制的动作轨迹,随机遮掉其中若干时间步,再掺入一点高斯噪声把它搅乱,随后让编码器把这段被破坏的轨迹压成一串名为

Action Latent Tokens

这个设计的关键落在"遮挡"和"加噪"两个动作上。假如一个动作步骤都不遮,编码器完全可以偷懒,把每个时间点的动作值照原样复制一遍就还原完了,这么学出来的隐藏向量里压根没有"动作之间如何衔接"的信息。好比考试允许直接抄答案,学生就永远练不会推导。遮挡逼着模型只能靠上下文去猜被盖住的那部分,而这个"猜"的本事,恰好对应动作的时序结构。加噪声则进一步逼它别去死记某个具体数值,转而抓住更稳的动作模式。

感知这条线上,论文设计了一个叫

Bridge Module

这个模块干活的方式,有点像面试官拿着几道标准问题去跟候选人聊。它备好了固定数量的"学习型查询"(

Bridge Tokens

接下来是关键一步:怎样让Bridge Tokens既留得住任务信息,又带得上动作的执行结构?论文的办法是把Bridge Tokens和前面提到的Action Latent Tokens直接对齐,用一个余弦相似度损失,逼着两边对应的时间步在向量空间里彼此靠近。

这个对齐操作,好比给两个各说各的方言的人请了个翻译。感知这头说的是"场景里有什么、任务要干什么"的方言,动作那头说的是"手往哪个方向移多少"的方言。少了这一步对齐,两套表示就永远是两张对不上的地图,模型只能靠最后的动作损失硬把两边拽到一起,效果自然要打折。论文的消融实验也印证了这点:去掉对齐损失后,

把半成品直接放到产线开头,这是早期注入的思路。

光有Bridge Tokens还不够,怎么用才是关键。

论文给出的方案叫Bridge Injection。做法说来不复杂:先将Bridge Tokens投影进动作标记(Action Tokens)所在的空间,再交给动作专家模型(Action Expert)处理。

Action Expert

其中有个细致设计叫自适应门控(

可以拿工厂流水线打比方。通常毛坯件从零开始,逐道工序加工,最后才成成品;PAIR干的事,等于在流水线起点就放进一个已经做过部分预加工的半成品,这个半成品携带着“这个零件最终大致长什么样”的信息。反过来,如果不在起点注入,改到流水线中段或末端才把这个半成品插进去,工人可能已经照着原来的毛坯走了好几道工序,中途插入反倒容易打乱既有的加工节奏。论文确实比较过:注入位置从起点挪到中间、末端,或者每一层都注入,结果都不如放在起点。起点注入的平均成功率为98.4%,末端注入降到97.4%,全层注入为97.6%。可见“早点给出方向”比“反复提醒”更有效,这和“磨刀不误砍柴工”的道理有些相通——开头把方向定准,后续精细加工才能顺着走,而不是边走边改方向。

训练结束、进入实际部署的推理阶段后,负责生成Action Latent Tokens的那个自编码器会被彻底丢弃,只留Bridge Module根据当前画面和指令实时生成Bridge Tokens。这个设计有巧思:自编码器只在训练时充当“教练”,把专家动作的结构“刻”进Bridge Module;一旦Bridge Module学会了怎样从感知信息中提炼带动作结构的特征,教练就可以退场——毕竟真正执行任务时,根本拿不到专家动作作参考。

实验结果:从标准测试到真实机械臂

论文在三个仿真基准和七个真实世界任务上验证了PAIR,搭配的基座模型是

LIBERO

在LIBERO上,PAIR把

LIBERO-Plus

这个测试更能分辨一个方法究竟是“真的学到了东西”,还是“死记硬背了训练环境”。结果显示,PAIR把VLA-Adapter的总体成功率从59.1%提高到64.2%,提升超过5个百分点;视角变化和初始状态变化两项提升最明显,分别提高8.1和7.8个百分点。更值得注意的是,从LIBERO到

CALVIN ABC→D

在这个长序列任务上,PAIR把VLA-Adapter的平均完成任务链长度从4.42提升到4.53,把

论文还做了七个真实世界任务实验,用的是一台

几个最核心的实验数据汇总如下:

| 基准测试 | 基座模型 | 原始表现 | 加PAIR后 |

|---|---|---|---|

| LIBERO(平均成功率) | VLA-Adapter | 97.3% | **98.4%** |

| LIBERO-Plus(总体成功率) | VLA-Adapter | 59.1% | **64.2%** |

| CALVIN(平均完成序列长度) | VLA-Adapter | 4.42 | **4.53** |

| CALVIN(平均完成序列长度) | OpenVLA-OFT | 4.28 | **4.40** |

| 真实世界七任务(平均成功率) | OpenVLA-OFT | 51.4% | **65.0%** |

**探进模型内部:Bridge Tokens里装了什么**

任务成功率之外,论文还从表示层面做了一组分析,想弄明白Bridge Tokens到底携带哪些信息。

他们用了一种叫

线性探针

结果是,Bridge Tokens预测当前任务类别的平衡准确率达到87.8%;作为对照,仅用动作信息训练出的自编码器隐藏向量,任务识别准确率只有35.2%。这说明任务语义确实被Bridge Tokens保留了下来,而纯动作结构表示对此是“失明”的——它不知道任务是什么,只知道动作长什么样。

更关键的发现出现在动作信息这一侧。论文测了动作信息在模型哪一层才变得可读:普通Action Tokens要逐层向前传递,经过24层Transformer,动作预测拟合优度(R²)才达到0.844;Bridge Tokens则还没进入任何一层Transformer,就已经做到0.878。

这个差距不小。普通模型的动作标记像新手司机,得一路开一路摸索路况,到了终点才敢说知道路怎么走;装了Bridge Tokens的模型,相当于出发前就拿到一张标好关键路口的地图,不必开到终点才明白路线,起步时方向感就有了。少了这份提前给的方向感,模型就得在二十多层网络里反复试错、拼凑动作结构,理解所需的计算路径被拉长,每层网络的负担也更重——好比让新手司机自己摸出整条路线,而不是事先给他一份路书。

论文还用了一种叫

RSA

结果显示,Bridge Tokens与真实动作的RSA相关系数为0.878,前10个最近邻重合率80.4%;把样本顺序打乱做对照,这两个数字分别只有0.014和21.6%。也就是说,Bridge Tokens不光记住了“这是什么任务”,还记住了“这个任务对应的动作在整体动作空间里处于什么位置、和哪些动作相近、和哪些动作差异大”。

**几组耐人寻味的消融实验**

论文另外做了几组很细的对照实验,值得单独拿出来说。

先看对齐目标怎么选。论文试了不用Action Latent Tokens做对齐目标、直接拿原始专家动作数值去对齐的做法:直接对齐原始动作的平均成功率是97.1%,对齐经自编码器处理后的Action Latent Tokens则达到98.4%。原始动作数值里噪声和冗余细节太多,直接拿来对齐会让Bridge Tokens学得不够干净;经自编码器压缩提纯后的隐藏表示,才是更合适的对齐靶子。

再看自编码器训练时加噪声有没有用。论文对比了干净数据训练和加噪声训练两种自编码器,加噪声让最终平均成功率从97.6%升到98.4%,每个子任务都有提升。这和表示学习里的不少经验对得上:训练阶段适当制造一些“干扰”,模型反而能学到更稳健、更抓本质的特征,而不是记住表面、脆弱的细节。

第三组是注入强度要不要做成可学习的。论文把固定注入强度(1.0和0.5)与自适应门控学出的强度放在一起比:自适应门控达到98.4%,两个固定强度分别是98.0%和98.1%。不同场景、不同时间步需要的“信任度”并不一样——有时Bridge Tokens给的信息特别靠谱,该多听;有时原始动作标记本身就够好,该少掺和。固定强度区分不了这种差异,自适应门控能随当下情况动态调整。

**写在后面**

读完整篇论文,让我反复琢磨的一点是:PAIR并没有去定义“中间表示应该长什么样”,它没说这个桥接层代表物体的几何位置,也没说代表某种可操作性或某种运动轨迹,而是完全让两边的数据自己去“商量”出一套共同语言。这和此前不少工作形成有意思的对照——用视觉轨迹或物体可操作性做中间表示的方法,其实是研究者事先替模型决定了“你应该关注这个物理含义”。PAIR选的是更“谦虚”的做法,让任务语义和动作结构这两股数据自己去塑造桥接层的样子。数据驱动与先验知识驱动之争,在别的领域里也反复出现过。

还有个细节值得单独拎出来说。论文发现,任务身份信息在普通动作标记里“浮现”得特别快,第一层Transformer之后识别准确率就到了97%;动作结构信息却要一直攒到最后一层才完全成形。也就是说,“知道要做什么”和“知道具体怎么做”在模型内部走的是两条节奏完全不同的学习路径:前者几乎立刻就能从视觉语言信息里读出来,后者需要反复的层层加工才能沉淀。这暗示了一件事:未来若想进一步压缩VLA模型的层数来提速,也许可以给“动作结构的形成”单独开一条更短的路径,不必让它跟任务识别挤在同一条计算流水线上慢慢熬。

论文没解决的问题也不少。Bridge Tokens的数量目前跟动作时间步的数量绑定,固定成8个;动作序列变长或变短时,这种绑定关系会不会变得僵硬,目前还没看到讨论。另外,论文的真实世界实验是每个任务单独训练一个策略,要做跨任务的通用策略,Bridge Tokens能不能继续保持这种“桥接”效果,是个开放的问题。

Q&A

Q1:PAIR是什么?

A:PAIR是一个框架,它在机器人“看懂场景和指令”与“生成具体动作”之间建立桥接表示:让专家动作结构和感知特征互相对齐,生成Bridge Tokens并提前注入动作生成模块,帮助模型更顺畸地完成从感知到动作的转换。

Q2:PAIR在真实机械臂实验中表现如何?

A:在

Q3:PAIR推理时还需要用到专家动作数据吗?

训练阶段那套用来提取动作结构的自编码器,部署时并不会留着。Bridge Tokens 靠的是当下的画面和语言指令,边看边生成,不需要喂进任何专家动作数据。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,..

    来源 腾讯网
  2. 让大语言模型学会把方向盘交出去

    你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

    来源 腾讯网
  3. 智能眼镜1-10月销售额增1倍:商务部最新数据

    IT之家 11 月 20 日消息,11 月 19 日,商务部消费促进司负责人谈 2026 年 1-10 月我国消费市场情况。今年以来,我国消费市场规模稳步扩大,呈现商品消费稳、服务消费旺、新型消费热的特点。1-10 月,社会消费商品和服务零售总额同比(下同)增长 2.5%。 IT之家从公告获悉,在消费品以旧换新政策强有

    来源 AI 行业观察
  4. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  5. 马斯克:Optimus明年或能做家务,演示视频1至2个月内发布

    特斯拉CEO马斯克称,人形机器人Optimus研发进展较好,预计未来1至2个月内发布真实演示视频,并有望在12至18个月内具备收拾脏盘子、倒垃圾等家务能力。马斯克在赴中国深圳出席APEC峰会期间,以线上方式参加美国两场峰会访谈,介绍特斯拉机器人及芯片业务最新进展,并表示Optimus将逐步从研发测试走向应用。

    来源 AI 产业速递
  6. APEC会场机器人上岗:做咖啡、递糖果还包收桌

    这届APEC,最忙的可能不是参会嘉宾,而是一群机器人。 11月18日至19日,2026年APEC领导人非正式会议在深圳举行。 全球目光聚焦深圳,国际大佬们忙着开会,媒体记者们忙着报道,而在会场新闻中心,一批特殊的“打工人”已经悄悄上岗。 有的做咖啡,有的打冰淇淋,有的端茶送水,还有的负责收拾桌面。 更离谱的是,它们不仅

    来源 AI 行业观察
  7. 鹿明NexCore:机器人技能开发从数周压缩至数天

    11月19日,2026世界智能制造博览会在南京开幕。作为智能制造领域的重要行业盛会,大会汇聚产业、技术与人才资源,聚焦人工智能与制造业深度融合,推动智能制造技术创新与产业应用。 鹿明机器人携具身重载搬运方案、机器人技能进化引擎Lumos NexCore及多款机器人产品亮相,集中展示从数据采集与治理、模型训练、技能评测到

    来源 AI 行业观察
  8. 黄仁勋卸任英伟达CEO:评级下调、数据威胁与AMD做空风波

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的风险预期快速升温。勒索软件组织G

    来源 腾讯网
  9. 韩国娱乐公司计划推出机器人女团,“成员”或来自中国

    韩国娱乐科技企业Galaxy Corporation计划明年1月面向全球推出机器人女团,后续分别推出虚拟AI女团和真人女团。创始人兼CEO崔龙湖介绍,合作方包括宇树科技和巨星传奇,正探索中国公司出硬件、韩国方面出内容的发展模式。

    来源 凤凰科技
  10. Anthropic上市:发行价83美元,阿莫迪从GPT-2警示到敲钟

    美国时间11月19日,Anthropic正式登陆纳斯达克,以“ANT”为股票代码挂牌,创下了全球史上最大规模IPO纪录。就在上市前一天,Anthropic将发行价定在每股83美元,并将发行数量从8.25亿股增加到9.8亿股,最终公开发行规模达到813.4亿美元。按发行价计算,这家成立不到六年的AI公司,完全稀释估值约为

    来源 腾讯网
  11. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  12. 深圳大…局:AI竞赛与规则之争

    APEC会议召开前夕,深圳正站在AI与机器人产业的爆发节点上。思谋、佑驾等科学家创办的新锐公司生而全球化,腾讯、影石、欣旺达等企业则在出海中打磨技术、产品与标准。从大湾区标准互认到APEC规则衔接,深圳乃至中国正尝试把产业优势写成亚太规则。 深圳南山也许有种魔力。进入这片区域,人们总是不自觉地将语速提高至2倍速。 太快

    来源 AI 行业观察
  13. 雷军布斯,您慌啥子嘛

    这些年的雷军,活像按下了快进键,手机、汽车、AI、机器人四大赛道,发布会开得比综艺更新还勤,大有把乔布斯当年的“一年一场重磅发布”,改成“一月一场新品亮相”的架势。 正经社分析师注意到,更有意思的是,汽车这关…

    来源 搜狐科技
  14. 蚂蚁集团上半年赚152亿:AI三线并进,支付、应用与机器人齐发力

    11月19日,阿里2026年三季度财报披露,上半年从蚂蚁集团获收益50.23亿元,据此推算蚂蚁上半年利润约152亿元,同比增约17%。增长主要得益于公允价值收益净增加,部分被科技及新增长举措投入抵消。CEO韩歆毅重申保持高强度AI投入,推动技术向多元场景渗透,今年以来蚂蚁围绕构建底座、打造应用等布局。

    来源 AI 产业速递
  15. Mistral在新加坡设亚太总部:2027年员工扩至200人

    法国人工智能初创公司Mistral已在新加坡设立亚太总部,旨在满足该地区对“主权人工智能”(sovereign AI)能力日益增长的需求。Mistral周五表示,计划到2027年将亚太地区的员工人数增加一倍以上,达到200人,招聘领域涵盖科学、工程、人工智能应用及机器人技术。该公司称,这一战略投资将助力其实现加速开发、

    来源 AI 行业观察
  16. 估值200亿机器人公司,发不出工资了

    一家正在冲击30亿美元估值的人形机器人公司,连工资都发不出来了。 11月14日,CNBC披露,美国明星机器人公司Foundation Future Industries陷入资金危机,10月30日应发的工资迟迟没有到账。这已经是公司今年第二次欠薪。 Foundation虽然成立仅两年,但拿下川普之子的投资,并联手AMD研

    来源 AI 行业观察
  17. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
向下滚动自动加载更多