BridgeWAM:动作专家只需2层,机器人视频模型不再强行对齐
先说一件挺反直觉的事。现在最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、然后指挥机械臂干活的"世界动作模型",普遍有一个设计:让负责理解视频的那部分网络和负责下达动作指令的那部分网络,长得一模一样,层数完全相同。你可能会觉得这很合理,毕竟两边要配合默契。但2026年的一篇论文告诉我们,这个"看起来很...
先说个挺反直觉的事。
眼下最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、再指挥机械臂干活儿的“世界动作模型”,设计上有个共同点:管视频理解的那部分网络和管动作输出的那部分网络,形状完全一样,层数也一模一样。听上去很合理,毕竟两边得配合默契。可2026年的一篇论文指出,正是这个“看着合理”的设计,同时拖累了效率和性能。
论文的名字叫《
这里头值得琢磨的是,为什么“强行对齐”反倒成了负担。
一、问题出在哪:动作专家被迫“吃”了太多没用的信息
要弄懂这篇论文想解决什么,先得知道世界动作模型是什么。
世界动作模型(World Action Model,简称WAM)
早先的做法很直接:让模型一边生成未来的视频画面,一边输出对应动作,训练和推理时两者紧紧缠在一起。信息是丰富,可速度慢,生成一段视频比直接吐出几个动作数字费劲太多。后来有团队动手简化流程,比如
思路听着聪明,落地时却留了个尾巴,叫做
Mixture-of-Transformers
这个MoT架构有兩处硬伤。头一处是:视频专家每一层都会把自己算出来的密集视觉特征,无论有用没用,统统摊给对应的动作层。打个比方,侦探办案时助手把整面墙的监控录像全搬过来,而不是只挑嫌疑人露面的那几个镜头。线索是能找到,可他得先花大把精力筛掉无关画面,筛的过程本身就分散注意力,甚至可能把无关的背景细节误认成关键线索。论文引用的前期研究也印证了这点:动作生成环节确实会把过多注意力分给与任务无关的视觉区域,真正有用的信息反倒用不上。
第二处更直接。逐层对应,就意味着动作专家必须和视频专家一样深:视频专家有30层,动作专家也得凑到30层上下,不然没法一一对上。可动作预测这个任务,真需要这么深的网络吗?论文的消融实验给了答案:把动作专家从2层扩展到30层,
这就像一个人只要看信号灯就能过马路,却硬塞给他一整套交通工程师的专业知识。信息量上去了,过马路本身并不会因此做得更好,反而可能因为纠结太多无关因素而犹豫。要是放任这种过度学习,模型就会把力气花在记“这个场景里杯子一般在左边”这类脆弱的捷径上,场景一换,表现立刻崩。
二、解法:用32个“桥梁查询”搭一座窄桥
研究者提出的核心方案叫
方案的关键创新,是引入了一组叫做
Latent Bridge Queries
运作方式是这样:视频专家的每一层,这32个LBQ都像实习生一样主动去“问”当前层的视觉特征,以及此前积累的语言和状态信息,再把问到的内容更新到自己身上。整个过程贯穿视频专家的30层网络,每一层LBQ都在吸收、提炼、更新。等视频专家跑完所有层,这32个查询向量就成了一份浓缩的“任务简报”,动作专家不必再翻视频专家的原始特征,读这份简报就行。
有个设计细节值得留意:LBQ能读当前画面和已有的文本状态信息,却被明确挡在“未来视频”门外。训练阶段模型确实会同时预测未来画面变化来辅助学习,但这个未来预测的监督信号只用来反向调整LBQ和视频专家自身的参数,LBQ并不直接看到未来画面的内容。这样一来,训练和实际部署时信息来源保持一致:推理时根本不用生成未来视频,动作专家拿到的信息质量也不受影响。
好比记者去采访,他会提前做功课、翻大量背景资料来磨练提问能力,但真正写报道时只能依据现场发生的事实,不能把自己脑补的未来剧情写进去。做功课(训练时的未来预测监督)让他提问水平变高,写稿(推理时的实际输出)却始终基于眼前的真实信息。要是不做这个区分,让记者真把没发生的脑补剧情写进正式报道,报道和现实的脱节只会越来越严重,尤其场景一变,那些脑补出来的套路全部失效。
三、动作专家怎么用这座桥:两层网络,交替做两件事
拿到LBQ这份“任务简报”,动作专家要做的事其实很纯粹:先用一次交叉注意力把简报内容读进来,再用一次自注意力把整个动作序列内部协调好。
论文里的动作专家只有两层,每层都是“交叉注意力加自注意力”交替的结构,这个设计参考了
交叉注意力(Cross-Attention):这套机制的作用,是让模型面对另一组信息源(此处指 LBQ)时按需挑出相关部分,就好比带着自己的问题去图书馆查某一排书架,而非把整馆的书统统搬走。
这样设计的好处很直接:动作专家不必再用自己的层数去迁就视频专家的深度,两边可以各按各的来。视频专家留足30层,专门学视觉表征;动作专家只拿两层轻量网络做动作解码。整体参数量反倒比同类方案更少。
更关键的一点在于,训练时这座桥是双向通的。动作预测一旦产生误差,信号会沿着LBQ一路反传回视频专家内部,反过来改变视频专家学习视觉特征的方式。也就是说,视频专家不再只是按自己原本的生成任务被动学表征,它会主动往“对动作预测更有用”的方向去调整看画面的角度。论文为此做了个很有说服力的对照实验:把视频专家彻底冻住,只让LBQ和动作专家去学,结果
打个比方,翻译如果只把原文一字一句搬过去,压根不管听众想听明白什么,翻出来的东西可能语法没毛病,却派不上用场。好翻译会顺着听众的反馈,不断调整自己理解原文时侧重的地方。原文的事实不会因此改变,但提炼出的内容会更贴近听众真正需要的那部分。反过来,翻译若完全不接反馈、只按自己固定的理解方式干活,原文信息再丰富,传到听众耳朵里也可能文不对题。
四、实验说话:性能没掉,速度翻了好几倍
光讲道理不够,论文把实验做得相当扎实,多个仿真基准和真实机器人任务都覆盖到了。
在LIBERO这个经典机器人操作基准上,
| 方法 | LIBERO平均成功率 |
|---|---|---|
| OpenVLA | 76.5% | 19.7% |
| π0 | 94.1% | 53.6% |
|
| Faster-WAM | **99.0%** | 73.6% |
|
LIBERO-Plus
效率上的数字更直白。同样的H20Z显卡,bfloat16精度、32步动作长度、10步去噪,
| 方法 | 总参数 | 总FLOPs | H20Z推理延迟 |
|---|---|---|---|
|
| Faster-WAM | 5.56B | 3.221 T | 321.16 ms |
| BridgeWAM | **5.06B** | **1.460 T** | **88.05 ms** |
真实机器人那边,研究者用的是PiPER X机械臂平台,测了关闭笔记本、拿放饮料、拿放笔、拿放鼠标这四个任务,还特意搭了物体高度、颜色、位置、数量都会变的分布外场景来考模型。BridgeWAM在这些真实场景里延迟77.1毫秒,Fast-WAM要190.3毫秒,快了2.47倍,成功率基本持平,甚至略好一点。
五、一张热力图揭示了什么
论文还做了个挺有意思的可视化实验,叫动作条件视觉路由图。说白了,就是把“动作专家到底在盯画面哪块区域”画出来。
拿同一个任务比Fast-WAM和BridgeWAM的注意力分布,比如“打开炉子把摩卡壶放上去”,差异很明显:Fast-WAM的注意力比较散,容易被无关的背景纹理带偏;BridgeWAM则更集中在目标物体和任务终点附近。而且换了背景、调了灯光、挪了摄像头之后,它“盯准目标”的能力还能保持得比较稳。
这个结果多少印证了前面的推理:动作专家只能通过32个精炼过的LBQ拿信息,不是直接面对整面墙的原始视觉特征,它就被逼着学会了更高效地筛信息,而不是被海量细节淹没。当然,研究者自己也讲清楚了,这类热力图只能说明“模型倾向于看哪里”,没法严格证明某个像素区域对最终决策有多大因果贡献。这是个挺诚实的表态。
六、这条路还没走完的地方
论文最后坦承了两个局限。一是真实世界的机器人任务训练里,这套范式对付复杂的长时序操作任务还比较吃力。二是BridgeWAM继承了基础模型Fast-WAM本身的一些不稳定性。研究者下一步打算想办法让这座“桥”在更长的时间跨度里留住任务相关信息,同时保住轻量级动作解码带来的效率优势。
这项研究并非凭空而来,它站在不少前序工作的肩上。MetaQuery那篇论文提出“用可学习查询从冻结的多模态语言模型里提取生成条件”,GenCeption则往预训练视频生成模型里插入可学习标记,用来提取稀疏结构化预测,这两条思路都被BridgeWAM吸收了。区别在于,BridgeWAM让视频专家和动作专家围绕同一组查询向量做双向联合学习,而非单向的条件抽取。
这条路径上已经有人继续往前走。2026年稍晚些的Faster-WAM引入“面向未来的条件信息”,在部分LIBERO任务上聚合成功率超过了BridgeWAM,比如RoboTwin 2.0上平均92.78%对89.84%,这说明未来预测能力和效率优化之间,可能还有一个需要权衡的空间。另一篇AHA-WAM走的是另一条拆分思路:用“低频视频规划器加高频动作执行器”的组合,把两种模态的时间节奏进一步解耦。
写在后面
论文读下来,那张性能对比表反倒不是最抓人的,真正让人记住的是“冻结视频专家”的对照实验——成绩从72.24%掉到25.48%,落差大得有点吓人。
这个结果其实指向一个更根本的问题:预训练好的视觉表征,能不能直接拿给动作任务用?过去不少工作默认“能”,理由是视频生成模型学到的物理世界知识听起来该是通用的。可这个实验说明,至少在机器人操作这个场景里,视频专家得跟着动作任务一起继续调整自己的表征方式,不然那些看似丰富的视觉知识,很大一部分其实派不上用场。
这让人联想到一个不完全相关、但隐约相通的现象:很多领域专家跨界做新任务,一开始的表现常常不如预期。原因不是基础知识不够,而是他们原有的知识结构没有针对新任务的目标做过调整。知识本身没错,组织知识的方式需要重新适配。
还有个细节值得琢磨:论文用了不小篇幅对比“LBQ专属交叉注意力”和“把LBQ、文本、状态信息全部混在一起做注意力”两种设计,后者的成绩明显更差(
如果动作专家用两层网络就能把活干好,那现在还有多少被默认“越深越好”的模块,其实只是在为匹配别的模块而陪跑?
Q&A
Q1:BridgeWAM是什么?
A:BridgeWAM是一种机器人世界动作模型。它用32个可学习的潜在桥接查询(LBQ)取代了传统的逐层视频-动作对接方式,视频理解网络和动作生成网络因此可以按不同深度独立设计,参数和计算量都降了下来,任务成功率和抗干扰能力反而提升。
Q2:BridgeWAM相比之前的方法快多少?
A:仿真测试里,BridgeWAM单次推理延迟为88.05毫秒,Fast-WAM是405.91毫秒,前者快4.61倍;放到真实机器人上,延迟77.1毫秒,比Fast-WAM快2.47倍。参数量也更小,任务成功率保持在98%以上。
Q3:为什么动作专家只用两层网络就够了?
A:论文的消融实验发现,把动作专家从2层加深到30层,在标准LIBERO测试上几乎没提升,在带扰动的