BridgeWAM:动作专家只需2层,机器人视频模型不再强行对齐

资讯 腾讯网 作者:科技行者 全文 4722 字 · 约 12 分钟读完 分类机器人学术研究

先说一件挺反直觉的事。现在最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、然后指挥机械臂干活的"世界动作模型",普遍有一个设计:让负责理解视频的那部分网络和负责下达动作指令的那部分网络,长得一模一样,层数完全相同。你可能会觉得这很合理,毕竟两边要配合默契。但2026年的一篇论文告诉我们,这个"看起来很...

所属频道 机器人与具身智能前沿研究

先说个挺反直觉的事。

眼下最前沿的机器人大脑,也就是那些能看懂视频、听懂指令、再指挥机械臂干活儿的“世界动作模型”,设计上有个共同点:管视频理解的那部分网络和管动作输出的那部分网络,形状完全一样,层数也一模一样。听上去很合理,毕竟两边得配合默契。可2026年的一篇论文指出,正是这个“看着合理”的设计,同时拖累了效率和性能。

论文的名字叫《

这里头值得琢磨的是,为什么“强行对齐”反倒成了负担。

一、问题出在哪:动作专家被迫“吃”了太多没用的信息

要弄懂这篇论文想解决什么,先得知道世界动作模型是什么。

世界动作模型(World Action Model,简称WAM)

早先的做法很直接:让模型一边生成未来的视频画面,一边输出对应动作,训练和推理时两者紧紧缠在一起。信息是丰富,可速度慢,生成一段视频比直接吐出几个动作数字费劲太多。后来有团队动手简化流程,比如

思路听着聪明,落地时却留了个尾巴,叫做

Mixture-of-Transformers

这个MoT架构有兩处硬伤。头一处是:视频专家每一层都会把自己算出来的密集视觉特征,无论有用没用,统统摊给对应的动作层。打个比方,侦探办案时助手把整面墙的监控录像全搬过来,而不是只挑嫌疑人露面的那几个镜头。线索是能找到,可他得先花大把精力筛掉无关画面,筛的过程本身就分散注意力,甚至可能把无关的背景细节误认成关键线索。论文引用的前期研究也印证了这点:动作生成环节确实会把过多注意力分给与任务无关的视觉区域,真正有用的信息反倒用不上。

第二处更直接。逐层对应,就意味着动作专家必须和视频专家一样深:视频专家有30层,动作专家也得凑到30层上下,不然没法一一对上。可动作预测这个任务,真需要这么深的网络吗?论文的消融实验给了答案:把动作专家从2层扩展到30层,

这就像一个人只要看信号灯就能过马路,却硬塞给他一整套交通工程师的专业知识。信息量上去了,过马路本身并不会因此做得更好,反而可能因为纠结太多无关因素而犹豫。要是放任这种过度学习,模型就会把力气花在记“这个场景里杯子一般在左边”这类脆弱的捷径上,场景一换,表现立刻崩。

二、解法:用32个“桥梁查询”搭一座窄桥

研究者提出的核心方案叫

方案的关键创新,是引入了一组叫做

Latent Bridge Queries

运作方式是这样:视频专家的每一层,这32个LBQ都像实习生一样主动去“问”当前层的视觉特征,以及此前积累的语言和状态信息,再把问到的内容更新到自己身上。整个过程贯穿视频专家的30层网络,每一层LBQ都在吸收、提炼、更新。等视频专家跑完所有层,这32个查询向量就成了一份浓缩的“任务简报”,动作专家不必再翻视频专家的原始特征,读这份简报就行。

有个设计细节值得留意:LBQ能读当前画面和已有的文本状态信息,却被明确挡在“未来视频”门外。训练阶段模型确实会同时预测未来画面变化来辅助学习,但这个未来预测的监督信号只用来反向调整LBQ和视频专家自身的参数,LBQ并不直接看到未来画面的内容。这样一来,训练和实际部署时信息来源保持一致:推理时根本不用生成未来视频,动作专家拿到的信息质量也不受影响。

好比记者去采访,他会提前做功课、翻大量背景资料来磨练提问能力,但真正写报道时只能依据现场发生的事实,不能把自己脑补的未来剧情写进去。做功课(训练时的未来预测监督)让他提问水平变高,写稿(推理时的实际输出)却始终基于眼前的真实信息。要是不做这个区分,让记者真把没发生的脑补剧情写进正式报道,报道和现实的脱节只会越来越严重,尤其场景一变,那些脑补出来的套路全部失效。

三、动作专家怎么用这座桥:两层网络,交替做两件事

拿到LBQ这份“任务简报”,动作专家要做的事其实很纯粹:先用一次交叉注意力把简报内容读进来,再用一次自注意力把整个动作序列内部协调好。

论文里的动作专家只有两层,每层都是“交叉注意力加自注意力”交替的结构,这个设计参考了

交叉注意力(Cross-Attention):这套机制的作用,是让模型面对另一组信息源(此处指 LBQ)时按需挑出相关部分,就好比带着自己的问题去图书馆查某一排书架,而非把整馆的书统统搬走。

这样设计的好处很直接:动作专家不必再用自己的层数去迁就视频专家的深度,两边可以各按各的来。视频专家留足30层,专门学视觉表征;动作专家只拿两层轻量网络做动作解码。整体参数量反倒比同类方案更少。

更关键的一点在于,训练时这座桥是双向通的。动作预测一旦产生误差,信号会沿着LBQ一路反传回视频专家内部,反过来改变视频专家学习视觉特征的方式。也就是说,视频专家不再只是按自己原本的生成任务被动学表征,它会主动往“对动作预测更有用”的方向去调整看画面的角度。论文为此做了个很有说服力的对照实验:把视频专家彻底冻住,只让LBQ和动作专家去学,结果

打个比方,翻译如果只把原文一字一句搬过去,压根不管听众想听明白什么,翻出来的东西可能语法没毛病,却派不上用场。好翻译会顺着听众的反馈,不断调整自己理解原文时侧重的地方。原文的事实不会因此改变,但提炼出的内容会更贴近听众真正需要的那部分。反过来,翻译若完全不接反馈、只按自己固定的理解方式干活,原文信息再丰富,传到听众耳朵里也可能文不对题。

四、实验说话:性能没掉,速度翻了好几倍

光讲道理不够,论文把实验做得相当扎实,多个仿真基准和真实机器人任务都覆盖到了。

在LIBERO这个经典机器人操作基准上,

| 方法 | LIBERO平均成功率 |

|---|---|---|

| OpenVLA | 76.5% | 19.7% |

| π0 | 94.1% | 53.6% |

|

| Faster-WAM | **99.0%** | 73.6% |

|

LIBERO-Plus

效率上的数字更直白。同样的H20Z显卡,bfloat16精度、32步动作长度、10步去噪,

| 方法 | 总参数 | 总FLOPs | H20Z推理延迟 |

|---|---|---|---|

|

| Faster-WAM | 5.56B | 3.221 T | 321.16 ms |

| BridgeWAM | **5.06B** | **1.460 T** | **88.05 ms** |

真实机器人那边,研究者用的是PiPER X机械臂平台,测了关闭笔记本、拿放饮料、拿放笔、拿放鼠标这四个任务,还特意搭了物体高度、颜色、位置、数量都会变的分布外场景来考模型。BridgeWAM在这些真实场景里延迟77.1毫秒,Fast-WAM要190.3毫秒,快了2.47倍,成功率基本持平,甚至略好一点。

五、一张热力图揭示了什么

论文还做了个挺有意思的可视化实验,叫动作条件视觉路由图。说白了,就是把“动作专家到底在盯画面哪块区域”画出来。

拿同一个任务比Fast-WAM和BridgeWAM的注意力分布,比如“打开炉子把摩卡壶放上去”,差异很明显:Fast-WAM的注意力比较散,容易被无关的背景纹理带偏;BridgeWAM则更集中在目标物体和任务终点附近。而且换了背景、调了灯光、挪了摄像头之后,它“盯准目标”的能力还能保持得比较稳。

这个结果多少印证了前面的推理:动作专家只能通过32个精炼过的LBQ拿信息,不是直接面对整面墙的原始视觉特征,它就被逼着学会了更高效地筛信息,而不是被海量细节淹没。当然,研究者自己也讲清楚了,这类热力图只能说明“模型倾向于看哪里”,没法严格证明某个像素区域对最终决策有多大因果贡献。这是个挺诚实的表态。

六、这条路还没走完的地方

论文最后坦承了两个局限。一是真实世界的机器人任务训练里,这套范式对付复杂的长时序操作任务还比较吃力。二是BridgeWAM继承了基础模型Fast-WAM本身的一些不稳定性。研究者下一步打算想办法让这座“桥”在更长的时间跨度里留住任务相关信息,同时保住轻量级动作解码带来的效率优势。

这项研究并非凭空而来,它站在不少前序工作的肩上。MetaQuery那篇论文提出“用可学习查询从冻结的多模态语言模型里提取生成条件”,GenCeption则往预训练视频生成模型里插入可学习标记,用来提取稀疏结构化预测,这两条思路都被BridgeWAM吸收了。区别在于,BridgeWAM让视频专家和动作专家围绕同一组查询向量做双向联合学习,而非单向的条件抽取。

这条路径上已经有人继续往前走。2026年稍晚些的Faster-WAM引入“面向未来的条件信息”,在部分LIBERO任务上聚合成功率超过了BridgeWAM,比如RoboTwin 2.0上平均92.78%对89.84%,这说明未来预测能力和效率优化之间,可能还有一个需要权衡的空间。另一篇AHA-WAM走的是另一条拆分思路:用“低频视频规划器加高频动作执行器”的组合,把两种模态的时间节奏进一步解耦。

写在后面

论文读下来,那张性能对比表反倒不是最抓人的,真正让人记住的是“冻结视频专家”的对照实验——成绩从72.24%掉到25.48%,落差大得有点吓人。

这个结果其实指向一个更根本的问题:预训练好的视觉表征,能不能直接拿给动作任务用?过去不少工作默认“能”,理由是视频生成模型学到的物理世界知识听起来该是通用的。可这个实验说明,至少在机器人操作这个场景里,视频专家得跟着动作任务一起继续调整自己的表征方式,不然那些看似丰富的视觉知识,很大一部分其实派不上用场。

这让人联想到一个不完全相关、但隐约相通的现象:很多领域专家跨界做新任务,一开始的表现常常不如预期。原因不是基础知识不够,而是他们原有的知识结构没有针对新任务的目标做过调整。知识本身没错,组织知识的方式需要重新适配。

还有个细节值得琢磨:论文用了不小篇幅对比“LBQ专属交叉注意力”和“把LBQ、文本、状态信息全部混在一起做注意力”两种设计,后者的成绩明显更差(

如果动作专家用两层网络就能把活干好,那现在还有多少被默认“越深越好”的模块,其实只是在为匹配别的模块而陪跑?

Q&A

Q1:BridgeWAM是什么?

A:BridgeWAM是一种机器人世界动作模型。它用32个可学习的潜在桥接查询(LBQ)取代了传统的逐层视频-动作对接方式,视频理解网络和动作生成网络因此可以按不同深度独立设计,参数和计算量都降了下来,任务成功率和抗干扰能力反而提升。

Q2:BridgeWAM相比之前的方法快多少?

A:仿真测试里,BridgeWAM单次推理延迟为88.05毫秒,Fast-WAM是405.91毫秒,前者快4.61倍;放到真实机器人上,延迟77.1毫秒,比Fast-WAM快2.47倍。参数量也更小,任务成功率保持在98%以上。

Q3:为什么动作专家只用两层网络就够了?

A:论文的消融实验发现,把动作专家从2层加深到30层,在标准LIBERO测试上几乎没提升,在带扰动的

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 6万次真实作业打平人工司机!港科大团队成果登Sci.Rob.最新封面,攻克特种工业机器人港口落地难题

    “ 面向存量轮胎吊的全栈自主作业框架,在国内港口规模化部署。港口堆场,集装箱层层堆叠,轮胎吊来回穿梭。司机在驾驶室里,一边控制大车移动,一边紧盯吊具,小心翼翼抵消钢索晃动,把集装箱精准落在箱位上。想把这套操作完全交给机器人,难点远比想象中大。这台二十余米高、几十吨重的特种工业机器人,本体惯性巨大,吊具一动就像失控的秋千

    来源 腾讯网
  2. BioMARS 2.0落地:智能体如何参与生物实验决策

    转载请联系本公众号获得授权,并标明来源中国科学技术大学苏州高研院团队推出 BioMARS 2.0,将多智能体的知识整合、实验规划与反馈决策连接到真实生物实验。在研究人员监督下,利用文献证据与实验结果支持科研决策。从文献到实验,研究者需要理解分散的证据、组织操作方案,并依据结果决定下一步:培养效果不理想,应该调整...

    来源 腾讯网
  3. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  4. MIT“AI炒作指数”:AI像皮疹蔓延,人还能做主吗?

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹

    来源 AI 科技快讯
  5. 浙大与宇树开源500万条机器人预训练数据:总时长超1万小时

    浙江大学与宇树科技具身智能联合实验室等团队从海量互联网人类视频中构建并开源了预训练数据集 Movens-5M,收录 500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时。数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。团队将文字指令、视频示范、语音和音

    来源 腾讯网
  6. 美团无人机落地迪拜日常配送,中国“无人机外卖”加速出海

    【环球网财经综合报道】中国超大规模创新试验场孕育出的前沿技术,正在为全球市场提供高质量发展活力。无人机外卖、工业机器人……越来越多中国成熟的技术正加速走向世界各地,为当地的技术创新和发展壮大提供强劲动能。图:美团无人机第四代索降机型 M-Drone 4L 在迪拜完成海外首次亮相(资料图)迪拜时间11月18日,美团无..

    来源 腾讯网
  7. Artex走红:新手靠几句提示词就能发动网络攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 科技快讯
  8. 妙动科技Beni众筹超500万美元:消费级机器人11月10日全球现货开售

    消费具身的行业里,有一个话题一直被争论不休: “能真正被 C 端用户接纳的机器人,工具性和陪伴性,哪个才是第一性?” 有人说,具身进家庭,能干活才能真正产生价值。 于是,他们把更多的精力放在具体的场景,卷模型、卷数据、卷本体,试图让机器人真的“有用”,成为家庭里真正靠谱的“帮手”。 归根结底,陪伴的价值没法量化——养只

    来源 AI 行业观察
  9. Humyn Labs融资4700万美元,给美国机器人喂数据

    成立仅九个月的印度初创公司Humyn Labs完成4700万美元融资,专为机器人公司提供真实世界训练数据,约九成收入来自美国客户。在具身智能热潮下,物理世界数据的稀缺正催生一条全新的「卖水人」赛道,而这家公司要在Mecka AI、XDOF等对手中抢占身位。

    来源 AI 科技快讯
  10. 纽娲机器人创始人杨睿刚:自动驾驶踩过的数据坑,机器人还会再踩一遍丨物理 AI 50 人

    做了十多年自动驾驶之后,杨睿刚决定把下一次创业的方向,从高速公路转向居民社区。 在此之前,他曾在美国高校研究三维视觉,后来加入百度研究院,负责机器人与自动驾驶实验室,又担任嬴彻科技CTO,推动自动驾驶重卡前装量产。从研究算法到让几十吨重的卡车真正跑上高速公路,他经历了自动驾驶从技术探索走向商业化的过程。 2024年,杨

    来源 AI 行业观察
  11. 欧洲机器人行业规模最大融资之一:Genesis AI 完成 5 亿美元 A 轮融资,估值 35 亿美元

    IT之家 11 月 18 日消息,据路透社报道,法国通用机器人公司 Genesis AI 现已完成 5 亿美元(IT之家注:现汇率约合 33.4 亿元人民币)A 轮融资,估值达 35 亿美元(现汇率约合 233.8 亿元人民币)。这是欧洲机器人行业规模最大的融资项目之一。 据报道,参与融资的机构和个人有谷歌前 CEO

    来源 AI 行业观察
  12. 安姆科佘昕:机器人开包装将成新场景,中国市场保持两位数增长

    “预制菜的兴起更多是为了方便或是追求性价比,不能以损害或减少食品安全性作为代价。在这一过程中,包装可以发挥‘守门员’的作用,但其研发落地并不容易。不过,当前在减少或不添加防腐剂的情况下,通过适当的包装和加工技术,已经能实现一部分特定食品保质期的延长。”11月17日,在CCFA新消费论坛期间,消费包装龙头企业...

    来源 腾讯网
  13. 子公司长兴动力人形机器人业务是否送样洽谈?新兴装备回应

    有投资者向新兴装备(002933.SZ)提问,关于全资子公司长兴动力人形机器人业务的问题:1. 针对该业务,市场团队目前开展了哪些相关工作,是否包含客户拜访、市场推广、客户对接以及送样洽谈等市场开拓事项?2. 公司是否已经建立研发成果落地转化、对接下游客户的常态化工作机制?以上问题烦请在不涉及未公开重大信息与商业...

    来源 腾讯网
  14. 谷歌地图Ask Maps升级:AI可代打电话订位,还能规划自驾路线

    谷歌于2026年11月16日宣布对其基于Gemini技术的 Google Maps 聊天机器人 Ask Maps 进行重大功能更新。该工具现在不仅能够查找美容、宠物护理、汽车和房屋维修等各类预约服务,还能直接致电当地商家完成预订,并在显示可用时段前自动收集必要信息。同时,用户还可借助该功能查找已保存

    来源 AI 开发者社区
  15. 王兴兴谈机器人进家:泛化能力是最棘手难题,规模化还有多道坎

    IT之家 11 月 17 日消息,据看看新闻 Knews 报道,宇树科技 CEO 王兴兴今日现身深圳,参加 APEC 工商领导人峰会时,谈到机器人行业目前面临的挑战。 王兴兴表示,大家希望可以借助 AI,让机器人走进千家万户真正干活,而不是再根据具体场景重新训练,这种“泛化能力”是目前最棘手的。 IT之家从原报道获悉,

    来源 AI 行业观察
  16. AMD收购World Labs:李飞飞任执行副总裁兼首席科学家

    AMD于11月16日宣布,已完成对AI模型公司 World Labs 的收购,以进一步扩展其在AI技术栈领域的布局。World Labs联合创始人李飞飞将加入AMD,担任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。 World Labs专注于开发能够生成、重建和模拟交互式3D环境的AI模

    来源 AI 开发者社区
  17. 李飞飞入职AMD任首席科学家,World Labs被收编做3D世界模型

    AMD 11月16日宣布完成收购AI模型公司World Labs,以扩展AI技术栈布局。联合创始人李飞飞加入AMD,任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。World Labs专注生成、重建和模拟交互式3D环境的AI模型,并布局机器人学习与仿真;收购后团队将继续基础模型研究,与AMD工程师协作研发。

    来源 AI 产业速递
  18. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  19. 蚂蚁RWM:双向世界模型实现屏幕内外实时互动

    编辑|陈陈想象一下,你在现实中拿起一瓶水,递向屏幕。下一秒,屏幕里的虚拟人物竟然伸出手,接过了这瓶水。视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw更有意思的是,虚拟世界里的景色也能随着对话发生变化。当你和虚拟人物聊起杭州西湖,原本明亮的白天场景,竟然会随着

    来源 腾讯网
  20. 通用汽车:2028年前北美工厂机器人应用拟增20%,科科莫自研组装

    财联社11月17日讯(编辑 史正丞)最新消息显示,通用汽车正准备进一步扩大机器人在工厂中的应用,并将自动化要求延伸至零部件供应商。周二有媒体援引知情人士报道称,通用计划到2028年,将北美工厂机器人及其他自动化技术的应用增加20%。公司正在自主研发机器人,并在位于印第安纳州科科莫的工厂进行组装。知情人士介绍,通...

    来源 腾讯网
  21. 744B模型追平Claude Opus 5,人大复旦提出ToolSpace探索环境合成新范式

    给智能体造训练环境,一定要先从数据库开始吗?现有的环境合成方法通常以数据为中心,先生成数据库和业务场景,再据此构造工具与任务。但沿着这条路线,工具接口和参数逻辑可能偏离真实定义,工具组合也可能缺少执行依据,任务往往局限于单个环境。现实中的工作却需要跨越这些边界,要让智能体熟悉跨环境的工具调用,训练任务就需要覆盖不同环境

    来源 腾讯网
向下滚动自动加载更多