机器人视觉表征研究:高数值方块为何在动作模型中反复出现
你有没有想过,一个正在学习拿起杯子、打开抽屉的机器人大脑里,到底在发生什么?它看着一幅画面,这幅画面被拆解成几十个小方块,每个方块对应画面的一小块区域。按理说,这些方块应该老老实实地记录自己那一块地方的信息:这里有个把手,那里是桌面。但研究人员意外发现,有那么几个方块,它们的数值大得离谱,差不多是其...
一个正在学拿杯子、开抽屉的机器人,它脑子里在发生什么?这件事很少有人说得清。
它看到的画面会被切成几十个小方块,每块对应画面的一小片区域。按道理,这些方块只管记好自己那一亩三分地:这边有个把手,那边是桌面。可研究人员碰上个怪事:有几个方块的数值大得离谱,差不多是别的方块的十倍。更蹊跷的是,这些“异常值”出现的位置几乎每次都固定,哪怕画面内容换了个遍。
论文就是从这儿讲起的。上海交通大学、中科院自动化所和它石智航(Humanoid Robot Shanghai)的研究团队在琢磨一种叫世界动作模型的机器人大脑时,撞上了这个现象,顺着往下挖,最后挖出了一整套提升机器人操作能力的办法。
**世界动作模型是什么,它为什么重要**
世界动作模型(World Action Model,简称
这个思路说起来很顺。人学倒水,不是死记“手往左转30度”,而是脑子里先大致有数:水会怎么流、杯子会怎么晃,然后再去调手的动作。研究者想让机器人也这么干——先拿一个视频生成模型打底,这种模型看过海量视频,懂物理世界大概怎么运转;再在它上面加一个专门预测动作的模块。
这套架构有两位主角。一位是视频生成部分,叫
系统跑出来的效果不差,但有个问题一直没人讲明白:视频那部分究竟是怎么把“看明白的东西”变成“对动作有用的信息”的?这篇论文就是冲着这个疑问去的。
**离谱的高数值方块,到底在干什么**
研究团队盯上了一个叫
普通的预训练视频模型里也能看到类似苗头,比如阿里的Wan2.2和英伟达的Cosmos3-Nano,但弱得多,也不稳定。换句话说,这种极端数值是在把视频模型改造成动作模型的过程中被放大的。这本身就是一个信号:它可能跟动作生成有关。
光看不够,研究者做了个很直接的实验:把视频部分提炼出来的信息(也就是
假如某个位置数值特别大只是数值上的毛病,那把它遮住该没什么影响。实验结果偏偏不是这样:高数值的位置一旦被遮,动作预测确实变了,而且变化幅度相当稳定,在98个空间位置里排到第15位上下。它算不上最重要——画面里真正跟任务相关的物体,比如要抓的瓶子,遮住后动作变化往往更大——但它一直稳定地“有话语权”。
还有个细节挺有意思。研究者追踪了数值从“原始状态”到“进入动作模型前”的变化,发现经过归一化和投影处理,那种夸张的差异基本被抹平了,键和值的大小都回到正常范围。
极端数值本身其实没真正传进动作模型,可它背后代表的“功能重要性”传过去了。
这就像公司里有位员工,工资单上的数字跟别人看着差不多(归一化和投影好比统一的工资核算系统),但他在会上说的每句话,大家都格外当回事。工资条(数值大小)看不出异常,实际影响力(
研究者的结论下得很谨慎:这些高数值位置既不是“动作专用token”,也不是注意力机制里常见的那种“注意力黑洞”(
**问题来了:要不要专门给这些信息留个位置**
看到这个现象,团队冒出一个很自然的猜想:网络里某些空间位置被“挪用”去干非空间性的活,是不是说明网络本身缺一块专门放这类信息的地方?要是给它们单独腾个位置,会不会更好?
这个猜想催生了论文的核心方法,叫
寄存器
思路并非这篇论文首创。此前已有研究发现,普通的
事情没这么简单。加上寄存器之后,研究者发现高数值异常并没完全消失:网络中间层被压下去了,到最后一层又冒出来,还跟寄存器的高数值混在一块。换句话说,光加寄存器,等于给员工开了间新办公室,可原来那个“被征用”的员工照旧忙他的,新办公室里的人也忙活起来,两边都有活干,谁也没闲下来。
真正让局面翻转的是另一手:给画面本身再加一个额外的监督信号。
这个信号叫观察流匹配损失监督
加进这道约束后,最后一层的空间异常值不见了,高数值全跑到寄存器身上。这个结果本身就很能说明问题。不过光给寄存器腾出位置,并不等于空间token会主动交出“兼职”:一家公司新开几间办公室,老员工手里的杂活没人要求移交,他照样接着干。必须明确告诉空间token,它要交的答卷只有把画面本身描述准确;再配上寄存器这个新岗位,功能才算真正转移过去。两件事少一件都不成。
性能提升也随之落到了实处。研究者做了一组对照实验:原始
寄存器该放几个,团队也做了测试。1个、4个、8个、16个、64个挨个试下来,结论是并非越多越好。4到8个属于比较舒服的区间,再往上加,效果反而往下掉。说到底,给网络留“自由发挥空间”这件事,大小不是关键,要看信息是否真需要那么多独立通道来装。
动作模型怎么拿到视觉信息,研究团队也对比了两条路:一条只让它看寄存器(Register-only),另一条让它同时看原始空间token和寄存器(Raw+Register)。两种方案表现差别不大,最终选的是只用寄存器。理由很实际:这样动作模型在反复迭代
**不止于整理秩序:给当前画面也加一道"复原考题"**
观察损失监督不光能把高数值异常赶去寄存器,还能单独抬高策略表现,也就是前面那个58.07%对53.64%。看到这一点,研究者又往前迈了一步。
他们发现,原来的做法只是把当前画面当作“输入条件”,告诉网络“这是你现在看到的样子”,却没逼着它真正去理解这幅画面。那能不能把“理解当前画面”做成一道主动的考题,而不是被动接收?
按这个思路,他们设计了
这套设计的意图不难体会。练书法的时候,老师不会只让你照字帖描一遍,还会故意把字帖弄脏弄花一块,让你凭记忆和理解把被遮住的笔画补上。单纯临摹练的是手部动作的复刻;补全被遮挡的部分,才逼着你真正弄懂这个字的结构逻辑,而不是照葫芦画瓢。少了这道“补全考题”,网络很可能只是把输入原样转发出去,损失看着很低,画面里的物理结构和场景逻辑其实没吃透。
研究者把这个噪声水平记作σ,扫了一轮参数。结果显示,σ取0.5时效果最好,成功率能到82.52%;σ取0.25时明显打折扣,只有76.14%。考题难度得刚刚好:太简单,逼不出理解;太难,网络又可能学偏。
**
把寄存器、
这套方案在三个测试场景里都做了验证。
在
在
真人实机测试更有说服力,毕竟结果是真实世界里跑出来的,没有仿真环境那层理想化。团队在一台三摄像头的双臂机器人平台上做了六组真实任务:装电池、叠碗叠杯、递瓶子这三组训练时见过;改变桌子高度、换桌布颜色、加干扰物这三组训练时没见过。结果是,RegisterWAM把整体任务得分从FastWAM的0.3483提到0.5238,六个场景里五个有提升。只有换蓝色桌布这一项,两个模型都拿了零分,说明外观大幅变化仍是共同的短板,这套方法没能完全解决。
这套设计能不能搬到别的生成模型架构上,研究者也做了测试。他们找了一个基于图片编辑、而不是视频生成的模型
下面这张表汇总了
方法 | 相机变化 | 机器人变化 | 语言变化 | 光照变化 | 背景变化 | 噪声干扰 | 布局变化 | 平均
FastWAM | 16.4 | 44.5 | 68.9 | 78.2 | 53.7 | 37.7 | 60.7 | 51.5
Faster-WAM | 53.8 | 71.6 | 94.7 | 96.3 | 61.3 | 63.6 | 79.1 | 73.6
PILOT(使用额外先验)| 76.0 | 70.0 | 84.0 | 92.0 | 85.0 | 78.0 | 82.0 | 81.0
**RegisterWAM** | 59.2 | 71.9 | 93.7 | 95.7 | **87.9** | **85.1** | 84.3 | **81.6**
能看出来,背景变化和噪声干扰这两类挑战上,RegisterWAM的表现格外突出。这或许跟寄存器把“与具体空间位置无关”的信息单独剥离出来有关:背景或噪声搅乱了画面的局部细节,专门负责全局理解的那些寄存器受到的冲击相对更小。
写在后面
读完这篇论文,我一直在琢磨:研究者最初发现的这个“异常值”,到底算不算一个bug?
论文其实很谨慎,没有给这个异常值下明确的语义定义,没说它“代表了物体的位置信息”,也没说它“编码了某种抽象概念”。这种克制挺难得。不少论文一发现有趣现象,就急着贴标签、讲故事;这篇的选择是,先承认现象存在,先证明它有功能上的后果,再用一个架构实验(加寄存器)去验证“给它一个专门的家,它会不会搬过去”,而不是直接断言它是什么。先验证行为、再谨慎推测本质,这条研究路径本身就值得学。
还有一个细节让我印象很深:寄存器和观察损失监督得搭配着用,单用哪个都不够。道理其实很朴素:给员工开新工位,老员工不会自动把活儿交出去,除非你同时把新的分工规则说清楚。架构上的“留白”和训练目标上的“约束”要配合着来,光靠结构设计不够。做模型架构设计的人,这点值得记一笔。
论文里有一处没被充分讨论,我倒是挺好奇:寄存器之间看不出明确分工。不同寄存器在不同头(head)上盯的画面区域确实有差别,附录那张注意力可视化图里,有的寄存器盯着机械爪,有的盯着盘子。可这种差别眼下更像是训练过程中自己长出来的,不是人设计好的。往后要是能把寄存器的分工做得更可控、更可解释,这个黑箱也许能再打开一点,看看机器人在动手之前究竟把哪些抽象信息提了出来。
机器人学会动作,靠的可能不只是看得更清楚,而是学会把看到的东西分成两类——“属于这里”的和“不属于任何地方但很重要”的,再分别收好。听着简单,可真做到、做好,中间隔着这篇论文里那么多次实验和参数调试。RegisterWAM是什么?它是一种改进机器人世界动作模型的方法:在视频生成网络里加入可学习的非空间寄存器token,再用当前画面的流匹配损失做监督,把原来混在普通空间token里的高数值异常信息整理归位,让寄存器直接去当连接视觉理解和动作生成的那座桥。
Q&A
寄存器为什么能提升机器人操作成功率?它给网络提供了一个不受空间位置束缚的信息容器,专门装那些对动作决策有用、却不属于某个具体画面区域的抽象信息;观察流匹配损失则逼着空间token回到本职工作。整理之后,表征更干净,也更适合直接拿来指导动作生成,LIBERO-Plus测试上成功率从53.64%提升到约82.52%。
高数值空间异常值到底代表什么?论文发现,这些异常值不是简单的数值bug。它们在键值投影后数值差异会被抹平,但对最终动作预测仍有稳定、持续的影响。研究者认为,这是部分空间token被功能性征用、去承担非空间信息表达的外在信号,并非有意设计的“动作专用token”,也不是注意力黑洞。