机器人视觉表征研究:高数值方块为何在动作模型中反复出现

资讯 腾讯网 作者:科技行者 全文 4606 字 · 约 12 分钟读完 分类机器人具身智能

你有没有想过,一个正在学习拿起杯子、打开抽屉的机器人大脑里,到底在发生什么?它看着一幅画面,这幅画面被拆解成几十个小方块,每个方块对应画面的一小块区域。按理说,这些方块应该老老实实地记录自己那一块地方的信息:这里有个把手,那里是桌面。但研究人员意外发现,有那么几个方块,它们的数值大得离谱,差不多是其...

所属频道 机器人与具身智能

一个正在学拿杯子、开抽屉的机器人,它脑子里在发生什么?这件事很少有人说得清。

它看到的画面会被切成几十个小方块,每块对应画面的一小片区域。按道理,这些方块只管记好自己那一亩三分地:这边有个把手,那边是桌面。可研究人员碰上个怪事:有几个方块的数值大得离谱,差不多是别的方块的十倍。更蹊跷的是,这些“异常值”出现的位置几乎每次都固定,哪怕画面内容换了个遍。

论文就是从这儿讲起的。上海交通大学、中科院自动化所和它石智航(Humanoid Robot Shanghai)的研究团队在琢磨一种叫世界动作模型的机器人大脑时,撞上了这个现象,顺着往下挖,最后挖出了一整套提升机器人操作能力的办法。

**世界动作模型是什么,它为什么重要**

世界动作模型(World Action Model,简称

这个思路说起来很顺。人学倒水,不是死记“手往左转30度”,而是脑子里先大致有数:水会怎么流、杯子会怎么晃,然后再去调手的动作。研究者想让机器人也这么干——先拿一个视频生成模型打底,这种模型看过海量视频,懂物理世界大概怎么运转;再在它上面加一个专门预测动作的模块。

这套架构有两位主角。一位是视频生成部分,叫

系统跑出来的效果不差,但有个问题一直没人讲明白:视频那部分究竟是怎么把“看明白的东西”变成“对动作有用的信息”的?这篇论文就是冲着这个疑问去的。

**离谱的高数值方块,到底在干什么**

研究团队盯上了一个叫

普通的预训练视频模型里也能看到类似苗头,比如阿里的Wan2.2和英伟达的Cosmos3-Nano,但弱得多,也不稳定。换句话说,这种极端数值是在把视频模型改造成动作模型的过程中被放大的。这本身就是一个信号:它可能跟动作生成有关。

光看不够,研究者做了个很直接的实验:把视频部分提炼出来的信息(也就是

假如某个位置数值特别大只是数值上的毛病,那把它遮住该没什么影响。实验结果偏偏不是这样:高数值的位置一旦被遮,动作预测确实变了,而且变化幅度相当稳定,在98个空间位置里排到第15位上下。它算不上最重要——画面里真正跟任务相关的物体,比如要抓的瓶子,遮住后动作变化往往更大——但它一直稳定地“有话语权”。

还有个细节挺有意思。研究者追踪了数值从“原始状态”到“进入动作模型前”的变化,发现经过归一化和投影处理,那种夸张的差异基本被抹平了,键和值的大小都回到正常范围。

极端数值本身其实没真正传进动作模型,可它背后代表的“功能重要性”传过去了。

这就像公司里有位员工,工资单上的数字跟别人看着差不多(归一化和投影好比统一的工资核算系统),但他在会上说的每句话,大家都格外当回事。工资条(数值大小)看不出异常,实际影响力(

研究者的结论下得很谨慎:这些高数值位置既不是“动作专用token”,也不是注意力机制里常见的那种“注意力黑洞”(

**问题来了:要不要专门给这些信息留个位置**

看到这个现象,团队冒出一个很自然的猜想:网络里某些空间位置被“挪用”去干非空间性的活,是不是说明网络本身缺一块专门放这类信息的地方?要是给它们单独腾个位置,会不会更好?

这个猜想催生了论文的核心方法,叫

寄存器

思路并非这篇论文首创。此前已有研究发现,普通的

事情没这么简单。加上寄存器之后,研究者发现高数值异常并没完全消失:网络中间层被压下去了,到最后一层又冒出来,还跟寄存器的高数值混在一块。换句话说,光加寄存器,等于给员工开了间新办公室,可原来那个“被征用”的员工照旧忙他的,新办公室里的人也忙活起来,两边都有活干,谁也没闲下来。

真正让局面翻转的是另一手:给画面本身再加一个额外的监督信号。

这个信号叫观察流匹配损失监督

加进这道约束后,最后一层的空间异常值不见了,高数值全跑到寄存器身上。这个结果本身就很能说明问题。不过光给寄存器腾出位置,并不等于空间token会主动交出“兼职”:一家公司新开几间办公室,老员工手里的杂活没人要求移交,他照样接着干。必须明确告诉空间token,它要交的答卷只有把画面本身描述准确;再配上寄存器这个新岗位,功能才算真正转移过去。两件事少一件都不成。

性能提升也随之落到了实处。研究者做了一组对照实验:原始

寄存器该放几个,团队也做了测试。1个、4个、8个、16个、64个挨个试下来,结论是并非越多越好。4到8个属于比较舒服的区间,再往上加,效果反而往下掉。说到底,给网络留“自由发挥空间”这件事,大小不是关键,要看信息是否真需要那么多独立通道来装。

动作模型怎么拿到视觉信息,研究团队也对比了两条路:一条只让它看寄存器(Register-only),另一条让它同时看原始空间token和寄存器(Raw+Register)。两种方案表现差别不大,最终选的是只用寄存器。理由很实际:这样动作模型在反复迭代

**不止于整理秩序:给当前画面也加一道"复原考题"**

观察损失监督不光能把高数值异常赶去寄存器,还能单独抬高策略表现,也就是前面那个58.07%对53.64%。看到这一点,研究者又往前迈了一步。

他们发现,原来的做法只是把当前画面当作“输入条件”,告诉网络“这是你现在看到的样子”,却没逼着它真正去理解这幅画面。那能不能把“理解当前画面”做成一道主动的考题,而不是被动接收?

按这个思路,他们设计了

这套设计的意图不难体会。练书法的时候,老师不会只让你照字帖描一遍,还会故意把字帖弄脏弄花一块,让你凭记忆和理解把被遮住的笔画补上。单纯临摹练的是手部动作的复刻;补全被遮挡的部分,才逼着你真正弄懂这个字的结构逻辑,而不是照葫芦画瓢。少了这道“补全考题”,网络很可能只是把输入原样转发出去,损失看着很低,画面里的物理结构和场景逻辑其实没吃透。

研究者把这个噪声水平记作σ,扫了一轮参数。结果显示,σ取0.5时效果最好,成功率能到82.52%;σ取0.25时明显打折扣,只有76.14%。考题难度得刚刚好:太简单,逼不出理解;太难,网络又可能学偏。

**

把寄存器、

这套方案在三个测试场景里都做了验证。

在

在

真人实机测试更有说服力,毕竟结果是真实世界里跑出来的,没有仿真环境那层理想化。团队在一台三摄像头的双臂机器人平台上做了六组真实任务:装电池、叠碗叠杯、递瓶子这三组训练时见过;改变桌子高度、换桌布颜色、加干扰物这三组训练时没见过。结果是,RegisterWAM把整体任务得分从FastWAM的0.3483提到0.5238,六个场景里五个有提升。只有换蓝色桌布这一项,两个模型都拿了零分,说明外观大幅变化仍是共同的短板,这套方法没能完全解决。

这套设计能不能搬到别的生成模型架构上,研究者也做了测试。他们找了一个基于图片编辑、而不是视频生成的模型

下面这张表汇总了

方法 | 相机变化 | 机器人变化 | 语言变化 | 光照变化 | 背景变化 | 噪声干扰 | 布局变化 | 平均

FastWAM | 16.4 | 44.5 | 68.9 | 78.2 | 53.7 | 37.7 | 60.7 | 51.5

Faster-WAM | 53.8 | 71.6 | 94.7 | 96.3 | 61.3 | 63.6 | 79.1 | 73.6

PILOT(使用额外先验)| 76.0 | 70.0 | 84.0 | 92.0 | 85.0 | 78.0 | 82.0 | 81.0

**RegisterWAM** | 59.2 | 71.9 | 93.7 | 95.7 | **87.9** | **85.1** | 84.3 | **81.6**

能看出来,背景变化和噪声干扰这两类挑战上,RegisterWAM的表现格外突出。这或许跟寄存器把“与具体空间位置无关”的信息单独剥离出来有关:背景或噪声搅乱了画面的局部细节,专门负责全局理解的那些寄存器受到的冲击相对更小。

写在后面

读完这篇论文,我一直在琢磨:研究者最初发现的这个“异常值”,到底算不算一个bug?

论文其实很谨慎,没有给这个异常值下明确的语义定义,没说它“代表了物体的位置信息”,也没说它“编码了某种抽象概念”。这种克制挺难得。不少论文一发现有趣现象,就急着贴标签、讲故事;这篇的选择是,先承认现象存在,先证明它有功能上的后果,再用一个架构实验(加寄存器)去验证“给它一个专门的家,它会不会搬过去”,而不是直接断言它是什么。先验证行为、再谨慎推测本质,这条研究路径本身就值得学。

还有一个细节让我印象很深:寄存器和观察损失监督得搭配着用,单用哪个都不够。道理其实很朴素:给员工开新工位,老员工不会自动把活儿交出去,除非你同时把新的分工规则说清楚。架构上的“留白”和训练目标上的“约束”要配合着来,光靠结构设计不够。做模型架构设计的人,这点值得记一笔。

论文里有一处没被充分讨论,我倒是挺好奇:寄存器之间看不出明确分工。不同寄存器在不同头(head)上盯的画面区域确实有差别,附录那张注意力可视化图里,有的寄存器盯着机械爪,有的盯着盘子。可这种差别眼下更像是训练过程中自己长出来的,不是人设计好的。往后要是能把寄存器的分工做得更可控、更可解释,这个黑箱也许能再打开一点,看看机器人在动手之前究竟把哪些抽象信息提了出来。

机器人学会动作,靠的可能不只是看得更清楚,而是学会把看到的东西分成两类——“属于这里”的和“不属于任何地方但很重要”的,再分别收好。听着简单,可真做到、做好,中间隔着这篇论文里那么多次实验和参数调试。RegisterWAM是什么?它是一种改进机器人世界动作模型的方法:在视频生成网络里加入可学习的非空间寄存器token,再用当前画面的流匹配损失做监督,把原来混在普通空间token里的高数值异常信息整理归位,让寄存器直接去当连接视觉理解和动作生成的那座桥。

Q&A

寄存器为什么能提升机器人操作成功率?它给网络提供了一个不受空间位置束缚的信息容器,专门装那些对动作决策有用、却不属于某个具体画面区域的抽象信息;观察流匹配损失则逼着空间token回到本职工作。整理之后,表征更干净,也更适合直接拿来指导动作生成,LIBERO-Plus测试上成功率从53.64%提升到约82.52%。

高数值空间异常值到底代表什么?论文发现,这些异常值不是简单的数值bug。它们在键值投影后数值差异会被抹平,但对最终动作预测仍有稳定、持续的影响。研究者认为,这是部分空间token被功能性征用、去承担非空间信息表达的外在信号,并非有意设计的“动作专用token”,也不是注意力黑洞。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 又一家机器人公司陷入危机

    导读THECAPITAL潮水退去,才知道谁在裸泳!本文3545字,约5分钟作者 | 戴贤超 编辑 | 吾人来源 | 融中财经近日,有媒体报道称阿米奥机器人原CTO、COO、产品负责人均已离职,团队从峰值约130人收缩到70余人,新一轮人员优化还在进行。这家由小米汽车前智驾量产负责人刘方创立、安克创新领投的工业具身智能公

    来源 腾讯网
  2. 果实进化:具身智能从服务业切入,AI巡检已落地餐饮与食品工厂

    来源 | Tech星球文 | 华卫具身智能行业,正在经历一场微妙而又深刻的变化。过去,机器人公司热衷于展示自己的技术上限:能跳多高、跑多快,又能完成多少复杂动作。但到了下半年,行业开始出现另一种声音。比起证明机器人有多聪明,越来越多人开始关心它们走进真实场景后的表现。最近30天里,行业接连发生了几件具有风向标意义的事情

    来源 腾讯网
  3. 华为云联手福龙马推清扫机器人,世界模型已启动预售

    华为正在将人工智能布局从数字世界延伸至物理世界。 11月16日,华为云宣布,与环卫装备企业福龙马联合研制的新一代智能清扫机器人启动预售。其中,华为云将为产品提供CloudRobo开发工具链、感知与规划模型、Agentic运行平台及昇腾云算力。该机器人还引入世界模型,使其不仅能够识别环境,还能对复杂动态物理空间进行推演和

    来源 腾讯网
  4. 星尘智能CoMind:隔墙协作成功率100%,通信量降八成

    深圳具身智能公司星尘智能推出多机协同框架CoMind。该框架让机器人在视线受阻时,通过共享关键视觉特征而非完整视频流来协作。测试显示,在隔墙拿笔等任务中,成功率从0%提升至100%,同时通信数据量减少80%。这标志着多机器人协作从中心化调度向去中心化、基于动作反馈的信息交换转变。

    来源 AI 应用前沿
  5. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  6. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  7. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  8. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  9. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  10. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  11. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  12. SpaceX星舰第15次试飞:首次用“筷子”夹住飞船,双回收只成一半

    美国太空探索技术公司重型运载火箭“星舰”的第二级飞船当地时间11月14日返回地球,并由发射塔机械臂“捕获”回收,完成第15次试飞。这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键一步,也让大众再次聚焦,在航天技术持续突破下,人类距离真正的星际旅行还有多远?美“星舰...

    来源 腾讯网
  13. SpaceX机械臂空中接住星舰飞船,万亿估值叙事补上关键一环

    SpaceX首次成功用发射塔机械臂在空中接住星舰(Starship)的上级飞船,这是全球航天史上第一次从轨道返回的飞船被塔架“夹”住回收,也让马斯克公司距离“快速复用”的目标近了一大步,而分析师认为,这正是支撑其数万亿美元估值叙事的关键一环。北京时间11月15日周日,星舰上级在完成14圈绕地飞行后重返大气层,被得克萨斯

    来源 腾讯网
  14. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  15. 宾州州立大学研究:AI决策模型能被图片藏话骗倒吗?

    你有没有想过,现在很多AI系统做的根本不是"聊天"这件事,而是悄悄地在后台做决定。比如你问客服机器人一个问题,背后可能有个模型在判断该把你的请求转给哪个部门。你上传一张照片问"这个包裹能不能寄平邮",背后有个模型在看图、读数字、给出是或否的答案。你搜索商品,背后有模型在判断哪个结果跟你的需求最相关。这类模...

    来源 腾讯网
  16. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  17. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  18. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
向下滚动自动加载更多