机器人听不懂“拿我刚用过的”：新系统抓取成功率达76.7%

朋友跟你说“把我刚放的那个东西递给我”，你低头一看，桌上摆着七八件东西，心里难免犯嘀咕：到底哪个才是“刚放的”？

换成人，这事不算难，脑子里回放一下刚才的场景就有答案。可要让机器人来做，几乎成了灾难级的难题。

2026年有篇论文做了个挺扎心的实验。研究者让一个叫VoLo的智能体系统去理解“捡起最后被移动的那个物体”这句话。VoLo用视觉语言模型准确判断出了目标是哪个罐子，随后把这个描述交给下游的抓取模型执行。抓取却失败了。识别没错，问题在于那个罐子当时已经被挡住，摄像头根本看不见它。

VoLo清楚“是什么”，却不清楚“在哪”。好比导航软件把朋友家的门牌号报得一字不差，你开过去才发现那条路正在施工封路，软件压根没提。知道目标是什么，和能找到目标，完全是两回事。

论文的研究者盯上的正是这个缺口，他们给这类任务起了个名字：事件指代型抓取。

**事件指代型抓取**：机器人要根据物体在过去某个事件里扮演的角色来确定抓取目标，而非依据外观或名称，并且该目标在当前画面中可能已经不可见。

现有机器人为什么答不上这道题

先看这道题难在哪。

市面上做语言引导抓取的方法不少，LERF-TOGO、GraspSplats，还有更新的GraspMolmo、Point2Act，核心逻辑都差不多：给一张图、给一句话（比如“拿起红色的杯子”），然后到图里把东西找出来。物体一直摆在那儿、名字说得清楚时，这套逻辑运行得很好。

事件指代型指令却完全不是这个套路。“拿起我刚用过的那个”，这句话里没有任何外观信息。你得先弄明白“我刚用过的”指的是哪个事件，这个事件又涉及了哪个物体，之后才能开始找。更麻烦的是，答案还没找到，这个物体很可能已经被挪到看不见的地方了。

研究团队测了几种代表性方法在原始指令下的表现，数据很直观：LERF-TOGO在全部150次试验里抓取成功率为0%，GraspSplats也是0%，Point2Act是9.3%，用RGB-D重建的Point2Act加强版也只有22.7%。就算研究者预先用大模型把指令转写成更明确的描述，比如把“刚用过的”翻译成“桌上的红色杯子”，最强的基线方法也只冲到50.0%。

论文提出的系统BeyondCSe则达到了76.7%。

中间差了26.7个百分点，意味着什么？每4次抓取任务，对手方法就要比BeyondCSe多失败超过1次。放到实际场景里，这样的差距足以让一个“看起来能用”的系统变成“没法交付”的系统。

**BeyondCSe**：论文提出的零样本事件指代抓取系统，无需任何针对性训练，依靠现成的多模态大模型和点追踪器，完成从事件理解到抓取执行的全流程。

它是怎么做到的？拆开看，是两件事在配合：先搞清楚“要抓什么”，再搞清楚“去哪儿找”。

第一步：把一段录像变成一句能用的描述

BeyondCSe的第一个模块叫视频推理，说白了就是看录像、理事件、找目标。

这个模块分成四个阶段，一步接一步往下走。第一阶段叫RECORD，只看视频，不看指令，把整段录像梳理成一串按时间排列的事件记录，每条记录一个动作、这个动作涉及的物体，以及可能牵连的另一个物体。这一阶段故意不告诉它用户想要什么，先把“发生了什么”客观记下来。

第二阶段叫SELECT，到这时才把用户指令拿出来，让模型结合事件记录和指令，输出两样东西：目标物体长什么样，也就是外观描述；这个目标和哪个事件相关，也就是线索描述。

到了第三阶段，也就是LOCATE，做法是拿线索描述到当前画面中圈出一个大概范围。第四阶段为POINT，在圈定的这片小区域里，把需要抓取的那个点精确标出来。

**MLLM**：多模态大语言模型，能同时理解图像和文字，在这里负责理解视频内容、生成目标描述、在图像中定点。

为什么不直接让模型在整张图里一步找到答案，而要先框区域再精确定点？论文里有个很直观的例子：直接让模型在整张图里找一个“花茎”这种小部件，模型很容易找错，甚至根本找不到。先把花所在的区域框出来，放大再看，模型一下子就能精确点到花茎上。论文的实验也验证了这一点，直接定点和全图定点都失败的案例，裁剪后定点就成功了。

这就像在一张合照里找某个人脖子上挂的小吊坠。直接盯着整张照片找，吊坠太小，细节根本看不清，很容易认错。先圈出那个人的上半身，放大看，吊坠的轮廓和质感立刻就清楚了。少了这一步放大操作，模型对小物体、物体部件的定位准确率会明显下滑，论文的消融实验里也体现了这种差距。

那目标在当前画面里完全找不到怎么办？系统会往回翻历史画面，从最近的往更早的方向搜索，用点追踪器把候选轨迹跟踪下来，排除那些到视频结束时仍然可见的轨迹，因为这种物体根本不算“消失”，剩下的候选再逐个核对外观是否匹配，第一个通过核对的就被选中。接着，把这条轨迹里带有效深度信息的采样点统一换算到机器人坐标系下，形成一组历史三维观测点，这组点后面会派上大用场。

第二步要解决的是另一件事：目标压根不在眼前怎么办？答案是先猜。

目标真不在当前画面里的时候，机器人得先想清楚摄像头该往哪儿挪。

论文里技术含量最高的部分就在这儿，名字叫事件条件主动感知。

**主动感知**：机器人不再被动接收一张固定图像，而是自己决定下一步把摄像头移到哪个位置去拿新信息。

以往做主动感知，“往哪看”主要靠当前画面里能看到的几何信息、物体与遮挡物的位置关系，或者抓取成功率模型给出的不确定性。这些做法有个共同短板：眼睛只盯着“现在的场景”。物体一旦被人挪走、藏起来，当前场景里基本留不下什么线索。

BeyondCSe换了条路，转而去问历史：这东西最后一次被看到时，是朝哪个方向动的？

落到操作上，系统先取到上文那组历史三维观测点，用分段直线把它们串起来，当作目标物体的移动轨迹。接着盯住轨迹的末段（论文设定取整条轨迹长度的一半），分析这一段的走向和分布，据此构造一个概率分布：中心落在物体最后被看到的位置，形状由末段走向决定。

**TSDF**：截断符号距离函数，一种描述三维空间中物体表面几何形状的数据结构，机器人靠它搭建周围环境的几何地图。

这里有个挺巧的设计。这个概率分布并非百分之百认定物体就在附近，它把一小部分概率均匀铺到整个可搜索空间里。留这点余量是为什么？历史推断有可能出错，万一物体实际去向跟轨迹预测的完全对不上，系统不能把全部希望压在一个错误猜测上，得留条后路。

好比出门找一只跑掉的猫。你看见猫最后往小区花园方向跑了，大概率它还在花园一带，自然先重点搜花园。可你不会把别的方向彻底排除，猫完全可能绕一圈去了别处。要是把全部精力砸在花园，方向一猜错，代价就是彻底找不着。这个“留一点概率给全空间”的做法，说到底就是给系统留个反悔的余地。

拿到这个初始的“信念分布”，系统还得定下摄像头具体往哪个角度动。它会在高概率区域周边生成一批候选视角，先剔掉机械臂够不到、会撞到自己或场景的角度，剩下的每个候选视角都要算一个分数。

打分逻辑挺有意思。系统会先模拟：从这个角度拍一张照片，能给目标存在的各个可能位置带来多少信息增量。不过有个陷阱得绕开：有些候选视角看着视野很开阔，可那片开阔区域其实是从没被观测过的空白地带。拿空白地带去证明“这里没有目标”不靠谱，你根本没看清那儿有没有东西。

论文为此设计了一个叫透射率的衰减机制，灵感来自NeRF（一种三维场景渲染技术）里的体积透射率概念。说白了：一条视线如果要穿过很长一段从未被观测过的未知空间，才能到达目标可能的位置，那这条视线给出的信息就要打折，折扣幅度跟穿过的未知距离成正比。

**NeRF**：也就是神经辐射场，用神经网络来表达三维场景，并且支持从任意视角渲染出逼真画面；这套方案只借鉴了它判断光线穿透置信度的思路，实际上并没有训练辐射场网络。

这层设计意义在哪？假如没有衰减，机器人会把“视野开阔、其实什么都没探明”的角度误当成“信息量大”的好角度，跑过去照样一无所获，白跑一趟。加上衰减机制，这种虚假的开阔感会被打折扣，机器人更愿意挑那些真能照亮未知区域、确认目标在不在的角度。

分数打完，机器人执行得分最高、且确实走得到的那个视角，拍一张新照片回来，用这张照片更新地图和信念分布。更新走的是贝叶斯方法，新证据不断修正旧猜测，如此循环，直到找到目标，或者把允许尝试的视角次数用完。

**贝叶斯更新**：一种依据新证据不断修正概率估计的统计方法，这里指机器人每拍一张新照片，就按这张照片提供的信息重新调整“目标在哪”的概率地图。

实测结果：差距不是一点点

论文团队用一台搭载腕部RGB-D相机的机器人做了真实世界实验，共150次试验，分目标初始可见和目标被遮挡两种情况。

| 方法 | 原始指令抓取成功率 | 转写指令抓取成功率 |

|---|---|---|

| LERF-TOGO | 0.0% | 18.7% |

| Point2Act | 9.3% | 19.3% |

| GraspSplats | 0.0% | 34.7% |

| Point2Act（RGB-D重建版） | 22.7% | 50.0% |

| **BeyondCSe** | **76.7%** | **76.7%** |

数据里藏着一个有意思的现象：把给其他方法的指令稍作“翻译”，让它更接近当前场景的描述方式，所有基线方法的表现都往上走了。可即便这样，最好的那个也只摸到50.0%，跟BeyondCSe还隔着26.7个百分点。指令说得再清楚也还不够，真正的瓶颈落在后面的空间搜索能力上。

拆开看，目标看得见时，BeyondCSe在50次试验里定位成功43次，抓取成功38次；目标被挡住时，100次试验里定位成功88次，抓取成功77次。遮挡这种更难的条件下，它的表现并没有比可见时差太多。主动感知模块是在实打实地解决问题，不是碰运气。

论文另外单独测了四个遮挡特别严重的场景：目标整个藏进篮子，或者躲在其他物体背后，连固定的俯视视角都拍不到。这组实验拿来跟另一个主动视角规划方法（Breyer等人提出）对比。对方得了一项作弊式的优待——研究者直接把目标物体的真实三维边界框喂给了它，等于告诉它“东西肯定在这个范围里”。BeyondCSe没有这类外部提示，全靠自己从历史和当前几何信息里推断。

| 方法 | 平均所需视角数 | 抓取成功率 |

|---|---|---|

| Breyer等人（有真实边界框） | 3.35 | 75% |

| BeyondCSe去掉信念权重 | 4.65 | 80% |

| BeyondCSe去掉透射率衰减 | 3.10 | 90% |

| BeyondCSe去掉历史先验 | 4.00 | 95% |

| **BeyondCSe完整版** | **2.20** | **95%** |

这组消融实验值得细读。拿掉信念权重——也就是让系统平等对待所有尚未排除的可能位置，不区分哪些更可能——平均所需视角数蹿到4.65，在所有变体里垫底。不分主次地乱找，会在不太可能的区域白白浪费大量视角。拿掉透射率衰减后，平均视角数也升到3.10，其中一个场景甚至要5.2个视角，这说明“把未知空间误判成已探明空间”确实会把搜索方向带偏。

最有意思的是拿掉历史先验那一项。抓取成功率95%，和完整版持平，可平均视角数从2.20猛涨到4.00，几乎翻倍。历史先验的主要价值不在“最终能不能找到”，而在“能不能更快找到”。

这就像找钥匙。你记得最后一次用钥匙是在厨房，直接去厨房翻一遍，很快就能找到。要是完全不顾这段记忆，把客厅、卧室、厨房挨个翻一遍，最终当然也能找到，但时间和耐心要花掉双倍。对机器人来说，“双倍视角数”直接等于双倍的移动时间和能耗，真实部署里这笔账省不掉。

论文还给了一张直观的对比图，展示两种方法在同一个遮挡场景里的搜索路径。BeyondCSe只多拍了一张照片就把目标揪了出来，对比方法却在场景里转了好几个角度才找到。对方手里还攥着那个“作弊”用的真实边界框，照样跑得比BeyondCSe慢。知道目标大概在哪个框里，和知道目标更可能落在框里哪个角落，是两种不同程度的信息，后者才是真正省时间的关键。

这套方法走出实验室厨房会怎样

为了验证视频推理模块不是只能在特定的实验室桌面场景里工作，研究团队把同一套流程原样搬到两个公开的第一人称视角视频数据集上测试，没做任何针对数据集的提示词调整。这两个数据集分别是EgoDex和EPIC-KITCHENS。

EgoDex的例子里，指令是“拿起最先放到盘子上的那个”，系统从事件记录里准确挑出了“放红色水果”这个动作，最终在最后一帧画面里精确指出了红色水果的位置。

EPIC-KITCHENS的例子里，指令是“拿起第二个被洗的那个”，系统记下了洗西葫芦、洗胡萝卜的先后顺序，正确选出胡萝卜。这个场景里摄像头视角变化很大，LOCATE那一步给出的候选区域其实不太准，可POINT这一步在稍微放大一些的范围里，还是把胡萝卜精确定位了出来。

这个细节暴露出系统的一个真实弱点：前面框区域这一步并非百分百可靠，偶尔会框错。好在后面精确定点这一步有一定容错能力，框得不太准时也能把目标找出来。这套流程里每一环都不是完美无缺的，整体表现靠的是各环节容错能力叠加起来的鲁棒性，没有哪一步单独做到了完美。

这个系统现在还做不到的事

论文自己也坦白了一个核心假设的局限：整套主动感知的数学推导，都建立在目标物体在搜索过程中保持静止这个前提上。机器人在到处找它的那段时间里，它不能又被挪动。

目标若在搜索过程中持续移动，比如旁边有人又把它挪了个地方，现有的信念更新机制就不适用了——它没有建模物体的运动过程，只是单纯根据历史轨迹猜一个静止位置。论文把这个列为未来要解决的问题。

写在后面

让我最有感触的，倒不是这篇论文的抓取成功率有多亮眼，而是它把一件看着像"模型能力"的事，重新拆成了"认知架构"层面的问题。

以前不少研究对付"机器人认不出被遮挡物体"，办法基本是上更大的模型、灌更多数据，盼着模型自己长出某种隐式的记忆本事。这篇论文换了条道：一个新模型都没训，现成的大模型和点追踪器直接用，把"看视频理解事件"与"主动转摄像头去找"这两件事分开，再用一套概率框架接起来，效果就明显压过了专门训练的模型。说白了，有些问题的卡点不在模型够不够聪明，而在系统架构里少了一环，没人把过去和现在连上。

另一个细节我琢磨了很久，就是"留一小部分概率给整个空间"这个设计。它等于在数学上先承认自己的推断可能出错，并且提前给这种错误留好了退路。这种主动认下不确定性的做法，似乎比一味追求"预测更准"来得稳。换个系统设计的场景，这思路也许同样能用：与其死磕让一个判断更自信，不如给判断失误备一条明确的恢复路径。

那要是以后机器人面对的不再是静止的、被人挪走的杯子，而是自己会动、甚至会躲镜头的东西呢？真到那一步，猜目标在哪，恐怕就不是看一段历史轨迹能解决的了。

Q&A

Q1：BeyondCSe系统是什么？A：BeyondCSe是一套零样本事件指代抓取系统。物体在过去事件里担过什么角色（比如"最后被移动的那个"），机器人就据此锁定并抓取目标；哪怕目标眼下被挡住看不见，也能靠历史轨迹推断加上主动换视角搜索把它找出来，全程不需要额外训练。

Q2：BeyondCSe的抓取成功率比其他方法高多少？A：150次真实机器人试验里，BeyondCSe整体抓取成功率为76.7%，对比的最强基线方法（使用转写后指令的Point2Act增强版）只有50.0%，相差26.7个百分点——换算下来，每4次任务对手就要多失败超过1次。

Q3：BeyondCSe的事件先验具体有什么用？A：事件先验是从物体过去的移动轨迹里推出来的空间线索，用来给机器人搜索时的概率信念做初始化。消融实验显示，去掉事件先验，抓取成功率没变（95%），但平均所需视角数从2.20猛增到4.00，可见它真正的价值是大幅缩短搜索时间，而不是抬高最终成功率。