机器人在黑暗厨房里摸索的那一刻，它能做的事

想象一个场景。一个机器人被要求在陌生厨房里找到三个橙子，然后放到托盘上。听起来很简单，对吧，就是找东西、拿东西。

但这个厨房一片漆黑，机器人手里只有一个提灯。它只能看到灯光照到的地方。更麻烦的是，拿灯和拿橙子要用同一只机械手。它得想办法先把灯放在合适的位置照亮某个角落，然后腾出手去抓东西，再凭记忆回到黑暗中继续找下一个目标。

这不是科幻电影里的桥段，这是新加坡南洋理工大学团队做的一个真实基准测试，叫RoboQuest。他们想搞清楚一件事：现在那些号称无所不能的AI大模型，当它们被要求亲自动手去探索、去发现、去判断什么时候该停下来，它们到底行不行。

答案可能会让你意外。表现最好的模型，成功率只有23%。

核心问题出在哪

先说清楚一件事：现在的机器人操作基准测试，比如RLBench、CALVIN、LIBERO这些业内熟知的测试集，考察的大多是机器人能不能把一个已经看得明明白白的任务做好。苹果就在那儿，摄像头能看见，机器人只需要伸手去拿。

RoboQuest论文团队发现了一个问题：这些测试从来没有问过一个更基础的问题，如果机器人根本不知道苹果在哪，它该怎么办?

现实世界恰恰经常是这样。你让机器人去厨房拿个杯子，但杯子被另一个柜门挡住了，你压根没告诉它柜门后面有什么。它得自己去开柜子看看。它得决定先开哪个、看到空的之后下一步去哪、记住哪些地方已经查过了。这整套本事，叫做

主动感知：机器人不是被动接收摄像头传来的画面，而是主动通过移动、转动物体、尝试某个动作来获取信息，这个概念最早由学者Bajcsy在1988年提出。

这事说起来简单，但研究团队很较真地指出，光是把关键信息藏起来，让机器人自己去找，这还不够难。因为如果每个谜题都只有一种解法，比如"打开那个唯一的抽屉就行"，那这其实还是在考验执行能力，不是探索能力。真正的挑战在于，面对一个开放式的环境，机器人要自己判断往哪儿看、看到了什么该怎么反应、以及什么时候可以说"我已经弄清楚了，可以提交答案了"。

三种藏起来的秘密

RoboQuest设计了十个任务，分成三类，每一类对应一种"信息藏哪儿"的方式。

第一类叫搜索类,信息藏的是位置。比如前面提到的黑暗厨房找橙子的任务，叫Blackout Search。还有一个叫Locked Storage，储物柜被锁住了，得先找到对应颜色的钥匙令牌才能打开，而令牌本身可能又藏在另一个柜子里，形成一条环环相扣的链条。关柜门的时候如果令牌还在里面没拿出来，那这条链就彻底断了，永远打不开后面的柜子。

第二类叫检查类,信息藏在物体本身没被看到的那一面。比如Painted Cubes任务，一堆方块，每个面可能涂了颜色也可能没涂，机器人得把每个面都转过来看一遍才能确定这个方块符不符合规则。还有Marked Mugs，杯子底部贴着标签，决定了这个杯子该放到哪个垫子上，但要看到标签就得把杯子掀起来或者倾斜，这样一来杯子里装的小球就会撒出来。

第三类叫测试类,这是最抽象的一种，信息根本看不见，只能通过做实验、观察结果来推断。Odd Parcel任务里有一堆看起来一模一样的包裹，其中一两个重量不一样，机器人得用天平去称、去比较，才能找出那个"奇怪的"包裹。Puzzle Box更绝，一个木盒子被一串互相卡住的滑栓锁住，哪个栓能先滑动取决于其他栓有没有挡住它，这个阻挡关系完全不可见，只能靠动手试。

这里要停一下，说说为什么这个设计很聪明。

想象你去修一台老式收音机，里面线路板上有十几个开关，你不知道哪个控制音量，哪个控制频道。如果说明书直接告诉你"开关3是音量"，那你只是在执行说明书，这考验不了你什么。但如果说明书什么都不说，你得一个个拨动开关，观察声音有没有变化，记住哪些已经试过、哪些还没试，这才是真正的排查能力。如果你拨了三次同一个开关都没反应，还继续拨第四次,那说明你压根没有从前面的尝试里学到东西。RoboQuest里的Puzzle Box任务做的就是这个测试，而且后面会讲到，有的模型真的就卡在这个"反复拨同一个开关"的坑里。

机器人每一步要做什么

RoboQuest里的机器人不是靠什么专门的"找物体"或"抓取"工具，它只有四种最基础的动作可以选,控制机械臂移动、控制底座行驶、原地等待、或者放弃整个任务。

每一步它都能看到三个摄像头画面:两个固定场景摄像头，一个装在手腕上的摄像头，再加上自己手臂目前的姿态和还剩多少次决策机会。它得自己想清楚下一步该干什么，然后发出指令，指令可以持续最多10秒钟的模拟时间。

任务什么时候算完成?

机器人必须亲自走到场景里的一个红色SUBMIT按钮前，物理按下去。这一按下去，当时的场景状态就被冻结打分，不管对错。这个设计很关键，它逼着机器人自己判断证据够不够，而不是有个外部裁判在旁边喊"好了可以了"。有些动作是不可逆的,比如把一个方块扔进了错误的箱子，它就永远待在那了,再也没法反悔。

五个顶尖大模型，谁先交卷谁先输

研究团队请来了五个当下最强的多模态大模型，分别是GPT-6 Astra、Claude Opus 5.5、GPT-6.1 Sol、Claude Fable 5.1和Gemini 3.8 Flash，让它们零样本（不经过任何针对性训练）直接上阵操作机器人，每个模型跑了500个任务场景。

结果，GPT-6 Astra排在第一，总体成功率23.2%。Claude Opus 5.5、GPT-6.1 Sol和Claude Fable 5.1三个挤在11%到14%之间，差距不大。Gemini 3.8 Flash垫底，只有2%。

有一个细节特别有意思。十个任务里有一个叫Puzzle Box（就是前面说的那个滑栓谜题盒子），这个任务对所有模型来说都异常简单，GPT-6 Astra在这上面拿到了96%的成功率，比它在其他任务上的表现高出四五十个百分点。如果把这一个"异常简单"的任务拿掉再算一次总分，GPT-6 Astra的成功率立刻从23.2%掉到15.1%。这说明什么?说明这个基准测试里大部分任务真的很难，只有一个碰巧简单的任务在拉高平均分。

而最惨的两个任务是Search Room和Blackout Search，前者是在一屋子抽屉柜子里找目标，后者是前面说的黑暗摸索找橙子。五个模型在Blackout Search上全军覆没,整整500次尝试，没有一次成功。Search Room也差不多，只有Gemini 3.8 Flash侥幸成功了一次。

这个结果有点像什么呢,就像让一个很会做数学题的学生去参加一场寻宝游戏，结果发现他连"先往左边柜子找找看"这种最基本的策略都想不明白。做题能力和找东西的能力，根本不是一回事。

花钱也是个问题

跑完这500次测试，总共花了21352美元。最便宜的是GPT-6.1 Sol，每个场景不到2美元；最贵的Claude Fable 5.1每个场景要19美元多。但如果按"每成功一次花多少钱"来算，GPT-6.1 Sol依然最划算，16.3美元就能换来一次成功，而那些几乎不成功的模型，换算下来每次成功要花掉168美元。

更能说明问题的是模型们是怎么结束任务的。GPT-6 Astra和GPT-6.1 Sol几乎每次都会按下提交按钮，但大多数时候提交的是个半成品,正确率只有27%和16%。Opus 5.5反而经常自己主动放弃，中途喊停的比例接近一半。研究团队观察到一个规律，不管是哪种"认输"方式,提交一个错误答案，还是直接放弃,背后反映的都是同一件事：模型在还剩不少决策次数的情况下就觉得自己没戏了，选择了认命。

是能力不够，还是压根没探索

这是整篇论文最关键的转折点。

研究团队做了一个特别聪明的对照实验。他们把GPT-6 Astra、Opus 5.5、GPT-6.1 Sol这三个表现最好的模型单独拎出来，把任务里原本需要探索才能发现的信息直接告诉它们，比如直接说"目标在左边第二个抽屉里"，然后看它们执行最后那个动作的能力到底行不行。

执行能力（孤立技能测试）：把探索环节去掉，直接告诉模型目标位置或操作方式，只测试它完成具体动作的能力，比如开抽屉、抓取、放置、翻转方块。

结果相当漂亮,三个模型在这些孤立的执行动作上，成功率分别是80%、81%、72%，相差不大。注意Opus 5.5在这个测试里甚至略微超过了GPT-6 Astra，但在完整任务里GPT-6 Astra的成功率是Opus 5.5的1.7倍。

这说明了什么?说明执行能力根本不是差距所在。真正拉开差距的，是探索和决策的过程。

打个比方。两个学生都会做微积分的基本运算，但一个人知道怎么从一道复杂的应用题里提取出正确的公式，另一个人光会套公式，却不知道该用在哪。如果只考基本运算，两个人分数差不多。但真让他们去做一道完整的应用题，差距立刻就出来了。这些大模型就是这样,它们的"手上功夫"都差不多，但面对一个开放式探索任务时，谁能更系统地收集证据、谁更谨慎地等待足够的信息再下判断，这才是真正拉开差距的地方。

研究团队进一步给失败案例做了精细的归类分析，把每一次失败归结到四种根本原因之一：

证据缺失,指该看的地方压根没去看。比如一个柜子从头到尾都没打开过，机器人提交了答案，但那个目标其实就藏在那个没打开的柜子里。

决策错误,指证据其实已经出现在画面里了，但模型要么没理解它、要么理解了但没按它行动。比如已经看到了某个方块有一面涂了色，但最后还是把它分到了错误的箱子里。

副作用,指动作本身是对的，但顺手把场景搞乱了，而且没有收拾。比如为了看杯子底部的标签，把杯子一倾斜，里面的小球撒了一地，之后也没把球捡回去。

执行失败,指决策本身没问题，但手没抓稳,比如没抓住把手、物品掉地上了。

统计结果是这样的：在三个模型的失败案例里，证据缺失永远是占比最大的一类，分别达到43%、43%、46%。决策错误紧随其后，23%到31%。这两类加起来，占了全部失败原因的66%到74%。真正属于执行失败的，只占18%到21%。

这个数据分布意味着，如果你想让这些AI机器人变得更聪明，光去优化它们"抓得准不准"是没用的。真正要解决的是它们"看得够不够全"和"想得够不够周到"。

更细一层看，证据缺失里又有一半左右的情况，是目标物体根本就还被关在没打开的抽屉、柜子、盒子或者遮挡物里。有意思的是，这些藏东西的地方几乎都被摄像头拍到过五次以上,机器人不是没看见那个柜子，是看见了却没想起来去打开它。只有1%到2%的失败是因为那个藏身处从头到尾压根没被摄像头捕捉到。这更像是一种"选择性遗忘"，而不是单纯的视觉盲区。

还有一种模式更让人意外。大约十分之一的失败，是模型在还没收集到足够证据的情况下就"抢跑"了，提前把物体放到了某个位置，结果猜错了。在Odd Parcel任务里，71%到84%的错误选择，是机器人在还没称重之前就把某个包裹放进了答案箱子。它没等天平给出结果，就凭感觉下了判断。

这就好比一个医生还没等化验结果出来，就已经开好了药方。这种"抢跑"背后透露的，是模型对"证据充分性"这件事缺乏耐心和判断力,它可能更擅长"做一个决定"，而不擅长"判断我现在是不是该做决定"。

遮挡实验：把东西藏起来，模型就真的找不到了

为了验证"探索能力不足"这个结论，研究团队还做了一个控制变量实验，专门调节任务里物体被遮挡的程度。

有三个档位：Visible（物体一开始就在摄像头视野里）、Look（物体一开始看不见，得挪动位置才能看到）、Uncover（物体被某种遮盖物盖住，比如一个盖子，得主动掀开）。

结果，当物体从一开始可见变成需要主动寻找或掀开时，整体成功率下降了8到10个百分点。而且更关键的是，这些新增加的失败，几乎全部都归入"证据缺失"这一类，决策错误、执行失败、副作用这三类的比例基本没变。

这个发现特别干净地证明了一件事：把东西藏起来，不会让模型变得更笨拙,它抓东西、放东西的手艺不会因此变差,但会让它更容易"压根没找到"。这也从侧面说明，探索能力和操作能力，在当前的AI模型里，确实是两种相对独立的本事。

搞乱了场景，却没人收拾

副作用这一类失败占比虽然不算最大（7%到13%），但特别值得说一说，因为它揭示了一种目前这些模型完全没有的习惯,预防和补救。

在Marked Mugs任务里，场景里专门放了一个空碗，就是方便机器人把杯子里的小球倒进去暂存，看完标签之后再放回去。但三个模型加起来，50次任务里只用了2到8次这个碗。大部分时候，球就这么撒在桌上甚至掉到地上，之后机器人想把球捡回来，38次尝试里只成功了4次。

这让我想起一件生活中的小事。你收拾书架，想看看某本书后面藏没藏东西，你会先把前面的书挪开放好，而不是直接把前面的书一把推倒。推倒省事，但推倒之后你要么得花更多时间收拾，要么干脆就放着不管了。这些AI机器人目前的做法，更像是后者,图省事直接推倒，然后压根没想起来要收拾。

交互式试错：学得会吗

Puzzle Box这个任务原本设计了一个"无遮盖"版本，所有滑栓和它们之间的阻挡关系是直接看得见的，机器人只需要推理一下逻辑就行。但研究团队又做了一个"有遮盖"版本，把这些栓的阻挡关系藏起来，机器人必须靠反复尝试、观察哪个能动，来摸索出正确的解锁顺序。

在相同难度（栓的数量相同）下，加了遮盖之后，GPT-6 Astra几乎没受什么影响，成功率从94.4%只降到了96.4%,甚至还涨了，可能是因为多花了点步数在摸索上（用了120步而不是85步）。但Opus 5.5的表现直接腰斩，从94.4%跌到36.8%。研究人员进一步分析发现，Opus 5.5将近一半的失败案例里，它会对同一个被卡住的栓反复拉扯三次以上,却没有调整策略去试试别的栓。

这正是前面提到的那个"老式收音机"比喻的现实印证。GPT-6 Astra表现出的是一种"试了不行就换一个"的灵活性,属于真正意义上的学习。而Opus 5.5在这个场景里表现出的，更像是"同一个动作重复做，期待不同的结果"，这在心理学里有个不太客气的说法。

一个类似的例子出现在Unfamiliar Containers任务里。这些盒子的开启方式各不相同,有的要拉、有的要转、有的要推。如果提前告诉Opus 5.5具体该怎么开，它在孤立测试里能做到90%的成功率。但如果让它自己在完整任务里摸索开启机制，它只能打开45%的尝试对象，反而比GPT-6 Astra的70%和GPT-6.1 Sol的78%都要低。说明论说明操作能力没问题，问题出在"从尝试中学习规律"这件事上。

专门训练出来的机器人表现如何

除了测试这些通用大模型，研究团队还单独训练了一个专门的机器人控制模型，叫π0.5。

π0.5：Physical Intelligence团队提出的一种视觉-语言-动作模型（VLA），直接接收摄像头画面和指令，输出机器人的具体动作指令，不依赖大语言模型式的推理过程。

研究团队用自己收集的5000段成功演示（366小时的交互数据）对π0.5做了微调训练,但结果令人失望。在Puzzle Box上，它只有2.0%的成功率，平均完成度43.3%,说明它偶尔能解开前面几个栓，但没法走完整条链路。而在其余九个任务上，成功率是0%，完全没有一次成功。

这暴露了一个根本性的问题：评估用的场景、厨房风格、物体配置，统统是训练数据里没见过的新组合。π0.5这类模型没有显式的"记忆"机制，一旦遇到陌生场景，哪怕只是一点小小的执行误差，也会不断累积，最后机器人要么在原地打转，要么干脆耗光了所有决策次数，什么都没做成。

这倒是挺能说明问题的,靠海量演示去"记住"一堆状态到动作的映射，在面对真正需要临场判断的开放式探索任务时，是远远不够的。死记硬背能对付见过的题，但对付没见过的题，还是得靠真正的理解和推理能力。

这件事和更大的图景有什么关系

RoboQuest这篇论文站在一个挺重要的时间节点上。过去几年，大家一直在讨论多模态大模型能不能直接当机器人的"大脑"，用来做零样本的物理操控,也就是不经过任何针对性训练，直接靠通用智能去指挥机械臂干活。这件事一旦做得通，意味着机器人不再需要为每一个新任务重新训练一遍，这对整个机器人行业来说是个巨大的效率飞跃。

但这篇论文泼了一盆冷水,或者更准确地说，指出了冷水到底冷在哪里。它告诉我们，这些大模型已经具备相当扎实的"动手能力"，开抽屉、拿东西、翻方块，这些基本功它们都能做到七八成以上的成功率。真正的瓶颈，是它们还不太会"主动去搞清楚状况"。它们倾向于看到一点信息就急着下结论，倾向于在还没把场景摸透之前就喊停，倾向于弄乱了场景之后不去收拾。

这些问题听起来有点像是在说一个还没学会"耐心"和"条理性"的学生，而不是一个缺乏智力的学生。

写在后面

读完这篇论文，有个细节让我反复琢磨。GPT-6 Astra在开抽屉这个单项技能的孤立测试里，成功率只有50%,但在完整任务里，当它需要自己去找到目标所在的那个抽屉时，开抽屉的成功率反而涨到了90%，而且用的决策步数更少。

这个反常现象挺有意思的。研究团队给出的猜测是，机器人在完整任务的前几步已经慢慢适应了控制方式，等真正走到要开抽屉那一步时，已经"热身"完毕了。而孤立测试是从零开始，场景一下子砸过来，机器人还没找到感觉。

这让我想到，也许我们在评估一个系统的能力时，脱离上下文单独测试某个技能，反而会低估它在真实连续任务流中的表现。技能不是孤立存在的，它是嵌在一整套持续的状态感知和适应过程里的。这对以后设计评测方法，可能是个值得琢磨的提醒。

另一个让我停下来想了很久的地方是，论文里反复出现一个现象：模型看到了证据，却没有正确使用它。这和"没看到"是两回事,前者是感知成功了，后者是推理和决策层面出了问题。这个区分挺关键的，因为如果我们只是一味地给模型堆更多摄像头、更高分辨率的画面，可能根本解决不了问题。真正缺的，是那种"看到了就要认真想一想该怎么用"的习惯。

人类小孩学会找东西，大概也是经历过类似的阶段,看见了但没意识到那是重要线索，或者急着下结论却忘了再确认一遍。只是人类小孩会慢慢学会放慢脚步，而这些AI机器人，目前还没学会。

Q&A

Q1：RoboQuest是什么？

A：RoboQuest是新加坡南洋理工大学团队提出的一个机器人基准测试，专门考察机器人在信息不完整的情况下，能不能通过主动搜索、检查、测试等物理交互方式找到任务所需信息，并自主判断何时完成任务，包含十个厨房环境下的移动操作任务。

Q2：为什么表现最好的AI模型成功率只有23%？

A：论文的失败分析发现，这些模型执行具体动作的能力其实很强，孤立测试成功率能到80%左右，但真正的问题在于它们探索不够彻底、经常在信息不足时就提前下判断，这两类原因占了失败案例的66%到74%，执行失败只占18%到21%。

Q3：专门训练的π0.5机器人模型表现怎么样？

A：表现很差，π0.5在Puzzle Box任务上只有2%成功率，其余九个任务全部是0%成功率。原因是训练和测试场景差异很大，π0.5缺乏显式记忆机制，遇到陌生厨房配置时容易卡在重复循环里，没法像大模型那样靠推理应对新情况。