机器人找东西成功率仅52%:问题不在腿,在眼睛
你有没有过这种经历,在超市里找某个货架,明明走到跟前了,眼睛却直接扫过去,继续往前走,走出去好几步才反应过来"刚才那个好像就是"。这篇论文讲的就是机器人版本的这个问题,而且比你想象的更严重。一群研究者训练了一个导航机器人,让它在陌生的房子里找某个指定物体,比如"找一个脚凳"。这个机器人用的是现在最流行的...
超市里找某个货架,明明已经走到跟前,眼睛却扫过去继续往前,走出去好几步才反应过来“刚才那个好像就是”。这种经历大概不少人都有。
有篇论文研究的正是机器人身上的同类毛病,而且情况比人严重得多。
研究者训练了一个导航机器人,任务是让它在不熟悉的房子里找到指定物体,比如“找一个脚凳”。技术路线用的是当下最主流的做法:拿一个预训练好的视觉语言模型,喂给它大量专家示范数据,让它学会怎么在房子里探索、怎么找东西。
视觉语言模型*:一种同时理解图片和文字的AI模型,可以看懂照片内容,也能读懂文字描述,并建立两者之间的联系。
练下来,机器人的探索能力学得不错,到处走、到处看,路线选得也挺聪明。可最终成功率低得让人意外。研究者统计后发现,76%的任务里机器人都曾走到离目标物体0.25米以内的地方,距离已经很近了,但只有52%的任务被算作成功。
中间差了24个百分点,意味着什么?差不多每四次里就有一次,机器人明明已经到了目标跟前,却因为各种原因没能在正确的地方停下来,前面所有的探索努力全白费了。
这不是机器人笨、走不到目标那里。问题是它到了目标那里,却不知道自己到了。
机器人为什么认不出眼前的东西
研究者做了一个关键验证实验。还是同一个机器人,这次不让它自己判断眼前有没有目标物体,而是把标准答案直接塞给它:眼前有哪些物体、目标离你还有多远,这些信息全部明明白白告诉它。
成功率随即从52%跳到89%。走错地方不停下来的问题基本消失了,剩下的失败几乎都是超时还没找到。
这说明了一件很扎心的事:机器人其实什么都会,就是不知道自己看到了什么。
为什么会这样?研究者给出的解释指向训练数据的结构。专家示范数据里,机器人探索的过程每一步都有记录,这部分数据量巨大,机器人练习的机会很多。但“停下来”这个动作,每段示范里只出现一次,就是终点那一下。信号这么稀疏,机器人很难学会一件复杂的事:判断眼前到底是不是目标,还有目标到底多远。
打个比方。你教一个新手厨师炒十道菜,每道菜只在最后尝一口,告诉他“咸淡正好”或者“差点意思”,中间炒的过程全程不插嘴。十道菜下来,他大概能摸出个“炒到这个火候差不多了”的手感,但让他准确说出“现在盐放多了还是少了”,他说不清楚,因为你从来没有在中途给过他具体反馈。全程只让他自己猜、不给中间的明确信号,他学到的永远是一种模糊的直觉,碰到没见过的菜就容易翻车。机器人学“找目标”也是一样,终点那一下反馈太少太模糊,撑不起复杂的判断能力。
解法:把“看到了没有”这件事写出来
研究者给出的解法并不复杂:机器人内部那种难以言明的判断力既然靠不住,就干脆别让它暗自揣测,改由它把所见内容清楚写出来。
这就是这篇论文的核心方法,叫做
目标锚定
系统因此被分成两个模型。感知模型负责“看懂眼前的画面”,把画面中的物体逐一列出,判断目标是否在清单里,再估算距离,最后把这些结果汇成一段结构化文字,形式类似
JSON格式
为什么不交给一个模型同时判断和行动?研究者试过把两项任务压进同一个模型,让它边想、边说、边走,形式类似当下流行的“
结果表明,“看懂”与“决定”放在一起学,会彼此干扰。研究者最终把这两件事完全拆开,让每个模型只专注一项:感知模型专攻“看懂”,策略模型专攻“依据看懂的结果来行动”。
这就像让同一个人既当裁判又当运动员,一边吹哨判罚,一边自己上场,两个角色互相牵扯,最后哪边都做不好。拆成两个角色后,一个专心看清场上发生了什么,一个专心按裁判的判罚调整战术,配合反倒更顺。硬要一人兼两职,判断容易出错,动作也会变得犹豫,这正是论文中混合模型实验失败的原因。
感知模型写出的这段文字,内容从哪来?这里有个巧妙之处:研究者没有花钱雇人重新标注数据,而是直接利用训练场景自带的语义和几何标注信息。每个场景中的物体本来就有名字、有位置,研究者把这些信息整理成固定格式的文字,自动附加到每一帧训练画面上,等于免费得到海量监督信号,而且每帧都有,不再是一段示范只给一次反馈。
真实场景里的另一个大坑:评测标准本身就有问题
研究者在做实验分析的过程中,发现了一件更让人意外的事:现有的评测标准,本身就在冤枉机器人。
乱子先从物体名字上冒出来。研究者把几个主流室内场景数据集翻了一遍,发现同一类东西的标注五花八门:一张画,有的场景写“picture”,有的写“painting”,还有“photo”“picture frame”等十几种叫法搅在一块儿。可评测规则卡得很死,机器人得精确对上标注里那个词才算过关。机器人明明找到一幅画、停在了跟前,标注上写的是另一个同义词,照样直接判失败。
这就像让外卖员送一份“炒饭”,商家在系统里登记的菜名却是“蛋炒饭”。外卖员拿着写着“炒饭”的货品准确送到,系统因为名字对不上,判了配送失败。东西送对了,人也没走错地方,就因为命名不统一被冤枉。命名上的不一致不修,再强的机器人也会被系统性地压低分数。
命名混乱之外,标注本身还有两类实打实的错误。一类是漏标:画面里明明有百叶窗,标注文件里一个字没记,机器人准确停在那儿,照样算失败。另一类是错标:一排书架被写成“梳妆台”,机器人被引去找一个压根不存在的目标。研究者人工核查了评测数据集,大约四分之一的样本存在这两类问题中的一种。
针对这些毛病,研究者动手做了两件事。一件是把两千四百多个零散的原始标签合并归类,整理成五百四十个统一的物体类别,机器人只要找到目标类别里的任意一个实例就算成功,不再死抠具体用词。另一件是人工逐条核查评测样本,把有问题的剔出去,只留干净可靠的部分继续评测。
换上这套修正后的评测标准,排名靠前的几个系统分数都出现了明显变化,而且是分数越高的系统涨得越多。说到底,原来那套有瑕疵的标准恰恰在系统性地压低真正做得好的方法——表现越强的系统停得越准,反而越容易撞上命名不一致和错标的坑。
拆解剩下的问题:到底是谁在拖后腿
研究者接着做了一系列拆解实验,想弄清楚整个系统里是哪一部分在拖后腿:是负责走路探索的策略模型,还是负责看懂画面的感知模型。
他们设计了一个阶梯式的对照实验。第一步,感知模型预测的“视野内物体清单”保持不动,只把“距离估计”换成真实准确的数值,成功率提升了9个百分点。第二步,在此基础上再把物体清单也换成真实信息,成功率又提升13个百分点,一下子冲到91.6%。而把感知信息全部换成完全准确的真实标注后,机器人的表现已经非常接近生成训练数据的那套专家系统本身,差距只有4.5个百分点。
这组数字讲的事情很清楚:策略模型,也就是管“怎么走”的那部分,其实已经学得不错了,剩下的瓶颈几乎全在感知模型这边——也就是“看没看懂眼前的东西”。
研究者进一步分析了感知模型错在哪儿。统计显示,失败案例里有三类错误占了大头,加起来接近七成。一类是误报,目标根本不在视野里,却报告说看到了。一类是距离估计错误,目标确实在视野里,但实际距离被低估,机器人以为还远,没有及时停下。还有一类是漏报,目标清清楚楚在画面里,感知模型却完全没认出来。
还有个挺直观的规律:物体越小,越容易被漏掉。衣架、瓶子、书这类小物件,感知模型识别的成功率明显偏低;床、沙发这种大件家具,几乎每次都能准确识别。这跟人的视觉习惯其实很像,大目标显眼好找,小目标容易被忽略过去。未来改进的方向,也就在于提升对细小物体的识别能力。
换一个更强的“眼睛”会怎样
感知这一端既是主要症结,研究者便顺着这个方向做了一项相当直白的验证:假如换用能力更强的视觉语言模型来承担感知,机器人的表现是否也会随之改善。
他们挑了几个没有专门针对这个导航任务训练过的通用视觉语言模型,直接拿来替换感知模型。结果其中一个的表现明显超过了论文自己训练的感知模型,整体导航成功率也跟着上升。这说明策略模型确实能把感知端的进步直接转化成导航能力的提升,策略模型本身不需要重新训练。
不过这个更强的模型有个明显代价:响应速度比论文自己训练的感知模型慢了将近九倍,放到真实场景里部署,这个延迟没法接受。研究者也分析了为什么有的通用模型识别率高、成功率却不见得高——这些模型能认出更多物体,同时也更容易“看错东西”,把不存在的东西报成存在,误报的代价抵消了识别率提升带来的好处。
这就像招聘面试官:能准确识别更多真正优秀的候选人固然好,可如果他同时也更容易把不合格的人当成优秀人选放进来,识别能力的提升就没那么大价值了,后续误判带来的损失会抵消前面的收益。真正有用的进步,是又准又快,又全又不乱报。
写在后面
读完这篇论文,我印象最深的其实不是那套双模型的技术方案,而是研究者揪出问题的方式。
他们并未一开始就加大模型规模、扩充数据量,而是先做了一个很基础的诊断实验:将标准答案直接提供给机器人,观察其成绩能提升多少。这个设计相当简洁,一举把“行走能力不足”与“物体识别能力不足”区分开来。许多技术文章倾向于直接呈现解决方案,鲜少展示这种先厘清问题根源的过程,而这篇论文正好把这部分写得十分清楚。先诊断、后治疗的思路,其实比具体技术方案本身更值得借鉴。
还有一个细节挺触动我:评测标准本身存在偏差这个发现。研究者没有满足于“我的方法分数更高”,而是回头去质疑评测规则本身公不公平。这提醒我们,很多时候以为自己在优化一个模型,其实是在优化一把有问题的尺子。尺子本身不准,再怎么往尺子上靠,也靠不出真正的进步。
机器人在超市货架前走神的毛病,人类其实也有,只不过我们走神之后,脑子里有一套默认运转的常识系统帮我们反应过来。机器人没有这套常识,它需要的不是更好的腿,而是一双能把“看到”和“认出”真正串起来的眼睛。
Q&A
Q1:
StopWatch 是面向物体目标导航任务搭建的两模型系统,感知模型加策略模型各管一头。前者管目标物体在不在视野里、离得多远;后者拿这些信息定下一步怎么动。它要解决的核心毛病,就是机器人已经走到目标跟前却不肯停。
那机器人为什么到了目标跟前还是不停下来?
原因出在训练数据上:停止动作的监督信号太稀疏。一整段示范里,只有终点那一次反馈,机器人于是没学会判断眼前这东西到底是不是目标,缺的正是那份明确。
论文指出的评测标准问题,具体又是什么?
现有数据集里,同一类物体往往有好几种叫法,而评测只认和标注词精确匹配才算成功。再加上约四分之一的样本本身漏标或错标,表现好的系统反倒更容易被冤枉成失败。研究者因此重新整理了物体类别,并对评测样本做了人工核查。