机器人找东西成功率仅52%:问题不在腿,在眼睛

资讯 腾讯网 作者:科技行者 全文 4511 字 · 约 12 分钟读完 分类机器人学术研究

你有没有过这种经历,在超市里找某个货架,明明走到跟前了,眼睛却直接扫过去,继续往前走,走出去好几步才反应过来"刚才那个好像就是"。这篇论文讲的就是机器人版本的这个问题,而且比你想象的更严重。一群研究者训练了一个导航机器人,让它在陌生的房子里找某个指定物体,比如"找一个脚凳"。这个机器人用的是现在最流行的...

所属频道 机器人与具身智能前沿研究

超市里找某个货架,明明已经走到跟前,眼睛却扫过去继续往前,走出去好几步才反应过来“刚才那个好像就是”。这种经历大概不少人都有。

有篇论文研究的正是机器人身上的同类毛病,而且情况比人严重得多。

研究者训练了一个导航机器人,任务是让它在不熟悉的房子里找到指定物体,比如“找一个脚凳”。技术路线用的是当下最主流的做法:拿一个预训练好的视觉语言模型,喂给它大量专家示范数据,让它学会怎么在房子里探索、怎么找东西。

视觉语言模型*:一种同时理解图片和文字的AI模型,可以看懂照片内容,也能读懂文字描述,并建立两者之间的联系。

练下来,机器人的探索能力学得不错,到处走、到处看,路线选得也挺聪明。可最终成功率低得让人意外。研究者统计后发现,76%的任务里机器人都曾走到离目标物体0.25米以内的地方,距离已经很近了,但只有52%的任务被算作成功。

中间差了24个百分点,意味着什么?差不多每四次里就有一次,机器人明明已经到了目标跟前,却因为各种原因没能在正确的地方停下来,前面所有的探索努力全白费了。

这不是机器人笨、走不到目标那里。问题是它到了目标那里,却不知道自己到了。

机器人为什么认不出眼前的东西

研究者做了一个关键验证实验。还是同一个机器人,这次不让它自己判断眼前有没有目标物体,而是把标准答案直接塞给它:眼前有哪些物体、目标离你还有多远,这些信息全部明明白白告诉它。

成功率随即从52%跳到89%。走错地方不停下来的问题基本消失了,剩下的失败几乎都是超时还没找到。

这说明了一件很扎心的事:机器人其实什么都会,就是不知道自己看到了什么。

为什么会这样?研究者给出的解释指向训练数据的结构。专家示范数据里,机器人探索的过程每一步都有记录,这部分数据量巨大,机器人练习的机会很多。但“停下来”这个动作,每段示范里只出现一次,就是终点那一下。信号这么稀疏,机器人很难学会一件复杂的事:判断眼前到底是不是目标,还有目标到底多远。

打个比方。你教一个新手厨师炒十道菜,每道菜只在最后尝一口,告诉他“咸淡正好”或者“差点意思”,中间炒的过程全程不插嘴。十道菜下来,他大概能摸出个“炒到这个火候差不多了”的手感,但让他准确说出“现在盐放多了还是少了”,他说不清楚,因为你从来没有在中途给过他具体反馈。全程只让他自己猜、不给中间的明确信号,他学到的永远是一种模糊的直觉,碰到没见过的菜就容易翻车。机器人学“找目标”也是一样,终点那一下反馈太少太模糊,撑不起复杂的判断能力。

解法:把“看到了没有”这件事写出来

研究者给出的解法并不复杂:机器人内部那种难以言明的判断力既然靠不住,就干脆别让它暗自揣测,改由它把所见内容清楚写出来。

这就是这篇论文的核心方法,叫做

目标锚定

系统因此被分成两个模型。感知模型负责“看懂眼前的画面”,把画面中的物体逐一列出,判断目标是否在清单里,再估算距离,最后把这些结果汇成一段结构化文字,形式类似

JSON格式

为什么不交给一个模型同时判断和行动?研究者试过把两项任务压进同一个模型,让它边想、边说、边走,形式类似当下流行的“

结果表明,“看懂”与“决定”放在一起学,会彼此干扰。研究者最终把这两件事完全拆开,让每个模型只专注一项:感知模型专攻“看懂”,策略模型专攻“依据看懂的结果来行动”。

这就像让同一个人既当裁判又当运动员,一边吹哨判罚,一边自己上场,两个角色互相牵扯,最后哪边都做不好。拆成两个角色后,一个专心看清场上发生了什么,一个专心按裁判的判罚调整战术,配合反倒更顺。硬要一人兼两职,判断容易出错,动作也会变得犹豫,这正是论文中混合模型实验失败的原因。

感知模型写出的这段文字,内容从哪来?这里有个巧妙之处:研究者没有花钱雇人重新标注数据,而是直接利用训练场景自带的语义和几何标注信息。每个场景中的物体本来就有名字、有位置,研究者把这些信息整理成固定格式的文字,自动附加到每一帧训练画面上,等于免费得到海量监督信号,而且每帧都有,不再是一段示范只给一次反馈。

真实场景里的另一个大坑:评测标准本身就有问题

研究者在做实验分析的过程中,发现了一件更让人意外的事:现有的评测标准,本身就在冤枉机器人。

乱子先从物体名字上冒出来。研究者把几个主流室内场景数据集翻了一遍,发现同一类东西的标注五花八门:一张画,有的场景写“picture”,有的写“painting”,还有“photo”“picture frame”等十几种叫法搅在一块儿。可评测规则卡得很死,机器人得精确对上标注里那个词才算过关。机器人明明找到一幅画、停在了跟前,标注上写的是另一个同义词,照样直接判失败。

这就像让外卖员送一份“炒饭”,商家在系统里登记的菜名却是“蛋炒饭”。外卖员拿着写着“炒饭”的货品准确送到,系统因为名字对不上,判了配送失败。东西送对了,人也没走错地方,就因为命名不统一被冤枉。命名上的不一致不修,再强的机器人也会被系统性地压低分数。

命名混乱之外,标注本身还有两类实打实的错误。一类是漏标:画面里明明有百叶窗,标注文件里一个字没记,机器人准确停在那儿,照样算失败。另一类是错标:一排书架被写成“梳妆台”,机器人被引去找一个压根不存在的目标。研究者人工核查了评测数据集,大约四分之一的样本存在这两类问题中的一种。

针对这些毛病,研究者动手做了两件事。一件是把两千四百多个零散的原始标签合并归类,整理成五百四十个统一的物体类别,机器人只要找到目标类别里的任意一个实例就算成功,不再死抠具体用词。另一件是人工逐条核查评测样本,把有问题的剔出去,只留干净可靠的部分继续评测。

换上这套修正后的评测标准,排名靠前的几个系统分数都出现了明显变化,而且是分数越高的系统涨得越多。说到底,原来那套有瑕疵的标准恰恰在系统性地压低真正做得好的方法——表现越强的系统停得越准,反而越容易撞上命名不一致和错标的坑。

拆解剩下的问题:到底是谁在拖后腿

研究者接着做了一系列拆解实验,想弄清楚整个系统里是哪一部分在拖后腿:是负责走路探索的策略模型,还是负责看懂画面的感知模型。

他们设计了一个阶梯式的对照实验。第一步,感知模型预测的“视野内物体清单”保持不动,只把“距离估计”换成真实准确的数值,成功率提升了9个百分点。第二步,在此基础上再把物体清单也换成真实信息,成功率又提升13个百分点,一下子冲到91.6%。而把感知信息全部换成完全准确的真实标注后,机器人的表现已经非常接近生成训练数据的那套专家系统本身,差距只有4.5个百分点。

这组数字讲的事情很清楚:策略模型,也就是管“怎么走”的那部分,其实已经学得不错了,剩下的瓶颈几乎全在感知模型这边——也就是“看没看懂眼前的东西”。

研究者进一步分析了感知模型错在哪儿。统计显示,失败案例里有三类错误占了大头,加起来接近七成。一类是误报,目标根本不在视野里,却报告说看到了。一类是距离估计错误,目标确实在视野里,但实际距离被低估,机器人以为还远,没有及时停下。还有一类是漏报,目标清清楚楚在画面里,感知模型却完全没认出来。

还有个挺直观的规律:物体越小,越容易被漏掉。衣架、瓶子、书这类小物件,感知模型识别的成功率明显偏低;床、沙发这种大件家具,几乎每次都能准确识别。这跟人的视觉习惯其实很像,大目标显眼好找,小目标容易被忽略过去。未来改进的方向,也就在于提升对细小物体的识别能力。

换一个更强的“眼睛”会怎样

感知这一端既是主要症结,研究者便顺着这个方向做了一项相当直白的验证:假如换用能力更强的视觉语言模型来承担感知,机器人的表现是否也会随之改善。

他们挑了几个没有专门针对这个导航任务训练过的通用视觉语言模型,直接拿来替换感知模型。结果其中一个的表现明显超过了论文自己训练的感知模型,整体导航成功率也跟着上升。这说明策略模型确实能把感知端的进步直接转化成导航能力的提升,策略模型本身不需要重新训练。

不过这个更强的模型有个明显代价:响应速度比论文自己训练的感知模型慢了将近九倍,放到真实场景里部署,这个延迟没法接受。研究者也分析了为什么有的通用模型识别率高、成功率却不见得高——这些模型能认出更多物体,同时也更容易“看错东西”,把不存在的东西报成存在,误报的代价抵消了识别率提升带来的好处。

这就像招聘面试官:能准确识别更多真正优秀的候选人固然好,可如果他同时也更容易把不合格的人当成优秀人选放进来,识别能力的提升就没那么大价值了,后续误判带来的损失会抵消前面的收益。真正有用的进步,是又准又快,又全又不乱报。

写在后面

读完这篇论文,我印象最深的其实不是那套双模型的技术方案,而是研究者揪出问题的方式。

他们并未一开始就加大模型规模、扩充数据量,而是先做了一个很基础的诊断实验:将标准答案直接提供给机器人,观察其成绩能提升多少。这个设计相当简洁,一举把“行走能力不足”与“物体识别能力不足”区分开来。许多技术文章倾向于直接呈现解决方案,鲜少展示这种先厘清问题根源的过程,而这篇论文正好把这部分写得十分清楚。先诊断、后治疗的思路,其实比具体技术方案本身更值得借鉴。

还有一个细节挺触动我:评测标准本身存在偏差这个发现。研究者没有满足于“我的方法分数更高”,而是回头去质疑评测规则本身公不公平。这提醒我们,很多时候以为自己在优化一个模型,其实是在优化一把有问题的尺子。尺子本身不准,再怎么往尺子上靠,也靠不出真正的进步。

机器人在超市货架前走神的毛病,人类其实也有,只不过我们走神之后,脑子里有一套默认运转的常识系统帮我们反应过来。机器人没有这套常识,它需要的不是更好的腿,而是一双能把“看到”和“认出”真正串起来的眼睛。

Q&A

Q1:

StopWatch 是面向物体目标导航任务搭建的两模型系统,感知模型加策略模型各管一头。前者管目标物体在不在视野里、离得多远;后者拿这些信息定下一步怎么动。它要解决的核心毛病,就是机器人已经走到目标跟前却不肯停。

那机器人为什么到了目标跟前还是不停下来?

原因出在训练数据上:停止动作的监督信号太稀疏。一整段示范里,只有终点那一次反馈,机器人于是没学会判断眼前这东西到底是不是目标,缺的正是那份明确。

论文指出的评测标准问题,具体又是什么?

现有数据集里,同一类物体往往有好几种叫法,而评测只认和标注词精确匹配才算成功。再加上约四分之一的样本本身漏标或错标,表现好的系统反倒更容易被冤枉成失败。研究者因此重新整理了物体类别,并对评测样本做了人工核查。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. PremiseCheck研究:让AI审稿先拆断言再核对,成本能降多少?

    先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会

    来源 腾讯网
  2. WISE2026年度人物名册发布:产业攻坚者名单与方向

    在世界尚未完成的地方,在关键产业的深水区,人们通过行动留下各自的回答。一个人的名字,由此有了属于他自己的分量。“在行动和言说中,人们表明了他们是谁。”汉娜·阿伦特在《人的境况》中讨论人的独特性,而商业世界习惯以浪潮辨认一代人。人工智能、具身智能、硬科技,几个词便能勾勒当下创业的轮廓。2026年,这些词正在落到具体的人身

    来源 腾讯网
  3. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  4. AI长线调查训练难在哪:题太简单、反馈太糙

    你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。这是一个真实的例子。论文里展示的一道训练题,起点是一...

    来源 腾讯网
  5. 王兴兴:机器人泛化能力一两年内或突破,进家庭还差工程问题

    中国青年报客户端北京11月20日电(中青报·中青网记者 贾骥业)在今天举行的“第三届中国大模型大会”上,宇树科技创始人、董事长王兴兴在谈到机器人产业发展态势时说:“当前,对于全球机器人产业的发展,泛化能力是最大的问题。但未来很快就会突破,快的话明年都有可能。”王兴兴认为,机器人从“试点能干”走向“大规模...

    来源 腾讯网
  6. AI攻破ETH猜想:理论计算机学界遭遇冲击波

    陈世腾老师(左)与同学们讨论交流(图:受访者提供)北京时间10月27日早晨6点半,陈世腾起床后看到新闻——“ETH指数时间猜想被AI证否!”这个猜想被视为理论计算机科学的重要支撑。陈世腾说,ETH猜想被否定,意味着“这个领域可能几百上千篇的Papers(论文),(论证)前提已经爆炸了”。陈世腾博士是中科院软件所副研究.

    来源 腾讯网
  7. 王兴兴与Jim Fan齐发声:机器人行业是寒冬还是夏天?

    在2026年APEC工商领导人峰会上,王兴兴给机器人行业下了一个最新的判断:今年全球技术突破已接近临界点。 非常恰巧,就在几天之前,英伟达GEAR领导Jim Fan在CoRL 2026上也说了相似的话,他说,现在的机器人行业不是寒冬,而是夏天。 为什么单独说这两句话呢,众所周知,现在的机器人行业盛行的,实在是另一番论调

    来源 AI 行业观察
  8. AIE电子展2026:一展双城,诺奖得主与芯片掌门人同台聊什么?

    人工智能与制造业的关系,正在从“展示”走向“改造”。 过去两年,AI在产业端最直观的形象,是展台上会跳舞的人形机器人和能自动生成文案的模型。但当技术真正进入工厂、进入供应链、进入材料和芯片实验室,问题开始变得具体:算力够不够便宜、材料迭代跟不跟得上、AI的能耗由谁承担、芯片与整机如何协同升级。 这些问题的共同点是——没

    来源 AI 行业观察
  9. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
  10. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  11. 机器人ETF景顺159559:5项国标落地,标的指数行业分布均衡

    万得数据显示,截至11月17日,全市场共有57只机器人主题指数基金,其中56只月内净值走高。多只跟踪国证机器人产业指数的基金月内业绩表现优异。日前,广东省人民政府印发《数字广东建设“十五五”规划》,其中提到,做强高端机器人核心部件制造业。培育6G产业,加快新一代核心器件与网络通信设备产业化。推广工业机器人、服...

    来源 腾讯网
  12. 脑机接口大赛北京开赛:八大赛道,工业与体育场景加速落地

    中新社北京11月20日电 (记者 陈杭)工业场景认知状态解码,脑控小车、机械臂……19日至20日,脑机接口大赛决赛在北京举办,设算法、脑控外设、路演共八个赛道,展示这一技术加速“破圈”,走向工业与体育等多元场景。 2026年,脑机接口首次写入政府工作报告。中国科学院自动化研究所研究员何晖光表示,脑机接口分为非侵入式..

    来源 腾讯网
  13. 智能眼镜1-10月销售额增1倍:商务部最新数据

    IT之家 11 月 20 日消息,11 月 19 日,商务部消费促进司负责人谈 2026 年 1-10 月我国消费市场情况。今年以来,我国消费市场规模稳步扩大,呈现商品消费稳、服务消费旺、新型消费热的特点。1-10 月,社会消费商品和服务零售总额同比(下同)增长 2.5%。 IT之家从公告获悉,在消费品以旧换新政策强有

    来源 AI 行业观察
  14. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  15. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  16. 中南大学通报湘雅系3篇论文:学术不端坐实,多人被降级禁报

    被网友扒出“1 厘米标尺上竟刻着 12 个格子”的湘雅系论文,有了官方结论。中南大学今日通报称,面对网络上对湘雅二医院、湘雅医院 3 篇论文的质疑,学校组织同行专家核查实验记录、原始数据与投稿记录,经校学风建设委员会审议,三篇论文全部坐实学术不端。 三篇论文,三种病 被点名的论文横跨三本期刊:202

    来源 AI 开发者社区
  17. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  18. 马斯克上海谈人形机器人:自称不是MAGA,坦言助选花钱没成效

    本文仅在今日头条发布,谢绝转载 相信马斯克这次随特朗普来深圳后,再去上海,一定会一路欢欣鼓舞。为什么?到了中国,马斯克一定会开心;但一旦回到美国,或者想起美国国内的一些烦心事,马斯克就一点也不开心。 马斯克现在公开表示自己不是MAGA。MAGA意为“让美国再次伟大”,但他说不清楚MAGA到底意味着什么。如果MAGA意味

    来源 AI 行业观察
  19. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
向下滚动自动加载更多