机器人会选工具,但会用吗?一个让人工智能露馅的新考场

资讯 腾讯网 作者:科技行者 全文 4613 字 · 约 12 分钟读完 分类机器人

你有没有想过,如果给机器人一把锤子和一个苍蝇拍,让它去砸碎一块冰,它能分清哪个管用吗?这听起来像个幼儿园智力测验。但当研究者真的让当下最先进的机器人策略做这道题时,结果却没那么乐观。有些模型抓起了那个软趴趴的苍蝇拍,像模像样地挥向冰块,完全没意识到这玩意儿压根敲不碎任何东西。这就是韩国首尔大学联合谷...

所属频道 机器人与具身智能

你有没有想过,如果给机器人一把锤子和一个苍蝇拍,让它去砸碎一块冰,它能分清哪个管用吗?

这听起来像个幼儿园智力测验。但当研究者真的让当下最先进的机器人策略做这道题时,结果却没那么乐观。有些模型抓起了那个软趴趴的苍蝇拍,像模像样地挥向冰块,完全没意识到这玩意儿压根敲不碎任何东西。

这就是韩国首尔大学联合谷歌研究院团队做的这件事。他们搭了一个叫HumanoidToolBench的测试场,专门用来检验人形机器人到底会不会用工具。这事听起来简单,做起来却藏着不少门道。

工具问题到底难在哪

先说说这个领域之前的状态。

在HumanoidToolBench出现之前,评测机器人工具使用的基准测试要么太窄,要么太简单。比如

换句话说,过去的测试要么只考"选择题",要么只考"操作题",没有一个把两件事拼在一起考。

这就好比考驾照,有的地方只考科目一的交规笔试,有的地方只让你在空地上练倒车入库,却没有一个地方真的让你带着刚学的交规知识,开车上路去完成一次完整的接人送货任务。你知道红灯要停车(这是知识层面),你也会倒车(这是操作层面),但这两件事能不能在真实场景里无缝衔接,根本没人验证过。

HumanoidToolBench要补的就是这个缺口。它让一台真实的人形机器人,面对一堆散落的工具,自己想明白该拿哪个,然后真的用这个工具完成任务,有时候甚至需要迈开腿走到任务发生的地方去完成。

这个任务设计听起来朴素,但背后牵扯的能力链条其实很长:机器人得先看懂场景里有哪些候选物体,再根据语言指令推断出哪个物体具备完成任务所需的功能属性,然后伸手去抓,抓的时候还得考虑怎么拿才能让工具的"有效部分"(比如锤头、钩子尖端)朝向正确的方向,最后还要控制身体,让这个工具精准地碰到目标物体。任何一环掉链子,整个任务就失败了。

三个场景,三道关卡,两种套路

研究团队设计了三个具体场景来检验机器人的工具意识。

第一个叫

第二个叫

第三个叫

这三个场景分别对应了日常生活里工具最常见的三种功能:延伸身体的触及范围、靠形状钩挂拉拽东西、靠物理属性传递冲击力。这个设计思路其实挺讲究现实意义的,它没有凭空编造刁钻的测试题,而是直接从人类生活里最常见的工具使用逻辑里提炼出来的。

光有场景还不够,研究者还把每个场景拆成了三个难度级别。

最简单的叫

中间档叫

最难的叫

这种分级设计其实特别关键,因为它把"选对了但做不好"和"压根没选对"这两种失败原因彻底切割开了。

这就好比考厨师证,如果只看最后端出来的菜好不好吃,你根本不知道问题出在哪:是食材选错了,还是食材选对了但刀工火候出了问题。把考试拆成"先认食材"、"再在灶台边做菜"、"最后端着锅从厨房走到餐厅摆盘"三道关卡,才能精确揪出选手到底卡在哪个环节。如果不做这种拆分,你看到一道难吃的菜,只能说"这个厨子不行",却说不出具体哪里不行,这对改进厨艺毫无帮助。

除了这三个难度级别,研究团队还设计了两种工具摆放模式。标准模式下,桌上只有一个合适的工具和两个毫不相干的杂物,机器人只要认出"这是唯一的工具"就够了。而

这个设计逼着机器人不能只靠"长得像工具"这种肤浅的视觉特征做判断,而必须真正理解这个物体的功能属性是否匹配任务需求。

三千份人类示范,喂给七个模型

光设计考题还不够,机器人得先学过类似的东西才能上考场。

研究团队搭建了一套叫

这里有个很实在的数据处理细节:对于L0任务,只要在某次尝试里机器人抬起正确工具超过8厘米,研究者就把这段轨迹从那一帧截断下来当作独立样本,根本不需要重新采集一遍。这种做法挺省力的,相当于从长视频里截取片段复用,而不是每种任务都从头拍一遍。

拿到这些数据之后,研究团队把它喂给了七种不同的机器人策略模型去训练,包括三种视觉语言动作模型(

结果相当分化。

ACT

但只要加上移动这个条件,情况急转直下。FastWAM在BallMove任务里的标准模式成功率,从站着不动时的76%,一下子摔到了需要走动完成时的9%。这个落差有多夸张?相当于一个厨师在固定灶台前做菜成功率七成六,结果让他端着锅走两步到隔壁灶台继续做,成功率直接掉到不到一成。

这组数据其实挺能说明问题的,它告诉我们,让机器人学会"拿起工具戳一下目标"和让机器人学会"拿着工具同时走路再戳一下目标",完全是两种难度量级的能力,前者练熟了不代表后者也会。

这就好比一个人能稳稳地单手端一碗水不洒出来,你会觉得他端水技术过关。但如果让他端着这碗水同时走上十米台阶,很多人立刻就洒了。走路带来的身体晃动,彻底打破了原本精心维持的平衡,这跟"会不会端水"是两种完全不同的能力,如果不专门测试带着移动的场景,你永远发现不了这个隐藏的短板。

而

研究团队还专门把每次尝试里的几个关键动作记录下来,包括碰到候选物体、第一次碰对工具、成功举起正确工具、工具接触到目标、以及最终任务成功,这五个节点像多米诺骨牌一样串在一起。

数据显示,DP和

这组数字拼在一起特别耐人寻味:弱模型的问题是压根拿不稳工具,而强模型的问题是拿稳了工具、也碰到了目标,却还是没能把事情做成。

这就好比两个人都去打网球,一个人连球拍都握不紧,经常脱手,另一个人握拍稳稳当当,挥拍也碰到了球,但球要么下网要么出界,就是打不进场内。前者缺的是基本功,后者缺的是更精细的空间判断力和力道控制,这是两种完全不同性质的毛病,如果不把动作拆开记录,你只会看到两人"都没打好球"这个表面结论,根本摸不清问题出在哪个环节。

当研究者回看具体的失败视频时,还发现了两类典型的翻车现场。有的模型在诱饵场景里,会稳稳当当地把那个山寨工具抓起来,抓取动作行云流水,完全看不出任何犹豫,但选的东西压根不对。另一些失败案例则是,机器人抓取的姿势和工具朝向有问题,导致工具的有效部分根本碰不到目标物体,就像拿着锤子却是锤柄冲着冰块、锤头朝着自己。

真机器人上的表现:小样本微调居然顶用

光在电脑里的虚拟环境测还不够有说服力,研究团队把ACT、GR00T N1.7、FastWAM这三个模型搬到了真实的宇树G1人形机器人身上,实打实地验证BallMove和BallRetrieve两个任务。

这些模型先在虚拟环境的三千多条数据上训练,然后只用91条真实机器人演示数据,做了5000步的微调,数据量小得可怜。结果呢,在标准模式BallMove任务里,GR00T N1.7在10次尝试里成功了6次,FastWAM成功了5次,而ACT只成功了1次。

这个结果传递出一个挺有意思的信号:虚拟环境里表现强的模型,搬到真机器人上经过小规模微调之后,依然保持了相对的优势。这意味着仿真训练确实能学到一些能迁移到现实世界的东西,不是在虚拟世界里刷题刷出来的虚假繁荣。

工具换了个样子,机器人还认得出来吗

除了常规测试,研究团队还做了几个更有追问精神的小实验,专门盯着GR00T N1.7这个表现较好的模型使劲。

第一个追问是:如果把诱饵场景里那把"正确的钩子"换成一把从没在训练数据里出现过、但功能完全等效的新钩子,机器人还认得出来吗?

研究者把模型内部对这个工具区域的视觉特征做了降维可视化,发现在BallMove场景里,见过的和没见过的棍子,特征点在图上混在一起,难以区分,机器人第一次碰对的概率从85%只降到74%,下降不算剧烈。但在BallRetrieve场景里,没见过的钩子样本在特征图上明显聚成了独立的一簇,和训练时见过的那些样本离得老远,机器人第一次碰对的概率直接从59%腰斩到36%。

这说明机器人对"钩子"这个功能类别的理解,很大程度上依赖的是它记住的那几种具体长相,而不是真正抽象出"能钩住球的弯曲结构"这个功能本质。

这就好比你教一个孩子认识"椅子",如果只给他看过木头做的四脚方凳,他可能第一次见到造型前卫的懒人沙发就认不出这也是可以坐的东西。孩子学到的不是"能坐的东西"这个抽象概念,而是"四条腿加一块板"这个具体形状。如果训练数据里的工具样式太单一,机器人学到的也很可能只是某几种具体外观的记忆,而不是真正理解工具为什么好用。

第二个追问更刁钻:如果给机器人一个和任务完全不相关的指令,它还会继续干活吗?

研究者在一个固定的IceBreak场景里,分别给了机器人三种指令:原始指令"捡起工具砸碎冰块"、换了种说法的同义句、以及一句风马牛不相及的"今天天气不错"。

结果让人意外,三种指令下的任务成功率分别是77%、70%和84%,不仅没有崩溃,反而不相关指令的成功率还略高一些。手臂和手腕的运动轨迹曲线显示,三种情况下机器人的动作模式基本一致。

这说明机器人很可能压根没把语言指令当回事,它只是记住了"这个场景里该干什么",然后不管你说什么,它都按照记忆里的固定套路执行了一遍。

这就好比一个在固定流水线上工作了十年的工人,你在他耳边说"今天不用拧螺丝了",他可能还是条件反射地拿起扳手拧了下去,因为他的身体记忆早已和那个工位绑死,根本不依赖你此刻说了什么。如果场景布置本身就唯一确定了该做什么任务,那语言指令在训练里其实变得可有可无,机器人表面上完成了任务,实际上压根没有在听你说话,这是一种容易被"成功率很高"这个表象掩盖的假象。

写在后面

读完这些实验细节,最让我意外的其实是那个关于指令的小实验。我原本以为,既然是"语言指令控制的机器人",那换一句不相关的话,机器人至少会卡壳或者露出点困惑的迹象。但数据摆在那里,它不仅没卡壳,表现得比听懂指令时还要好一点点。

这其实是个挺扎心的提醒:一个模型表面上的"任务成功率"可能是个相当会骗人的指标。它成功了,不代表它理解了你说的话,它可能只是把眼前的场景和某个固定动作模式绑死了而已。如果测试设计者只看最终成功与否,这种"听不懂但照样做对"的问题是永远发现不了的,必须专门设计出语言和场景互相矛盾的刁钻情境,才能把这个假象戳破。

另外一个让我反复咂摸的细节是移动任务带来的断崖式下跌。FastWAM从76%跌到9%,这不是渐进式的衰减,是彻底的失灵。这提示我们,当下的人形机器人策略学习,可能还停留在"手眼协调"做得不错,但"手眼协调加上全身移动协调"这个更复杂的组合技,还远没有被真正攻克。这个坑可能比想象中深得多。

这篇论文留下的问题比答案多。如果一个机器人连一把没见过的钩子都要打个问号,那未来真正走进厨房、走进工地的人形机器人,要见过多少种工具,才能算真正学会了"用工具"这件事?

Q&A

Q1:HumanoidToolBench是什么?

A:这是首尔大学联合谷歌研究院团队推出的人形机器人工具使用测试基准,包含18个任务,涵盖三种场景、三个难度级别和两种工具摆放模式,专门检验机器人从选工具到真正用工具完成任务的全流程能力。

Q2:为什么机器人选对了工具却还是任务失败?

A:实验发现强模型经常能举起正确工具并碰到目标物体,比例高达八九成,但最终任务成功率只有三到五成,问题出在抓取姿势和工具朝向上,导致工具的有效部分没法精准接触目标,这属于空间对齐能力不足。

Q3:机器人移动起来为什么工具使用能力会大幅下降?

A:测试显示FastWAM在站立完成任务时成功率能到76%,但要求它带着工具走动完成任务时骤降到9%,说明站立时的手眼协调能力无法直接迁移到需要同时控制全身移动的复杂场景中。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  2. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  3. 华为云开源昇腾原生具身世界模型CloudRobo-WM1.2,亮出三张牌

    2026年,具身世界模型成了人工智能行业最拥挤的赛道之一。海外,谷歌、英伟达接连加码;国内,智元、星海图、智源、腾讯、阿里相继下场。各家路线略有差异,但共识已经形成:让机器人先理解世界,再做动作决策。有行业媒体梳理显示,国内公开的世界模型已有59个,全球公开入场的公司达55家。11月16日,华为云“行业AI梦工厂...

    来源 腾讯网
  4. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  5. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  6. 王兴兴看2026年AI:用“激动人心”形容,底层突破快过外界感知

    11月17日,在亚太经合组织(APEC)工商领导人峰会上,宇树科技创始人王兴兴作为科技企业代表在现场分享了他对2026年AI发展态势的感受。他表示,未来几年AI大模型与机器人领域的潜力十分巨大,是当下最让他感到激动的方向。在他看来,普通大众目前看到的AI技术、机器人技术进展,大多只是“水面以上”的部分;而在公众视野之.

    来源 腾讯网
  7. 亚利桑那州立大学推τ-Emotion-Bench:AI客服遇情绪用户表现如何

    你有没有遇到过这种情况:打客服电话,心情本来就不好,结果客服还磨磨唠唠问一堆你早就说过的信息,最后你直接挂了电话,什么问题都没解决。现在的AI客服也会遇到同样的问题,但没人认真测试过这件事。绝大多数评测AI客服能力的测试,都假设用户是一个心平气和、按部就班配合的理想对象。你问什么我答什么,整个过程平静得像在填...

    来源 腾讯网
  8. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  9. 每平方公里7家上市公司,机器人按周迭代:今天的“深圳速度”有多“离谱”?

    本文来源:时代周报 作者:王晨婷深圳人对“快”并不陌生。从蛇口工业区建设时期流传的“三天一层楼”,到电子产品从设计、打样到量产的快速迭代,再到今天人工智能等新兴产业的加速生长,深圳速度一直是这座城市的重要标签。一件产品从图纸变成实物,需要设计、零部件采购、加工、测试和交付。深圳完善的产业链,让这些环...

    来源 腾讯网
  10. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  11. 王兴兴谈机器人模型泛化:盼一台机器进千家万户即刻干活

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。 宇树科技股份有限公司董事长王兴兴在峰会上表示,最近几年国内乃至全球的机器人行业都非常热,原因是大家看到了纯语言或文字的 AI 模型在个人生活、办公中的价值越来越大,大家希望

    来源 AI 行业观察
  12. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
  13. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  14. Figure招夜班协调员:时薪40到45美元照看人形机器人

    “ 人形机器人的夜晚,仍然需要人类掌灯。晚上十点半,加州圣克拉拉,克拉克一个人走进车间上班。他的工作内容听起来很像科幻片的开头,看着机器人干活。机器人卡住了,他手动把它弄出来;机器人报错了,他排查;机器人有安全风险,他上手处置;必要时,还得一个人搬动五十磅(约22.7公斤)的机器人硬件。这份“夜班协调员”工作,是Fig

    来源 腾讯网
  15. 软银收购ABB机器人遇中国审查:数据归属成关键变量

    “ 一笔没有被禁止、也没有被放行的交易孙正义在2026年11月第一周收到的是一个他不太熟悉的信号。11月5日,外商投资安全审查工作机制办公室(国家发展改革委)告知日本软银,禁止它用54亿美元买下瑞士ABB的机器人业务。过去二十年里,这位软银创始人习惯了在监管的缝隙中穿行。美国的CFIUS审查过他对 Sprint 的收购

    来源 腾讯网
  16. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  17. 具身智能融资466起1245亿:机器人离干活还差什么

    2026年,资本、模型和制造同时加速,机器人开始批量走下生产线,但下线不等于交付,演示不等于胜任。具身智能能否真正跨越产业之门,取决于技术能否被组织成稳定工作的系统,并在真实场景中持续创造价值。

    来源 AI 行业观察
  18. 太空起源:跳过二级回收,中国商业航天另辟蹊径?

    人类航天史里程碑式突破。SpaceX星舰第15次飞行全球瞩目,二级飞船在顺利入轨并部署卫星后,成功实现塔架捕获。这是人类历史上第 一次把一枚轨道级二级飞船以塔架机械臂捕获的方式实现回收,标志着全复用运载系统的闭环打通,未来将彻底改写太空运输格局。国内,航天界同样注视着一幕。中国商业航天过去十年,火箭领域的技术关键词几乎

    来源 腾讯网
  19. 马斯克披露星舰V4细节:箭体加长约40%,推进剂载荷提升超60%

    IT之家 11 月 16 日消息,在 SpaceX 首次成功用发射塔机械臂捕获星舰飞船上面级的第二天,埃隆 · 马斯克(Elon Musk)公布了下一代星舰 V4 版的升级计划。新版本飞船长度将增加约 40%,推进剂装载量提升超过 60%,发动机数量也将从 6 台增加到 9 台。 马斯克当地时间周日晚间在 X 平台发文

    来源 AI 行业观察
向下滚动自动加载更多