机器人会选工具,但会用吗?一个让人工智能露馅的新考场
你有没有想过,如果给机器人一把锤子和一个苍蝇拍,让它去砸碎一块冰,它能分清哪个管用吗?这听起来像个幼儿园智力测验。但当研究者真的让当下最先进的机器人策略做这道题时,结果却没那么乐观。有些模型抓起了那个软趴趴的苍蝇拍,像模像样地挥向冰块,完全没意识到这玩意儿压根敲不碎任何东西。这就是韩国首尔大学联合谷...
你有没有想过,如果给机器人一把锤子和一个苍蝇拍,让它去砸碎一块冰,它能分清哪个管用吗?
这听起来像个幼儿园智力测验。但当研究者真的让当下最先进的机器人策略做这道题时,结果却没那么乐观。有些模型抓起了那个软趴趴的苍蝇拍,像模像样地挥向冰块,完全没意识到这玩意儿压根敲不碎任何东西。
这就是韩国首尔大学联合谷歌研究院团队做的这件事。他们搭了一个叫HumanoidToolBench的测试场,专门用来检验人形机器人到底会不会用工具。这事听起来简单,做起来却藏着不少门道。
工具问题到底难在哪
先说说这个领域之前的状态。
在HumanoidToolBench出现之前,评测机器人工具使用的基准测试要么太窄,要么太简单。比如
换句话说,过去的测试要么只考"选择题",要么只考"操作题",没有一个把两件事拼在一起考。
这就好比考驾照,有的地方只考科目一的交规笔试,有的地方只让你在空地上练倒车入库,却没有一个地方真的让你带着刚学的交规知识,开车上路去完成一次完整的接人送货任务。你知道红灯要停车(这是知识层面),你也会倒车(这是操作层面),但这两件事能不能在真实场景里无缝衔接,根本没人验证过。
HumanoidToolBench要补的就是这个缺口。它让一台真实的人形机器人,面对一堆散落的工具,自己想明白该拿哪个,然后真的用这个工具完成任务,有时候甚至需要迈开腿走到任务发生的地方去完成。
这个任务设计听起来朴素,但背后牵扯的能力链条其实很长:机器人得先看懂场景里有哪些候选物体,再根据语言指令推断出哪个物体具备完成任务所需的功能属性,然后伸手去抓,抓的时候还得考虑怎么拿才能让工具的"有效部分"(比如锤头、钩子尖端)朝向正确的方向,最后还要控制身体,让这个工具精准地碰到目标物体。任何一环掉链子,整个任务就失败了。
三个场景,三道关卡,两种套路
研究团队设计了三个具体场景来检验机器人的工具意识。
第一个叫
第二个叫
第三个叫
这三个场景分别对应了日常生活里工具最常见的三种功能:延伸身体的触及范围、靠形状钩挂拉拽东西、靠物理属性传递冲击力。这个设计思路其实挺讲究现实意义的,它没有凭空编造刁钻的测试题,而是直接从人类生活里最常见的工具使用逻辑里提炼出来的。
光有场景还不够,研究者还把每个场景拆成了三个难度级别。
最简单的叫
中间档叫
最难的叫
这种分级设计其实特别关键,因为它把"选对了但做不好"和"压根没选对"这两种失败原因彻底切割开了。
这就好比考厨师证,如果只看最后端出来的菜好不好吃,你根本不知道问题出在哪:是食材选错了,还是食材选对了但刀工火候出了问题。把考试拆成"先认食材"、"再在灶台边做菜"、"最后端着锅从厨房走到餐厅摆盘"三道关卡,才能精确揪出选手到底卡在哪个环节。如果不做这种拆分,你看到一道难吃的菜,只能说"这个厨子不行",却说不出具体哪里不行,这对改进厨艺毫无帮助。
除了这三个难度级别,研究团队还设计了两种工具摆放模式。标准模式下,桌上只有一个合适的工具和两个毫不相干的杂物,机器人只要认出"这是唯一的工具"就够了。而
这个设计逼着机器人不能只靠"长得像工具"这种肤浅的视觉特征做判断,而必须真正理解这个物体的功能属性是否匹配任务需求。
三千份人类示范,喂给七个模型
光设计考题还不够,机器人得先学过类似的东西才能上考场。
研究团队搭建了一套叫
这里有个很实在的数据处理细节:对于L0任务,只要在某次尝试里机器人抬起正确工具超过8厘米,研究者就把这段轨迹从那一帧截断下来当作独立样本,根本不需要重新采集一遍。这种做法挺省力的,相当于从长视频里截取片段复用,而不是每种任务都从头拍一遍。
拿到这些数据之后,研究团队把它喂给了七种不同的机器人策略模型去训练,包括三种视觉语言动作模型(
结果相当分化。
ACT
但只要加上移动这个条件,情况急转直下。FastWAM在BallMove任务里的标准模式成功率,从站着不动时的76%,一下子摔到了需要走动完成时的9%。这个落差有多夸张?相当于一个厨师在固定灶台前做菜成功率七成六,结果让他端着锅走两步到隔壁灶台继续做,成功率直接掉到不到一成。
这组数据其实挺能说明问题的,它告诉我们,让机器人学会"拿起工具戳一下目标"和让机器人学会"拿着工具同时走路再戳一下目标",完全是两种难度量级的能力,前者练熟了不代表后者也会。
这就好比一个人能稳稳地单手端一碗水不洒出来,你会觉得他端水技术过关。但如果让他端着这碗水同时走上十米台阶,很多人立刻就洒了。走路带来的身体晃动,彻底打破了原本精心维持的平衡,这跟"会不会端水"是两种完全不同的能力,如果不专门测试带着移动的场景,你永远发现不了这个隐藏的短板。
而
研究团队还专门把每次尝试里的几个关键动作记录下来,包括碰到候选物体、第一次碰对工具、成功举起正确工具、工具接触到目标、以及最终任务成功,这五个节点像多米诺骨牌一样串在一起。
数据显示,DP和
这组数字拼在一起特别耐人寻味:弱模型的问题是压根拿不稳工具,而强模型的问题是拿稳了工具、也碰到了目标,却还是没能把事情做成。
这就好比两个人都去打网球,一个人连球拍都握不紧,经常脱手,另一个人握拍稳稳当当,挥拍也碰到了球,但球要么下网要么出界,就是打不进场内。前者缺的是基本功,后者缺的是更精细的空间判断力和力道控制,这是两种完全不同性质的毛病,如果不把动作拆开记录,你只会看到两人"都没打好球"这个表面结论,根本摸不清问题出在哪个环节。
当研究者回看具体的失败视频时,还发现了两类典型的翻车现场。有的模型在诱饵场景里,会稳稳当当地把那个山寨工具抓起来,抓取动作行云流水,完全看不出任何犹豫,但选的东西压根不对。另一些失败案例则是,机器人抓取的姿势和工具朝向有问题,导致工具的有效部分根本碰不到目标物体,就像拿着锤子却是锤柄冲着冰块、锤头朝着自己。
真机器人上的表现:小样本微调居然顶用
光在电脑里的虚拟环境测还不够有说服力,研究团队把ACT、GR00T N1.7、FastWAM这三个模型搬到了真实的宇树G1人形机器人身上,实打实地验证BallMove和BallRetrieve两个任务。
这些模型先在虚拟环境的三千多条数据上训练,然后只用91条真实机器人演示数据,做了5000步的微调,数据量小得可怜。结果呢,在标准模式BallMove任务里,GR00T N1.7在10次尝试里成功了6次,FastWAM成功了5次,而ACT只成功了1次。
这个结果传递出一个挺有意思的信号:虚拟环境里表现强的模型,搬到真机器人上经过小规模微调之后,依然保持了相对的优势。这意味着仿真训练确实能学到一些能迁移到现实世界的东西,不是在虚拟世界里刷题刷出来的虚假繁荣。
工具换了个样子,机器人还认得出来吗
除了常规测试,研究团队还做了几个更有追问精神的小实验,专门盯着GR00T N1.7这个表现较好的模型使劲。
第一个追问是:如果把诱饵场景里那把"正确的钩子"换成一把从没在训练数据里出现过、但功能完全等效的新钩子,机器人还认得出来吗?
研究者把模型内部对这个工具区域的视觉特征做了降维可视化,发现在BallMove场景里,见过的和没见过的棍子,特征点在图上混在一起,难以区分,机器人第一次碰对的概率从85%只降到74%,下降不算剧烈。但在BallRetrieve场景里,没见过的钩子样本在特征图上明显聚成了独立的一簇,和训练时见过的那些样本离得老远,机器人第一次碰对的概率直接从59%腰斩到36%。
这说明机器人对"钩子"这个功能类别的理解,很大程度上依赖的是它记住的那几种具体长相,而不是真正抽象出"能钩住球的弯曲结构"这个功能本质。
这就好比你教一个孩子认识"椅子",如果只给他看过木头做的四脚方凳,他可能第一次见到造型前卫的懒人沙发就认不出这也是可以坐的东西。孩子学到的不是"能坐的东西"这个抽象概念,而是"四条腿加一块板"这个具体形状。如果训练数据里的工具样式太单一,机器人学到的也很可能只是某几种具体外观的记忆,而不是真正理解工具为什么好用。
第二个追问更刁钻:如果给机器人一个和任务完全不相关的指令,它还会继续干活吗?
研究者在一个固定的IceBreak场景里,分别给了机器人三种指令:原始指令"捡起工具砸碎冰块"、换了种说法的同义句、以及一句风马牛不相及的"今天天气不错"。
结果让人意外,三种指令下的任务成功率分别是77%、70%和84%,不仅没有崩溃,反而不相关指令的成功率还略高一些。手臂和手腕的运动轨迹曲线显示,三种情况下机器人的动作模式基本一致。
这说明机器人很可能压根没把语言指令当回事,它只是记住了"这个场景里该干什么",然后不管你说什么,它都按照记忆里的固定套路执行了一遍。
这就好比一个在固定流水线上工作了十年的工人,你在他耳边说"今天不用拧螺丝了",他可能还是条件反射地拿起扳手拧了下去,因为他的身体记忆早已和那个工位绑死,根本不依赖你此刻说了什么。如果场景布置本身就唯一确定了该做什么任务,那语言指令在训练里其实变得可有可无,机器人表面上完成了任务,实际上压根没有在听你说话,这是一种容易被"成功率很高"这个表象掩盖的假象。
写在后面
读完这些实验细节,最让我意外的其实是那个关于指令的小实验。我原本以为,既然是"语言指令控制的机器人",那换一句不相关的话,机器人至少会卡壳或者露出点困惑的迹象。但数据摆在那里,它不仅没卡壳,表现得比听懂指令时还要好一点点。
这其实是个挺扎心的提醒:一个模型表面上的"任务成功率"可能是个相当会骗人的指标。它成功了,不代表它理解了你说的话,它可能只是把眼前的场景和某个固定动作模式绑死了而已。如果测试设计者只看最终成功与否,这种"听不懂但照样做对"的问题是永远发现不了的,必须专门设计出语言和场景互相矛盾的刁钻情境,才能把这个假象戳破。
另外一个让我反复咂摸的细节是移动任务带来的断崖式下跌。FastWAM从76%跌到9%,这不是渐进式的衰减,是彻底的失灵。这提示我们,当下的人形机器人策略学习,可能还停留在"手眼协调"做得不错,但"手眼协调加上全身移动协调"这个更复杂的组合技,还远没有被真正攻克。这个坑可能比想象中深得多。
这篇论文留下的问题比答案多。如果一个机器人连一把没见过的钩子都要打个问号,那未来真正走进厨房、走进工地的人形机器人,要见过多少种工具,才能算真正学会了"用工具"这件事?
Q&A
Q1:HumanoidToolBench是什么?
A:这是首尔大学联合谷歌研究院团队推出的人形机器人工具使用测试基准,包含18个任务,涵盖三种场景、三个难度级别和两种工具摆放模式,专门检验机器人从选工具到真正用工具完成任务的全流程能力。
Q2:为什么机器人选对了工具却还是任务失败?
A:实验发现强模型经常能举起正确工具并碰到目标物体,比例高达八九成,但最终任务成功率只有三到五成,问题出在抓取姿势和工具朝向上,导致工具的有效部分没法精准接触目标,这属于空间对齐能力不足。
Q3:机器人移动起来为什么工具使用能力会大幅下降?
A:测试显示FastWAM在站立完成任务时成功率能到76%,但要求它带着工具走动完成任务时骤降到9%,说明站立时的手眼协调能力无法直接迁移到需要同时控制全身移动的复杂场景中。