蚂蚁灵波具身大模型挑战赛:15支战队48小时教机器人做家务
一只机械臂夹着小刷子,另一只夹着黄色簸箕。绿色桌面上散落着红黄纸团,旁边摆着收纳筐。两名选手站在设备旁,低头操作,其中一人俯下身,看着面前的机械臂。这是首届蚂蚁灵波具身大模型挑战赛留下的一张现场照片。比赛要求机器人把桌面垃圾扫进簸箕,再倒进筐里。选手的手边摆着笔记本电脑,身前是机械臂和线缆,桌上则是...
绿色桌面上散着红黄纸团,旁边放着收纳筐。一只机械臂夹着小刷子,另一只夹着黄色簸箕。两名选手站在设备旁低头操作,其中一人俯下身,盯着面前的机械臂。
这是首届蚂蚁灵波具身大模型挑战赛现场留下的一张照片。比赛要求机器人把桌面垃圾扫进簸箕,再倒进筐里。选手手边摆着笔记本电脑,身前是机械臂和线缆,桌上则是家里常见的小刷子和纸团。
11月14日9时,上海张江科学会堂,15支战队领到了决赛题目。任务不只有双臂清理桌面,另有两项单臂操作:抓取果蔬,再把化妆品放进透明盒。参赛者来自北京、上海、深圳、武汉等地,其中有人是从温哥华专程飞回国内。
接下来的48小时,他们要在同一款开源模型
人做起来顺手的事,到了机器人这里,都要重新开始学。
01 先把一件东西抓好
最终获得一等奖的
路演时,吴昊楠讲起了他们处理杂乱场景的办法。
一旦桌上同时摆着好几样东西,模型感知就容易出问题。TARS的做法是把多物体场景拆成单物体抓取,让模型一次只盯一个目标,杂乱环境带来的干扰也就降下来了。
任务虽然拆简单了,机械臂自身的偏差仍要面对。赛方统一提供了预采数据,各队也能到现场自行采集。TARS没走这条路,而是另采了一批规模不大但精度更高的数据;采集由两人配合完成,以此压低实际机械臂系统性误差造成的影响。
他们连示范动作的人是否舒服,也考虑进去了。
人操控设备时,总会不自觉顺着自己的身体来。怎么握省劲、手臂搁哪儿舒服,都会改变示范时的动作轨迹。吴昊楠在路演中讲过一个思路:采集环节得把这些习惯挡在外面,留下的轨迹才会更自然、更有效。
这批数据得同时过关:机械臂照着能不能做出来,采集的人有没有把图省力、图舒服的习惯掺进去。TARS的办法是两人搭档采集,尽量不让人的姿势带偏轨迹。采集、调整示范,这些事本身就是他们备赛的组成部分。
11月16日,决赛结果公布。三轮真机测评取最高一轮总分,TARS以82.5分排在第一。EVA、SST获得二等奖,Vida、FDU_SONIC和ai-robot获得三等奖。
02 抓起来以后,还有下一步
抓到手之后还得放。化妆品要送进透明盒,清扫环节则要求两条机械臂打配合:刷子把纸团扫出去,簸箕要接住,末了再把垃圾倒进收纳筐。评测盯的是任务成功率,也看动作做得怎么样。
物体在什么位置、手臂从哪里靠近、两只夹爪怎样配合,都会影响接下来的动作。对机器人来说,理解“把桌子收拾干净”只是开始。
同一天的开发者大会上,蚂蚁灵波首席科学家沈宇军谈到机器人大脑面临的几道坎:输入本身就带误差,输出得接受物理交互的检验,而物理世界不会停下来等模型。
在电脑里算出下一步,和机械臂及时迈出下一步,中间横着距离、接触和时间。夹爪贴近物体时,位置估得准不准,碰上以后会不会打滑,都得接着处理。人做家务几乎不用为这些细节费脑筋,机器人却要靠感知与动作模型配合才能完成。
蚂蚁灵波将空间、动作和接触反馈一起放进模型训练,目标是让机器人依据实际反馈来调整动作。同时,同一个模型还得尽量适配不同的机械臂、夹爪和任务。
朱兴对行业进度的判断相当克制。蚂蚁灵波这位CEO在接受采访时表示,行业还在快速迭代,尚未迎来具身智能的
放到这场比赛里看,开源基座已经让15支队伍不用从零训练模型。省下来的时间,他们还是得围着真实设备,把采集、训练、执行中冒出的问题一个个解决。TARS把模型不擅长的多物体任务拆开,又针对实际设备重新采了动作数据。同一款模型能走多远,还要看用它的人怎么安排任务、怎么去教。
03 让更多人摸到真机
对不少报名者来说,获得这样的操作机会并不容易。
报名这次赛事的,一共有1855支队伍、3252人。组委会的统计显示,其中51.7%的选手具备多模态大模型背景,有过真机调试经验的占20.9%。几类经历可以叠加,不过真正动手调过真机的,算下来只有约五分之一。
会训练模型,不等于手边就有机器人可使。这回决赛把设备给到了选手面前。
上海交通大学人工智能学院副教授李永露的看法是,比赛能沉淀下经过实战检验的工程经验和方法。比如某次抓取为何失手,补采了哪些数据后情况好转,这样的心得也能在团队之间互相交流。
蚂蚁灵波在当天还发布了一项内容。
这跟灵波眼下推进的商业化测试直接相关。它正与相关方对接。
抓取、放置这些动作,放到上述场景中会一遍遍重复出现。82.5分是TARS最好一轮的成绩,而药房和仓库更关心的是:机器人连续干活时,隔多久得靠人搭把手。