蚂蚁灵波具身大模型挑战赛:TARS团队48小时自采数据夺冠,拿走8万元
金磊 发自 上海 量子位 | 公众号 QbitAI 真的就是,自信放光芒。 这一幕,便发生在一场具身大模型挑战赛决赛现场—— 有个参赛团队在主办方已经提供高质....
金磊 发自 上海
量子位 | 公众号 QbitAI
自信这东西,有时候真能放光。
这一幕出现在一场具身大模型挑战赛的决赛现场。
主办方本来就给了高质量数据集,可有支参赛队伍偏不照用。队长拍板:从零开始,自己手搓新数据。
最终得分82分,拿下比赛第一,8万元奖金到手。
事情得从头说。
决赛一共48个小时。15支入围队伍要在这么短的时间里做完数据采集、模型调优和真机部署,还得用同一套模型应付三项任务:
按指令摆放水果;
把化妆品放进透明收纳架的指定层;
双臂配合清扫垃圾。
冠军团队判断,前两项说到底都是抓取和放置的问题,于是直接用了现成方案。
到第三个任务,情况变了。官方给的210条数据,抓的都是簸箕把手。接触面小,稍微一偏就滑,还容易翻。
团队当场决定重新采集,改抓簸箕后沿。思路很直接:先让工具稳下来,再谈后面的动作。
代价是,团队大部分精力都押在了这一个任务的一个环节上。
就是这么一次孤注一掷,让成绩在临近比赛前几分钟反超第二名,直接夺冠。
刺激,确实刺激。
这到底是个什么比赛?
答案不绕弯:蚂蚁灵波举办的首届具身大模型挑战赛(暨首届开发者大会)决赛。初赛阶段就吸引了全球1855支队伍、3252名选手,最后15支队伍进入48小时真机决赛。
夺冠队伍叫
TARS,名字取自《星际穿越》里的机器人。队里一共4人,年龄最小的25岁。
队长吴昊楠是即将从上海交通大学毕业的博士。
更有意思的是,量子位跟吴昊楠聊的时候,他提到团队里没人做具身智能方向,都是抱着试试看的心态来的。
敢在决赛最后一环把全部筹码押在自采数据上,这份胆量,称吴昊楠一声“自信哥”不过分。
放到整场比赛里看,“自信哥”的操作只是众多亮点之一。决赛中几乎每支队伍都亮出了自己的技巧,具身圈的小伙伴们值得围观一波。
48小时,分秒都得掰着用。
前面说到被TARS最后一脚反超的那支队伍,就是元一智能的EVA团队。
做路演PPT那会儿,他们还排在榜首。比赛一结束,名次换了,PPT上写的战绩,也成了这场追逐战的一个注脚。
可逆袭这事,EVA自己也走过一遍。
队长武显瑾说,头一天拿官方公开数据训练完,真机成功率只有10%上下。机器人到底差在哪,很难一眼看出来。
示范数据不够干净?训练方式不对路?还是采集和执行时物体摆的位置对不上?48小时里要一项项排查、再重训,时间根本不够用。
EVA的办法是,从机器人失败的地方切进去。
先让模型跑起来,看轨迹。碰上没见过的情形,或者动作已经跑偏,人就补示范、接手纠错。之后再用大模型做评判和标注,把整理好的数据塞回训练里。
这样一来,机器人刚犯的错,下一轮“复习题”里就可能再出现。
顺着这条路,EVA在比赛期间做了约7轮数据回流迭代,额外采到700多条示范与接管数据。为了把这些新数据尽快用上,训练流程也做了优化,速度提到原来的2.7倍。最终得分73.83分。
EVA这套打法就是RSI,递归自我改进。武显瑾也说了,眼下的数据采集、人工接管、成功与否的判定,还都得有人参与。团队想再往前推一步:让机器人自己练,大模型来判断成败,再拿这些执行记录接着训练。
说白了,这次比赛他们跑通了其中一段,也看清了后面还缺哪些环节。
EVA靠不断补采数据往上走的时候,排第三的SST团队走了另一条路——他们额外采的数据,只有3条。
这个数字乍看有点夸张。需要说明的是,SST用的同样是官方数据,主要精力花在怎么处理这些现成的示范上。
这支队伍还有个让人忍俊不禁的中文名,叫“老年上海观光团”。
队长杨泽鸣是天津大学大四学生,另外三名成员都是研究生。“老年”两个字,来自他们对三位学长的调侃。
名字起得随意,解题思路倒很清楚——桌面上的杂物会干扰机器人判断,那能不能在机器人动手之前,先替它把目标标出来?
为此,SST让
这么一来,模型照样能看到桌面环境,但该操作哪个物体,就清楚多了。
团队很快发现,这个方案还卡着一道坎。原始
SST想到了倒放视频:一段示范结束时,哪个物体被抓起、放到了哪里,通常更容易看出来。
他们先借助
有了这批数据,团队就能同时训练
动作执行方式他们也改了。模型每次生成50步动作,他们只执行前16步,然后重新推理,再配合
靠这些调整,SST拿到65.87分。他们和EVA同获二等奖,冠军TARS拿下一等奖,Vida、FDU_SONIC、ai-robot获得三等奖。
各队最终成绩如下:
看到这里,或许会觉得,比赛的关键就是谁更会处理数据。
确实,各队都在这件事上下了功夫,但大家对“该补什么、怎么补”的判断,又很不一样。
拿Vida团队来说,他们发现公共数据里跨过桌面中线去抓的示范不多,于是把这些难做的布局补采进来;杨桃在公共数据里压根没有,他们也单独去采。
FDU_SONIC团队则一边训练、一边检查真机表现,再根据机器人失败的位置,倒推需要补充什么数据,最终取得第五名。
方案得在48小时内奏效,训练速度也不能拖后腿。驰序知行本来就有AI基础设施的底子,把训练提速到约3.7倍,比赛期间迭代了30多个模型检查点;TARS这边,单步训练耗时从约15.6秒降到3.4秒,给不断加进来的新数据腾出了时间。
但数据采得更多,成绩也未必就会涨。
Motion团队把任务二、任务三的数据补进去继续训练,结果任务一的表现反倒下滑了。“师兄会帮我调真机的对不队”复盘时也讲到,五个人轮着采,各人操作习惯不一样,有的先抬手,有的先往前,模型在有限时间里没学扎实。
这些经历,再加上前三名的方案,摆在一块儿让比赛好看了不少。大家其实都在想办法教机器人干活,可示范怎么做、哪些经验该留下,开发者自己也是边干边摸索。
蚂蚁灵波为啥要办这个比赛?
如果说数据问题还在选手们的预料之内,那么另一些团队遇到的麻烦,就更有真机实战的味道了。
例如“今天也要好好检东西”团队便做了一套可谓是相当完整的方案,他们扫描物体、搭建仿真资产,再由上层模型观察和拆解任务,让
一上真机,机器人放东西却老是偏。团队回头复盘才找到原因:自家机械臂和桌子之间的距离跟别的队差了约5厘米,机器人的可达范围和放置位置都受了影响。
而等他们查清问题、调整位置,比赛却已经没剩多少时间……
平时习惯在软件里调模型的人,碰上这种事最容易发懵。训练流程看着没什么毛病,机器人也在照着指令动,可桌子一挪,原先那套动作可能就失灵了。
这也解释了为什么仿真初赛已经有队伍跑到70%以上,
硬件适配、跨任务泛化,以及短时间内定位和解决问题的工程能力,都需要放到真实机器人上验证。
何况这次比赛三项任务得共用一套模型,开发者必须琢磨:为某一项任务做的改动,会不会把另外两项带偏。Motion团队那次成绩退步,正说明这种兼顾不好做。
而这便是蚂蚁灵波为什么也一直在强调原生具身的原因,正如蚂蚁灵波首席科学家沈宇军的解释:
正向开发,也就是先想机器人需要什么,再为它准备什么。
赛场上,透明收纳架不好定位,簸箕抓不牢,各队还得一遍遍改动作的执行方式,选手们要对付的就是这些看着不起眼、却能让任务翻车的细节。
而比赛之后,问题只会更多不会更少,例如今天调好的模型,换一套货架、改一下光照、增加几种物体,还能保留多少效果?
一言蔽之,如果每到一个新场景,都要重新采集、训练,再派人现场调试,部署成本就很难降下来。
因此,沈宇军关于数据的另一个判断,也与这场比赛形成了呼应。他认为:
数据质量的下限在哪里,行业得先找到答案:数据达到什么标准,模型才能获得有效增益,这一点需要弄清楚。若一味往更高质量上追,采集成本只会一路往上加。
蚂蚁灵波CEO朱兴在现场也谈到了产业落地的现实。他提醒说,“不要盲目乐观,也不要过度悲观。”
朱兴对此解释道,具身智能的
同一个基础模型交到不同开发者手里,会怎样被使用、又会在哪里卡住,这正是这场比赛能提供的一个重要参考。
这些方案当然还需要更多场景来验证。不过开发者把有效的方法和失败的原因讲清楚,至少能让接下来的尝试更有方向。
还要把生态给打出去
事实上,有些团队已经从其他开发者的工作中受益了。
例如Vida团队在路演中提到,他们的
大家虽然在争同一张榜单,技术经验却已经开始流动。
对于希望打造
模型团队很难亲自覆盖所有硬件和任务,外部开发者则可以把模型应用到不同场景中,发现新的问题,并开发相应的适配工具,帮助模型不断拓展能力边界。
这些经验若能被整理和复用,其他人进入相似场景时,就有机会减少重复摸索。开发者反馈的问题,也能帮助蚂蚁灵波判断哪些能力需要优先改进。
也正因如此,蚂蚁灵波在现场发布了蚂蚁灵波开发者生态计划,希望为这类协作提供长期支持。
计划首期将邀请20位
共建会分两条路走。高校教师和科研人员那边,可以把模型实践整理成课程、实验案例,也能沉淀为研究成果;工程开发者这边,能拿出Demo、开源工程、评测脚本和教程,让更多人真把模型用起来。
为支持伙伴持续产出,蚂蚁灵波也将提供相应的资源与激励。面向
至于这些安排最终能否真正发挥作用,还要看开发者用起来是否顺手、遇到问题时能否得到回应。
课程不应当只是把实验步骤列出来,更要让学生能够独立完成;教程也不能只讲怎么做,还应说明适用条件,以及失败后该从哪里排查。
开发者向研发团队反馈的问题,若能被持续跟进并落实到后续改进中,前面的投入才算真正形成了闭环。
具身智能的积累尤其吃这一套。同一次抓取失败,原因可能在模型,也可能出在数据、标定或者机械臂状态上。前一个团队把排查过程留下来,后一个团队就能少绕几段路。
放到企业视角看,这类积累的价值还会往后延伸。开发者上手越顺,模型进新项目的机会就越多;项目里的问题一旦解决,后续部署又能拿到可复用的工具和方法。开源模型的竞争也会顺着这条路,往开发支持和实际应用上铺开。
正如沈宇军所说,今年围绕机器人做
首届挑战赛冠军团队TARS从零手搓数据这件事,同样有经验可以留下来。他们为什么换抓法、怎么采到稳定的示范,这些都还能继续验证。EVA的数据回流流程、SST倒放视频的标注办法,也能给其他团队当参考。
这场比赛虽然已经用48小时选出了冠军,但对蚂蚁灵波来说,下一场考验是让后来者少花多少个48小时。