00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万

资讯 凤凰科技 作者:量子位 全文 5289 字 · 约 14 分钟读完 配图 13 张 分类大模型

蚂蚁灵波具身大模型挑战赛决赛共48小时,TARS团队通过自行重新采集清扫任务数据夺冠

所属频道 模型发布

金磊 发自 上海

量子位 | 公众号 QbitAI

够自信,真能发光。

这一幕出现在一场具身大模型挑战赛的决赛现场。

主办方明明已经给了高质量数据集,有个参赛队伍的队长却因为够自信,拍板从零开始手搓新数据。

结果,这支队伍最终得分82分,直接拿下第一名,捧走8万元大奖。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 1)

事情得从头说。

决赛一共48个小时,15支入围队伍要在这么短的时间里做完数据采集、模型调优和真机部署,还得用同一套模型应对三项任务:按指令摆放水果、把化妆品放进透明收纳架的指定层、双臂配合清扫垃圾。

按指令摆放水果;

将化妆品放入透明收纳架的指定层;

双臂配合清扫垃圾。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 2)

冠军团队判断,前两项任务说到底都是抓取和放置,于是拿千问去识别干扰物,再按背景颜色在图像里把它抹掉,让VLA更容易看清目标和目的地;这两项基本沿用官方数据。

到第三个任务,情况变了。他们发现官方给的210条数据抓的都是簸箕把手,接触面小,稍有偏转就容易打滑、翻转。

团队当即决定自己重新采集,改成抓簸箕后沿,先让工具稳下来,再完成后续动作。

代价是,团队大部分精力都押在了这一个任务的一个环节上。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 3)

就是这份胆魄和孤注一掷,让队伍在临近比赛结束前的几分钟反超第二名,一举夺冠。

刺激,着实刺激。

这到底是什么比赛?

不卖关子,这是蚂蚁灵波举办的首届具身大模型挑战赛(暨首届开发者大会)决赛。初赛阶段就吸引了全球1855支队伍、3252名选手,最终15支队伍进入48小时真机决赛。

夺冠的队伍叫TARS,名字取自《星际穿越》中的机器人,平均年龄只有25岁。

队长吴昊楠是即将从天津大学硕士毕业的00后,五名队员来自福田实验室、西北工业大学、普渡机器人和天津大学。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 4)

量子位与蚂蚁灵波团队交流时得知,他们对TARS团队这波操作也颇感意外。

敢在决赛最后一环把全部筹码押在自采数据上,这份胆量,称吴昊楠一声“自信哥”不算夸张。

放眼整场比赛,“自信哥”的操作只是精彩的一部分;决赛中几乎每支队伍都亮出了各自的技巧,值得具身圈的人围观一波。

48小时,是这场具身挑战赛留给各队的冲刺窗口。

前文提到的那支被TARS在最后关头反超的队伍,就是EVA——成员来自华中科技大学、清华大学深圳研究院和湖北元一智能。

做路演PPT的时候,他们还排在榜首;比赛一结束,名次已经换了,PPT上写下的战绩,最后成了这场追逐战的一个注脚。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 5)

逆袭这件事,EVA自己也走过一遍。

队长武显瑾说,第一天拿官方公开数据训练完,真机成功率只有10%左右。机器人究竟差在哪,很难一眼看出来——示范数据不够干净、训练方式不对路、采集和执行时物体摆放对不上,都有可能。48小时里想一个个排查再重训,时间根本不够。

于是EVA换了个入口:从机器人失败的地方查起。模型先跑,人看轨迹;遇上没见过的状况,或者动作已经跑偏,就由人补示范、接管纠错。之后再用大模型做评判和标注,把整理好的数据送回训练。

这样一来,机器人刚踩过的坑,下一轮就可能变成它的“复习题”。

顺着这条路,EVA在比赛期间做了约7轮数据回流迭代,额外采到700多条示范与接管数据。为了把这些新数据尽快用上,训练流程也做了优化,训练速度提升2.7倍,最终得分73.83分。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 6)

这套做法就是RSI,递归自我改进。不过武显瑾也坦言,数据采集、人工接管、最终的成功判定,眼下仍离不开人。团队想再往前走一步:让机器人自己练,大模型来判成败,再拿这些执行记录接着训练。换句话说,这次比赛跑通了其中一部分,也让他们看清了接下来还要补哪些环节。

与EVA靠持续补采数据往上走不同,排名第三的SST选了另一条路——他们额外采集的数据只有3条。

这个数字乍看夸张,但要说清楚:SST同样用了官方数据,主要精力花在怎么处理这些已有示范上。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 7)

这支队伍有个让人忍不住笑的中文名——“老年上海观光团”。队长是天津大学大四学生杨泽鸣,另外三名成员都是研究生,“老年”二字,就是他们对三位学长的调侃。

名字起得随意,思路倒很清楚:桌面上的杂物会干扰机器人判断,那能不能在它动手之前,先把目标标出来?

具体做法是让DeepSeek解析任务指令,把目标物体的文字提示交给SAM 3做分割。目标区域的原始画面保留,其他区域压暗,处理后的图像再送给VLA。这样一来,模型照样看得见桌面环境,但该操作哪个物体,就明确多了。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 8)

可很快又碰到一道坎:SAM 3在现场并不能稳定地按文字提示分割出需要的物体。目标一开始就找错,后面的动作也就无从谈起。

SST想到的办法是倒放视频——一段示范结束时,哪个物体被抓起、被放到哪里,通常更容易判断。他们先用Agent从任务结束的画面里找到目标,再把目标的像素位置交给SAM 3,让它顺着倒放的视频一路追踪,补齐整段示范的分割标注。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 9)

有了这批数据,VLA训练和SAM 3微调可以同步进行。杨泽鸣介绍,SAM 3微调大约需要一个小时,之后就能接上前面的指令解析流程。动作执行方式也做了调整:模型每次生成50步动作,他们只执行前16步,随后重新推理,配合动作平滑处理,让操作更精细。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 10)

经过这些调整,SST最终得分65.87分。二等奖由SST与EVA共同获得,一等奖归TARS,Vida、FDU_SONIC、ai-robot拿到三等奖。

各队成绩如下:

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 11)

看到这里,可能会以为比赛拼的就是谁更擅长处理数据。

各队确实都在这上面花了力气,不过对于“缺什么、该怎么补”,大家的判断差别不小。

以Vida团队为例,他们注意到公共数据里跨越桌面中线去抓取的示范不多,便针对这些困难布局补采;公共数据中没有杨桃,他们也单独做了采集。

FDU_SONIC的做法是训练的同时盯真机表现,从机器人失败的方位反推该补哪些数据,最终排名第五。

这些方案都得在48小时内见效,训练速度自然不能拖后腿。AI基础设施出身的驰序知行把训练提速约3.7倍,比赛期间迭代了30多个模型检查点;TARS把单步训练耗时从约15.6秒降到3.4秒,为持续加入新数据腾出了时间。

不过,数据采得多,成绩未必跟着涨。

Motion团队在补充任务二、任务三的数据继续训练后,发现任务一的表现反倒下滑。“师兄会帮我调真机的对不队”复盘时也提到,五名成员轮班采集,各人操作习惯不一,有人习惯先抬手,有人习惯先向前,模型在有限时间内没能学稳。

把这些经历和前三名的方案摆在一起,比赛反而更有看头:大家都是在教机器人干活,可示范怎么做、哪些经验该留,开发者自己也是一边做一边摸索。

蚂蚁灵波为什么要办这场比赛?

数据问题还算在选手预料之内,另一些团队碰上的麻烦,更有真机实战的滋味。

比如“今天也要好好检东西”团队搭了一套相当完整的方案:扫描物体、搭建仿真资产,再由上层模型观察并拆解任务,交给VLA执行。

但上了真机,机器人放物体时偏差频出。复盘后他们发现,自家机械臂与桌子的距离和其他队伍差了约5厘米,机器人的可达性和放置位置都受了影响。

等他们把问题查清、位置调好,比赛剩下的时间已经不多了……

对习惯在软件里调模型的开发者来说,这种状况尤其容易打个措手不及。训练流程看着没毛病,机器人也在执行指令,可桌子位置一换,原先的动作就可能失灵。

这也解释了为什么仿真初赛已有队伍跑到70%以上,蚂蚁灵波仍要再设一场48小时真机决赛——

硬件适配、跨任务泛化,还有短时间内定位并解决问题的工程能力,都得放到真实机器人上检验。

特别是这次比赛要求三项任务共用一套模型,开发者必须掂量:为某一项任务做的调整,会不会拖累另外两项。Motion团队遇到的成绩退步,说明这种兼顾并不轻松。

这正是蚂蚁灵波反复强调原生具身的原因,蚂蚁灵波首席科学家沈宇军这样解释:

“

所谓正向开发,就是先想清楚机器人需要什么,再为它准备什么。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 12)

赛场上,透明收纳架难以定位,簸箕抓不稳,各队还得反复调整动作执行方式,选手们解决的就是这些看着细小、却足以让任务失败的问题。

比赛结束后,问题只会更多不会更少。比如今天调好的模型,换一套货架、改一下光照、多加几种物体,还能保住多少效果?

说到底,如果每到一个新场景都要重新采集、训练,再派人到现场调试,部署成本就很难降下来。

沈宇军对数据还有一层看法,这场比赛恰好把它印证了出来。他的原话是:

“

在他看来,行业得先找到数据质量的下限——弄清楚数据达到什么水平,模型就能拿到有效增益;要是一味往更高质量上追,采集成本只会一路往上走。

蚂蚁灵波CEO朱兴也在现场聊到了产业落地的现实处境。他的提醒是,“不要盲目乐观,也不要过度悲观。”

朱兴进一步解释,具身智能的Scaling Law路径仍处在探索阶段,但过去一年里,数据采集和供给、模型能力,以及工厂和物流场景的试点都有推进。他预计从2027年起,产业应用落地会提速,并把真实作业中的异常数据带回来,供模型继续迭代。眼前碰到的难题,得靠这些具体实践一点点解开。由此来看,这场比赛给出的一个重要参照,就是让人看清同一个基础模型交到不同开发者手上会被怎么用、又会在哪些地方卡住。

这些方案当然还需要更多场景去检验。不过开发者把哪些办法有效、哪些地方失败讲明白,至少能让后面的尝试少些盲目。

生态同样得往外打

其实已经有团队从别人的工作里得到了好处。Vida团队在路演时就提到,他们的GeoAAC方法被其他队伍拿去打初赛,效果还不错;Vida自己也借用了别家团队的研究来继续改方案。

换句话说,大家争的是同一张榜单,技术经验却已经流动起来了。对一心想做跨本体通用大脑的蚂蚁灵波来说,把外部开发者拉进来做适配,是件值得长期投入的事。

模型团队很难亲手覆盖所有硬件和任务,外部开发者则能把模型用到各种场景里,发现问题,再做出对应的适配工具,模型的边界就这样被一点点推开。这些经验若能整理出来反复使用,后来者进入相似场景时就能少走重复的路;开发者反馈的问题,也能帮蚂蚁灵波判断哪些能力该优先改。

也因如此,蚂蚁灵波在现场推出了蚂蚁灵波开发者生态计划,想给这类协作一个长期支撑。计划首期要邀请20位MVP,主要面向高校教师和科研人员;同时招募40位Developer Expert,面向核心开发者及技术内容创作者。

两类伙伴参与共建的方向不一样:高校教师和科研人员可以把模型实践做成课程、实验案例和研究成果,工程开发者则能贡献Demo、开源工程、评测脚本和教程,让更多人真的把模型用起来。为了支撑伙伴持续产出,蚂蚁灵波也配了资源和激励——MVP这边,优质课程研发有现金激励,还能获得研发交流、合作对接等机会;Developer Expert这边,则有产品优先内测、研发交流及作品推广等支持。

00后团队48小时自采数据,具身大模型挑战赛夺冠拿8万(配图 13)

这些安排最后能不能起作用,还得看开发者用起来顺不顺手、碰上问题有没有人回应。课程不该只把实验步骤摆出来,得让学生能独立做完;教程也不能光讲怎么做,还要说清适用条件,以及失败之后从哪儿查起。

开发者反馈给研发团队的问题,如果能被持续跟进、落到后续改进里,前面的投入才算真正转起来。具身智能尤其吃这种积累:同一次抓取失败,可能是模型的问题,也可能出在数据、标定或机械臂状态上。前一个团队留下排查过程,后一个团队就能少绕几段路。

站在企业角度,这些积累的价值还要更远一些。开发者越容易上手,模型越有机会进新项目;项目里的问题解决了,又能给后续部署留下可复用的工具和方法。开源模型的竞争,也会顺着这条路延伸到开发支持和实际应用上。

沈宇军说,今年围绕机器人做二次开发的项目在变多,一些团队开始用硬件、模型和算法的组合去解决具体任务。在他看来,硬件成本和模型使用门槛继续降下去,解决方案商和二次开发团队会有更多空间。开发者能不能把这些任务做成生意,也就成了看生态价值的另一个角度。

同样的道理,首届挑战赛冠军团队TARS这回直接从零手搓数据,里头有一部分经验是可以留下来的:他们为什么决定换抓法,怎样采到稳定的示范,这些都还能继续验证。EVA的数据回流流程、SST倒放视频的标注办法,也可以给其他团队当参考。

48小时,冠军已经决出。可对蚂蚁灵波来说,真正的下一场考验在后面:后来者能少花多少个48小时。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek免费额度被指收紧:长对话、每日用量、单次输入均受限

    国产大模型DeepSeek的免费使用额度疑似遭到限制。11月16日,“DeepSeek使用额度已达上限”登上微博热搜。不少用户在社交媒体上反映,DeepSeek对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。截至发稿,DeepSeek尚未对此作出官方回应。值得注意的是,DeepS

    来源 腾讯网
  2. 阿里上线Qwen4-Max:原生视觉+百万上下文,总参数2.4T

    11月16日,阿里巴巴正式上线新一代基座大模型Qwen4-Max,总参数2.4T、激活参数71B,具备原生视觉能力并支持百万上下文,采用基于Qwen稀疏注意力(QSA)的全新MoE架构,每个Token激活参数较上代减少25%。

    来源 凤凰科技
  3. Qwen4-Max发布:2.4T参数、百万上下文,单任务成本降58%

    11 月 16 日,阿里巴巴发布全新一代基座大模型 Qwen4-Max,总参数 2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max 以更少的 Token 消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测 CodeArena 中,Qwen4 位

    来源 AI 行业观察
  4. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  5. MIT六项技术承诺兑现几何?认知永生离现实还有多远

    MIT Technology Review的“The Download”栏目聚焦两大话题:六项曾承诺改变世界的技术如今进展如何,以及人类对“认知永生”的探索。文章提出,衡量技术进步应看真实部署而非宏大宣言;而借助大模型构建数字分身等技术,正让“认知永生”从科幻走向现实,但也带来身份与伦理的深层拷问。

    来源 AI 科技快讯
  6. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  7. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  8. 苹果测试Apple Intelligence每日额度,iCloud+订阅可扩容最高20倍

    苹果正测试为 Apple Intelligence 云端 AI 设每日额度。iOS 27.3 Beta2 等测试版及支持文档显示,高算力服务器端任务将不再免费无限使用。限额覆盖新版 Siri、相册智能修图(消除、扩图、空间重构)、Image Playground、快捷指令云端大模型及接入私有云的第三方应用。日常设置等轻

    来源 AI 产业速递
  9. 狂揽80亿!前Anthropic员工押注RSI,谷歌英伟达都投了

    智东西(公众号:zhidxcom)作者 | 王涵编辑 | 李水青智东西11月16日报道,11月13日,美国大模型独角兽Mirendil官宣完成10亿美元(约合人民币66.72亿元)A轮融资。官方未公布本轮估值,多家媒体引用a16z内部信息称其估值约为50亿美元(约合人民币333.59亿元)。本轮融资由Kleiner P

    来源 腾讯网
  10. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  11. 阿里Qwen4-Max发布:总参数2.4T,单任务平均费用降六成

    新京报贝壳财经讯(记者罗亦丹)11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测CodeArena中,Qw

    来源 腾讯网
  12. MIT追踪六项技术:自动驾驶、核聚变与认知永生走到哪一步了?

    MIT Technology Review的“The Download”栏目聚焦两大话题:六项曾承诺改变世界的技术如今进展如何,以及人类对“认知永生”的探索。文章提出,衡量技术进步应看真实部署而非宏大宣言;而借助大模型构建数字分身等技术,正让“认知永生”从科幻走向现实,但也带来身份与伦理的深层拷问。

    来源 AI 行业观察
  13. 蚂蚁灵波朱兴谈具身智能数据:别轻易给数据上量

    21世纪经济报道记者 陈归辞11月16日,蚂蚁灵波科技举办首届开发者大会,并同期举行首届具身大模型挑战赛总决赛。会议间隙,朱兴接受了21世纪经济报道等媒体采访。朱兴谈及对具身数据的观点。他表示,无论是互联网操作视频、Ego 数据(第一人称视角数据)、UMI 数据(无本体数据),还是真机数据、仿真数据,每种类型的数据..

    来源 腾讯网
  14. 智谱市值五个月蒸发超1万亿港元,大模型赛道集体遇冷

    五个多月,在一家公司身上市值蒸发超过1万亿港元。 资本市场残酷无情,智谱巅峰时总市值触及1.33万亿港元,超越美团、百度、快手等一众老牌互联网巨头。但短短五个多月时间,股价较高点已回撤超过85%。 是智谱不够努力吗?恰恰相反,其旗下的大模型能力仍在持续增强。 智谱股价和市值的过山车,只是大模型赛道的一个缩影。把视野放大

    来源 AI 行业观察
  15. 百望股份CEO王强宇:AI财税产品如何落到任务链上

    企业把大模型接进产品之后,新的经营问题才刚刚展开。客户提出一项任务,系统能拿到哪些信息,由谁核准结果,出现例外时如何处理,都会影响AI能否持续投入使用。产品演示中的能力,需要经由完整的服务过程才能转化为客户价值。 王强宇出任百望股份首席执行官(CEO),为观察这项变化提供了一个具体切口:王强宇如何将百望的财税场景积累转

    来源 AI 行业观察
  16. 书生-S2.1 Flash开源:科研任务推理成本仅星河十分之一

    近日,上海AI实验室发布并开源书生科学多模态大模型 S2.1 Flash(简称书生-S2.1 Flash)。模型融合实验室近期一系列前沿原创技术,在科学数据理解、复杂科研任务闭环执行能力上实现进阶,且同一任务下其推理成本仅为智能体模型书生·星河的十分之一,让科研工作提质、提速、提效,实现多快好省。

    来源 AI 开发者社区
  17. NICT OptiMer:不重训模型,如何快速锁定最优数据配比?

    大模型训练中,数据配比调优通常意味着昂贵的从头重训。日本信息通信研究机构(NICT)团队在EMNLP 2026获奖论文中提出OptiMer方法,通过合并“分布向量”来搜索最优数据比例。该方法将试错效率提升15至35倍,且在C-Eval、MMLU等基准测试中得分高于传统混合训练。文章解析了其技术原理、实验效果及在构建日语

    来源 AI 应用前沿
向下滚动自动加载更多