蚂蚁灵波具身大模型挑战赛:复旦战队拆臂修机器,1855队中闯进15强
开发者真机上手!具身智能,还得这群人补位
花 2000 块淘来的双臂机器人,跑到一半实验,两个舵机烧了,这活儿还怎么往下干?
复旦大学 FDU_SONIC 战队的四名学生把几台机械臂全拆了,从这台身上卸下零件,转手装到另一台上。设备总算重新转起来,可更棘手的麻烦还在后头:模型在仿真里分数再漂亮,真机平时也摸不着。科研用的双臂机器人少说几万元一台,多数高校团队要么买不起,要么有经费也排不上队。这支起初只想过来学点东西的队伍,从 1855 支报名队伍里一路挤进 15 强,最后拿了个三等奖。
首届蚂蚁灵波具身大模型挑战赛上,这样的情节反复出现。3000 多名选手报了名,来自 13 个国家、648 家高校、科研院所及企业,规模在同类赛事里目前最大。
赛制有个不一样的地方:所有队伍共用同一个基座模型,即蚂蚁灵波开源的 LingBot-VLA 2.0。初赛时,选手们在 RoboTwin 2.0 仿真环境里训练、调优模型;到了决赛,考场从虚拟环境搬到了真实机器人平台上。
11 月 14 日至 15 日,15 支决赛队伍迎来 48 小时真机攻坚。他们把模型部署到松灵 COBOT MAGIC 平台上,用统一预采数据和现场采集的数据接着优化,让真实任务来检验模型到底行不行。两天激战过后,11 月 16 日,决赛名次正式公布。
决赛排名
一等奖被 TARS 战队拿下,队员来自福田实验室、西北工业大学、普渡机器人和天津大学。EVA 与 SST 战队获二等奖,Vida、FDU-SONIC 和 ai-robot 战队拿到三等奖。
冠军 TARS 战队的奖品包括 80,000 元奖金,以及 AMD 赞助的 Radeon RX 9070 XT OC 海外版 Ultra 16GB 显卡、奥比中光赞助的 Gemini 335L 深度相机、辉羲智能赞助的 Huixi Embodied 开发者套件,还有魔搭社区赞助的 5,000 魔粒值与 500 小时 Notebook GPU。
有个细节值得记下:技术专家、投资机构和媒体组成的观察团,把特别奖也投给了这三支队伍。技术层面的评分与产业端的判断,就此对上了。
同一个具身大模型,换一批开发者来调,究竟能改成什么样?这场真机上的极限竞逐,给出了不少很具体的回答。
真机实测
既考选手也考模型
决赛给 15 支队伍出的是一组相同的真机考题。机械臂得先从成堆果蔬里认出指定目标,稳稳放进颜色对应的盘子;接着把化妆品一件件收进透明收纳盒的指定层位;最后还要配合把桌面垃圾扫进簸箕,再倒进垃圾篓。
48 小时里,同一个基座模型、同一份 647 条基础数据,15 支队伍交出了不同解法。LingBot-VLA 2.0 自身的视觉感知和动作执行能力不弱,为继续打磨数据、视觉与控制策略打下了底子。
拿下一等奖的 TARS 战队走的是「分任务攻坚」的路子。在他们看来,水果抓取和化妆品收纳本质是一类事,只要目标认得准,基座模型的抓取能力就够用,「现有的官方数据完全能够满足需求」。所以前两项任务他们基本没额外采数据,而是直接调用千问识别画面里的干扰物,用边界框和 CPU 端背景涂抹把无关信息压下去,让模型更容易咬住目标。
省下的数据采集精力,被全部投到了最难的垃圾清扫任务上。官方约 210 条示范数据,主要用正面夹持簸箕把手的方式,接触面积和摩擦力都偏小,稍有一点偏差就容易翻转,后面的清扫动作也很难做完整。TARS 的做法是改夹簸箕后沿,并按新方案重新采了一遍任务数据。
TARS 解决的是抓得稳不稳。二等奖 EVA 战队换了个方向:让模型从失败里学。他们发现,用官方数据训练时,模型初期成功率只有约 10%。EVA 随后搭起一条数据回流流程——机器人先自主执行任务,再由大模型辅助评估、筛选轨迹;碰上失败或数据覆盖不足的情况,就由人工接管,采集纠正后的轨迹(DAgger),重新加进训练。
这等于给模型多开了一条持续学习的路。48 小时内,EVA 完成约 7 轮数据回流,额外采集 700 多条数据,训练数据规模达到 1200 多条。团队还引入 Grounding DINO 和分割标注改善目标定位,并用深度教师蒸馏补充空间感知监督。优化之后,模型真机成功率从约 10% 提升至约 70%。
另一支二等奖队伍 SST,把注意力放在了模型的视觉定位能力上。他们想给 VLA 加一层更明确的视觉提示,于是引入
DeepSeek 识别指令中的目标物体,再用 SAM3 生成分割掩码,把背景亮度压低至原来的 10%,让操作对象更突出。
问题在于,SAM3 没法稳定地按文字提示分割目标。团队想了个挺有意思的办法:把机器人执行视频倒放,借目标被抓起后的画面定位它的像素位置,再交给 SAM3 沿视频追踪,完成整段视频标注,并用这些数据微调 SAM3。动作执行上,SST 让模型每次预测 50 步,实际只执行前 16 步,再结合动作平滑机制,根据新观测及时调整。最终,团队只额外采集了 13 条数据。
开篇提到的 FDU-SONIC 则从数据覆盖入手。团队检查官方提供的 647 条数据后,发现有些物体与场景的组合样本并不充分。他们补采了不同物体和摆放方式的数据,并加入目标识别,持续把新数据混进训练。训练完,团队再通过真机测试观察模型表现,按实际结果调整接下来补数据的方向。
四支队伍走的技术路线,各自对应具身模型落地时要啃的几块硬骨头。同一颗开源机器人大脑,换一拨人调试,能力边界就长出了不同形状。
48 小时里,这批最会调模型的年轻人,把精力全压到了数据和物理世界上。两年前很难想象这种场面——那会儿具身智能讲的还是「谁的架构更巧」。这回选手们用行动表了态:基座模型能用了,工程的主战场就换了地方。决定胜负的东西,从模型创新交到了数据工程和物理直觉手上。
算法背景从来不缺,真机经验却还是短板。
1855 支报名队伍里,人来自不同高校、研究机构和企业。有具身智能领域的研究者,也有从自动驾驶、互联网算法转过来的工程师,还有人此前压根没碰过具身智能。
把这场比赛的报名画像摊开细看,能发现一个反差,行业意味更浓。
51.7% 的选手有 VLA 或多模态大模型背景,48% 练过深度学习训练,31.9% 跟强化学习沾边。可真有过机器人真机调试经验的,只占 20.9%。
FDU_SONIC 战队队长李新宇就是一例。他本是纯软件出身,过去的研究围着 GPU 和仿真环境转。转做具身智能后,他开始试着把算法往物理世界里带。这次比赛他最大的收获,是过去只停在算法和仿真里的想法,终于有机会放到真实机器人上验一验。
换个角度看,这场比赛还能这么读:15 台双臂真机、算力集群加 647 条数据,被打包成公共资源,48 小时里临时把一次「真机鸿沟」填平了。
队伍也借这个由头,把各自的技术和资源调动了起来。「师兄会帮我调真机的对不队」在社交平台上招人,凑出一支背景互补的班子;EVA 则跨城市远程协作,把数据采集、模型训练和结果验证串成一条线。
背景不同、资源不同的开发者,从同一个开源模型起步,靠赛事给的统一真机平台和配套资源,完成了一回实践验证。
物理世界给回来的反馈
仿真给不了
让更多开发者把模型跑起来,才刚开了个头。换一台设备、换一种物体,哪怕只是接触环境变了,机器人还能不能稳稳把任务做完?具身模型要走进真实世界,这道题绕不过去。
同样是拿起、移动、放下这几个动作,真实操作里摩擦、粘连和受力的变化,仿真环境很难还原得准。
这次挑战赛上,类似的问题也冒了出来。
初赛设了 Clean 和 Randomized 两类环境,看的就是模型从规整场景往随机化环境迁移的泛化能力。到了决赛,416 一定行战队发现,数据并不是越多越好。团队补采了 100 多条数据,可没顾上决赛任务和公开数据集之间的分布差异,混进不少无关的 Corner Case,后面几轮成绩都没能超过首轮。还有一次真机推理,团队不小心把桌子挪了位,当天训练的 7000 步 Checkpoint 基本白费。
设备本身的物理特性同样会拖累模型执行。TARS 战队调试时注意到,机械臂往前伸得越远,关节下坠就越明显。模型给出的关节角度没毛病,可机械臂受重力影响,实际执行时会把物体往前推,放置就失败了。团队随后用 500 克负载做真机测试,结合约 100 条采样数据,拟合出机械臂在不同伸展距离下的偏移量,推理阶段再加一层自适应 Offset 补偿。
这些问题放在数字世界里根本看不全。一旦进了真实环境,模型就得应付传感器误差、设备差异、重力影响,还有每一次接触带回的不同反馈。
沈宇军
蚂蚁灵波首席科学家沈宇军把机器人面对的物理世界挑战归成三类:机器人的输入天然带噪声,机器人必须和真实环境发生交互,物理世界不会等模型推理完再动。三条摆在一起,指向的是通用大模型和具身智能之间那道更深的能力鸿沟。
通用大模型已经能听懂指令、拆解任务,甚至把复杂的操作步骤规划出来。可机器人干活时还得理解空间关系、感知接触状态、判断受力变化,再照着环境反馈实时调整动作。语言理解和视觉识别,没法自动变成这些物理操作能力。
这也是沈宇军反复提「具身原生」的缘由。按他的说法,具身原生的核心是正向开发:先搞清楚机器人需要什么,再照着这些需求去设计模型。
「如何判断一个具身模型能否适应物理世界」,成了本次挑战赛闭幕式圆桌论坛上被讨论得最多的话题。
睿尔曼智能创始人兼 CEO 郑随兵讲了个挺有代表性的例子:实验室条件下,模型抓取钢轮的成功率能到 95% 左右,可一旦搬进真实工厂,碰上表面带油污的钢轮,成功率就掉到 10% 以下。问题藏在容易被忽略的地方——钢轮被抓起、放到夹板上时,油污让两者粘在了一起。
上海交通大学副教授李永露则盯住了实时性。仿真里模型思考时,世界会停下来等它;真实机器人任务中,规划与动作执行却得同时经受考验。他提到,此前一项 GM100 测试里,部分模型在真机 100 项任务上只拿到 10 分左右。所以在他看来,评测是「一半科学、一半工程」。
智源研究院院长王仲远把话题引向部署成本。一套方案要 100 人提前采数据、10 名工程师驻场,最后做到 90% 的成功率;另一套方案 2 个人、一两个小时就能部署完,成功率同样是 90%。两种方案的产业价值显然不一样。他还说,智源将探索建立覆盖仿真、真机和世界模型的评测体系,「真实场景部署所需的时间和成本、异常情况下的安全性,都应该纳入评测考量。」
蚂蚁灵波 CEO 朱兴补上了评测的最后一环:有些泛化问题,得把模型和机器人本体放进实际场景,跑完真实任务的部署与复制,才可能露出来。「只有完成这一环,评测才能真正闭环。」
把这些话串起来看,这场 48 小时黑客松恰好长成了行业想要的那种评测——同一颗模型、同一批硬件、同一份初始数据,交给 15 支互不相干的队伍,在不可控的真实环境里连跑两天两夜。它测的不只是成功率,更是模型离开出题人之手后,真机究竟能做到什么程度。
榜单答不上来的,桌子会答,机械臂会答。模型有没有真本事,物理世界说了算。
具身生态
还有哪些拼图要补?
黑客松都逃不开同一个结局:奖杯发完,微信群慢慢冷下来,经验留在选手脑子里,一点点散掉。
闭幕式上,蚂蚁灵波拿出的「开发者生态计划」,对准的恰恰是散场之后怎么走。首期计划邀请 20 位 LingBot MVP,面向高校教授与科研人员;同时招募 40 位 LingBot Developer Expert,面向一线开发者。前者负责把模型带进课程和科研,后者把工程实践写成教程、开源工程和评测脚本。这个计划有个主题,叫「让每一次实践,成为更多人的起点」。
在蚂蚁灵波看来,具身智能需要一个开放的技术底座。LingBot 系列模型向全球开发者开放,不同团队可以基于同一套基础模型,去试不同的训练方法、任务方案和工程优化。开发者用起来之后,又会给模型带回新的使用场景和体验反馈。
不过,模型开源不等于开发者就具备了完整的实践条件。真机对不少高校和个人开发者来说,仍是稀缺资源。机器人本体价格不低,实验场地、设备维护、数据采集,样样都要持续投入。很多学校缺少能让学生长期上手的机器人设备。算法想法再好,没有真机,也可能一直停在仿真环境里。
这同样是具身智能人才培养绕不开的现实问题。学生得接触真实机器人,在操作、调试和失败里慢慢积累对物理世界的认识。
有了真机,跨本体适配又是一道坎。模型在一台机器人上调好,换到机械结构、关节配置、传感器都不同的设备上,未必还能稳定跑起来。朱兴明确提出,跨构型本身就是一种固有的泛化维度。蚂蚁灵波的想法是,通过基础模型训练,让同一个大脑适配不同本体,也适配不同模态的执行器、视觉和触觉传感器。这还需要继续完善跨本体适配机制和开发工具,把模型迁移的成本降下来。
评测标准也是缺不得的一环。在朱兴看来,要把 Benchmark 设计得科学,本身就是一个复杂的系统工程,学术界、模型厂商、场景方,还有智源研究院这类中立机构,都得一起下场参与。
朱兴也坦言,当前具身智能的模型范式还没有完全收敛,产业应用仍处于早期阶段。
具身智能要走出实验室,既需要更强的模型,也需要更多愿意动手的人。48 小时的比赛总会散场,但 1855 支队伍的报名记录说明,动手的人已经在路上了。