LingBot-VLA 2.0:1855队角逐,具身智能谁补位?
编辑|杜伟一台 2000 块买来的双臂机器人,实验做到一半,两个舵机坏了,怎么办?复旦大学 FDU_SONIC 战队的四名学生,干脆把几台机械臂拆开,拆下零件,再拿去修另一台。好不容易让设备重新运转起来,更现实的问题还在后面:就算模型在仿真环境里跑出高分,他们平时也很难摸到真机。一台科研双臂机器人动辄数万元,对多数高校
一台花 2000 块淘来的设备
复旦大学
这支队伍起初只是抱着学习的心态来的,最后却从 1855 支报名队伍里一路闯进 15 强,拿下三等奖。首届具身大模型挑战赛上,类似的情形不止一次出现。3000 多名选手报名,覆盖 13 个国家、648 家高校、科研院所及企业,规模在同类赛事中目前最大。
赛制有个特别设计:所有队伍共用同一个基座模型,即蚂蚁灵波开源的 LingBot-VLA 2.0。初赛阶段,选手们围绕
11 月 14 日至 15 日,15 支决赛队伍进入 48 小时真机攻坚。他们在
决赛排名
一等奖由
一等奖由 TARS 站队摘得,奖金 80,000 元,以及由
有个细节值得记下:由技术专家、投资机构和媒体组成的观察团,把特别奖投给了同样的三支队伍。技术分与产业判断,在这里正好对上了。
同一个具身大模型,换不同的开发者来调,到底还能变成什么样?这场极限真机竞逐给出了不少具体答案。
真机实测
既考选手也考模型
决赛给 15 支队伍出的是一组相同的真机考题:机械臂要从一堆果蔬里认出指定目标,准确放进对应颜色的盘子;再把化妆品一件件收进透明收纳盒的指定层位;最后机械臂配合把桌面垃圾扫进簸箕,倒进垃圾篓。
48 小时、同一个基座模型、同一份 647 条基础数据,15 支队伍给出了各自不同的解法。LingBot-VLA 2.0 本身视觉感知和动作执行能力就强,为继续优化数据、视觉和控制策略打下了扎实的能力底座。
一等奖 TARS 战队走的是「分任务攻坚」的路子。在他们看来,水果抓取和化妆品收纳本质上是同一类任务,只要目标看得准,基座模型的抓取能力就够用,「现有的官方数据完全能够满足需求」。前两项任务他们基本没额外采集数据,直接调用
省下来的采集精力,全砸到了难度最高的垃圾清扫上。官方约 210 条示范数据主要采用正面夹持簸箕把手的方式,接触面积和摩擦力都偏小,稍有偏差就容易翻转,后面的清扫动作也很难做完。TARS 改成夹住簸箕后沿,并按新方案重新采集了任务数据。
如果说 TARS 解决的是机器人抓得更稳,二等奖 EVA 战队则把重点放在让模型从失败中学习。他们发现用官方数据训练,模型初期成功率只有约 10%。EVA 随后搭起数据回流流程:先让机器人自主执行任务,再由大模型辅助评估和筛选轨迹;碰到失败或数据覆盖不足的情况,由人工接管,采集纠正后的轨迹(
相当于为模型开辟出一条能不断学习的新通道。约 7 轮数据回流在 48 小时内跑完,700 多条数据被额外采集进来,训练数据总量超过 1200 条。团队还引入
另一支二等奖队伍 SST,盯上的是模型的视觉定位能力。他们想给 VLA 加一层更明确的视觉提示,为此引入
另外,SAM3 无法稳定根据文字提示分割目标,团队想了个挺有意思的办法:把机器人执行视频倒放,利用目标被抓起后的画面定位其像素位置,再交给 SAM3 沿视频追踪,完成整段视频标注,并用这些数据微调 SAM3。动作执行上,SST 让模型每次预测 50 步,实际只执行前 16 步,再结合动作平滑机制,根据新观测及时调整。最终,团队只额外采集了 13 条数据。
再看开篇提到的 FDU-SONIC,它切入的角度是数据覆盖。官方给的 647 条数据经团队核查,有些物体与场景的搭配样本偏少。他们随之补齐不同物体、不同摆放方式的数据,并把目标识别加了进去,让新数据持续混入训练。训练完成后,团队用真机测试看模型实际表现,再依据结果决定下一轮数据往哪个方向补。
四支队伍的技术路线,对应的是具身模型落地时的几类具体难题。同一颗开源机器人大脑,经过不同团队的调试,拓展出了不同的能力边界。
48 小时中,这批最擅长调模型的年轻人把精力全压到了数据和物理世界上。两年前很难想象这种场面,当时具身智能讲的还是「谁的架构更巧」。这次比赛里,选手用行动做出了选择:基座模型能用了,工程的主战场也就跟着挪了位置。决定胜负的东西,从模型创新变成了数据工程和物理直觉。
算法背景不缺,真机经验仍是短板
1855 支报名队伍里,选手来自多所高校、研究机构和企业。其中有具身智能方向的研究者,也有从自动驾驶、互联网算法转过来的工程师,还有人此前根本没碰过具身智能。
细看这场比赛的报名画像,会发现一个更有行业意味的反差。
51.7% 的选手拥有 VLA 或多模态大模型背景,48% 有深度学习训练经验,31.9% 涉及强化学习。相比之下,有过机器人真机调试经验的选手仅仅占了 20.9%。
FDU_SONIC 战队队长李新宇就是其中一例。他此前做的是纯软件方向,研究大多围绕 GPU 和仿真环境展开。转到具身智能之后,他开始把算法往物理世界里带。按他的说法,这次比赛最大的收获,是过去只停留在算法和仿真里的想法,终于有机会放到真机器人上检验一遍。
换个角度看,这场比赛还有另一层意义:15 台双臂真机、算力集群加上 647 条数据被打包成公共资源,在 48 小时里把「真机鸿沟」临时填了一回。
各支队伍也趁机调动起自己的技术和资源。「师兄会帮我调真机的对不队」在社交平台上招募队友,凑出一支背景互补的团队;EVA 则靠跨城市远程协作,把数据采集、模型训练和结果验证串了起来。
背景不同、资源不同的开发者,从同一个开源模型出发,借赛事提供的统一真机平台和配套资源,完成了一次实践验证。
物理世界的反馈,仿真给不了
让更多开发者把模型跑起来,只是第一步。换一台设备、换一种物体,哪怕只是接触环境变了,机器人还能不能稳定完成任务?具身模型要走向真实世界,这个问题绕不过去。
同样是拿起、移动或者放下,真实操作里的摩擦、粘连和受力变化,在仿真环境中很难准确还原。
本次挑战赛也暴露出了类似的问题。
初赛设了 Clean 和 Randomized 两类环境,考察模型从规整场景向随机化环境泛化的能力。到了决赛,416 一定行战队发现,数据并非越多越好。团队补采了 100 多条数据,但忽略了决赛任务与公开数据集的分布差异,混进不少无关的 Corner Case,后续成绩没能超过首轮。还有一次真机推理,团队不小心移动了桌子,当天训练的 7000 步 Checkpoint 基本作废。
设备自身的物理特性同样会影响模型执行。TARS 战队调试时发现,机械臂往前伸得越远,关节下坠越明显。模型预测的关节角度本身没问题,可机械臂受重力影响,实际执行时会把物体往前推,放置就失败了。团队随后用 500 克负载做真机测试,结合约 100 条采样数据,拟合机械臂在不同伸展距离下的偏移量,并在推理阶段加入自适应 Offset 补偿。
这些问题在数字世界里没法充分呈现。进入真实环境后,模型要面对传感器误差、设备差异、重力影响,以及每一次接触带来的不同反馈。
沈宇军
蚂蚁灵波首席科学家沈宇军把机器人面临的物理世界挑战归为三点:机器人的输入天然带噪声、机器人必须与真实环境发生交互、物理世界不会等模型推理完成。这三点共同指向通用大模型与具身智能之间一道更深的能力鸿沟。
通用大模型已经能理解指令、拆解任务,甚至规划复杂的操作步骤。可机器人执行任务时,还得理解空间关系、感知接触状态、判断受力变化,并根据环境反馈实时调整动作。语言理解和视觉识别,没法自动变成这些物理操作能力。
这也是沈宇军强调「具身原生」的原因。在他看来,具身原生的核心是正向开发:先弄清楚机器人需要什么,再基于这些需求设计模型。
「如何判断一个具身模型能否适应物理世界」,成了本次挑战赛闭幕式圆桌论坛上讨论最集中的话题。
睿尔曼智能创始人兼 CEO 郑随兵举了个例子,很能说明问题。实验室环境下,模型抓取钢轮的成功率约为 95%。到了真实工厂,钢轮表面带着油污,成功率就掉到 10% 以下。原因藏在一个常被忽视的环节:钢轮被抓起、放上夹板的过程中,油污导致粘连。
上海交通大学副教授李永露从实时性角度提出另一个问题。仿真环境里,模型思考时,世界会停下来等它。但真实机器人任务中,规划与动作执行必须同时接受考验。他提到,此前开展的一项 GM100 测试中,一些模型在真机 100 项任务上的得分只有 10 分左右。所以在他看来,评测「一半科学、一半工程」。
智源研究院院长王仲远谈的则是部署成本。一套方案需要 100 人预先采数据、10 名工程师驻场,成功率能做到 90%;另一套只投入 2 个人、一两个小时即可完成部署,成功率同样是 90%。两套方案在产业上的价值差别明显。王仲远还表示,智源打算搭建一套评测体系,覆盖仿真、真机和世界模型。「真实场景部署所需的时间和成本、异常情况下的安全性,都应该纳入评测考量。」
蚂蚁灵波 CEO 朱兴补充的是评测的最后一环。在他看来,部分泛化问题只有把模型和机器人本体放进实际场景,完成真实任务的部署与复制,才会显露出来。「只有完成这一环,评测才能真正闭环。」
几个人的说法串起来看,这场 48 小时黑客松恰好提供了行业所需要的那类评测:同一颗模型、同一批硬件、同一份初始数据,分给 15 支互不相关的队伍,在不可控的真实环境里连跑两天两夜。它测的不光是成功率,还有模型脱离出题人之手后,真机究竟能做到什么程度。
榜单回答不了的问题,桌子会回答,机械臂会回答。模型有没有真本事,物理世界说了算。
具身生态还要补齐哪些拼图?
所有黑客松都有同一个宿命:奖杯发完,微信群渐冷,经验留在选手脑子里慢慢消散。
闭幕式上,蚂蚁灵波发布「开发者生态计划」,回应的就是「散场之后」怎么办:首期邀请 20 位 LingBot MVP,面向高校教授与科研人员;同时招募 40 位 LingBot Developer Expert,面向一线开发者。前者负责把模型带入课程和科研,后者负责把工程实践整理成教程、开源工程和评测脚本。计划主题定为「让每一次实践,成为更多人的起点」。
具身智能要往前走,缺不了一个开放的技术底座。蚂蚁灵波把 LingBot 系列模型开放给全球开发者,不同团队可以拿同一套基础模型去试各自的训练方法、任务方案和工程优化。开发者用起来之后,又会把新的使用场景和体验反馈带回模型。
不过,模型开源不等于开发者就凑齐了实践条件。真机对很多高校和个人开发者来说仍是稀缺资源。机器人本体价格不低,实验场地、设备维护、数据采集也都要持续投入。不少学校拿不出能让学生长期使用的机器人设备,算法想法再好,也可能一直停在仿真环境里。
具身智能人才培养卡在这里,是个现实问题。学生得接触真实机器人,在操作、调试和失败里慢慢积累对物理世界的认识。
就算有了真机,跨本体适配还是绕不开。模型在一台机器人上调好,换到机械结构、关节配置、传感器都不同的设备上,未必还能稳定跑。朱兴明确提出,跨构型本身就是一种固有的泛化维度。蚂蚁灵波想通过基础模型训练,让同一个大脑适配不同本体,也适配不同模态的执行器、视觉和触觉传感器。这还需要把跨本体适配机制和开发工具做得更完善,把模型迁移的成本压下来。
朱兴认为,评测标准这一环同样关键。在朱兴看来,Benchmark 怎么设计才科学,本身就是一项复杂的系统工程,学术界、模型厂商、场景方,还有智源研究院这类中立机构,都得参与进来。
朱兴也坦言,当前具身智能的模型范式还没有完全收敛,产业应用仍处于早期阶段。
想让具身智能离开实验室,光有更强的模型不够,还得有更多愿意动手的人。48 小时的比赛总会结束,可 1855 支队伍报了名,这说明动手的人已经动起来了。