1855支队伍同台,48小时真机赛检验具身大模型
机器人前瞻(公众号:robot_pro) 作者 | 许丽思 编辑 | 漠影 今年以来,具身智能行业的Benchmark榜单格外热闹:新模型接连发布,SOTA不断被刷新。....
机器人前瞻(公众号:robot_pro)作者许丽思,编辑漠影。
具身智能行业今年以来的热度,从这场赛事的报名数字就能看出。
真机评测平台把模型放在统一条件下比拼,比赛由此展开。
榜单的意义在于可比性:任务相同、条件一致,模型能力的进展才好衡量。不过产业界还盯着另一个问题。
模型交到外部开发者手里,换一批人、换一批数据、换一个操作环境,成功率还能有多少?
上海今天开赛的48小时真机决赛,正是把这个问题抛给开发者。
具身大模型挑战赛共吸引1855支队伍、3252名选手报名,覆盖13个国家;线上仿真初赛过后,15支战队闯入真机决赛,共同使用开源具身大模型。
榜单能反映模型在既定条件下的水平。可开发者用多少数据、花多少时间把能力变成稳定的真实操作,才更贴近具身大模型的产业价值。
一、从仿真到真机,48小时里发生了什么?
决赛现场,参赛者背景五花八门:具身智能科研人员,互联网算法和自动驾驶领域的跨界工程师,第一次接触真机的本科生、大厂员工,还有通过小红书临时组队的年轻开发者。
开源基模给了这些跨界开发者共同的起点,也让他们有机会验证自己原有的技术经验。“fbfyfbf”队靠开源文档和AI编程助手搭起训练环境,“416一定行”队把搜索推荐领域的方法搬进机器人开发,“有手就行”队试着迁移自动驾驶领域的技术经验。
可一上真机赛场,难题就具体起来。决赛共三项任务:单臂抓取水果蔬菜;单臂抓取化妆品放进透明盒;双臂配合清扫桌面垃圾并倒入收纳筐。视觉理解、空间感知、动作执行,样样都得过关。
头一道难关是数据。有选手在路演时提到,官方给了647条公共数据,但没覆盖全部任务情况。比如水果摆放里出现杨桃、青尖椒这类缺少示范的物体,选手只能靠遥操作自己补采。
数据也不是采得越多越好,采什么、怎么采同样要紧。“416一定行”队在决赛里新增了一百多条数据,可采集内容与评测任务不够匹配,后续成绩反倒没超过第一轮。其他战队也发现,针对失败动作、困难物体和任务薄弱环节补采,通常比盲目扩大数据规模更管用。
第二道难关来自真实物理环境。不少问题在仿真阶段看不出来,很多队伍还是头一回碰真机,挑战超出了先前预期。
有队伍反映,透明收纳盒的空间层次很难准确识别,现场光照变化也可能干扰机器人的视觉判断;还有机器人抓水果反复失败、机械臂伸展后下坠、清扫任务做完前半程却接不上倾倒动作……环境或动作上一点微小偏差,就可能拖累整套任务。
更麻烦的是,所有问题都得在48小时内解决。驰序知行团队介绍,为让现场采集的数百条数据更快投入训练,团队优化了训练流程,单步耗时从约15秒压到4秒左右。
时间紧、数据有限、现场充满不确定性,这场比赛呈现的开发压力,和真实产业部署面临的约束颇为相似。怎么用有限资源尽快找到最有效的改进方向,成了所有战队共同的考验。
二、同一颗机器人大脑,被开发出不同的解法
这场高压测试里,前三名队伍围绕数据回流、视觉提示和任务针对性优化,给出了几种有代表性的解法。
EVA队在比赛第一天测试时发现,只用官方公共数据训练的初始模型,决赛任务成功率只有约10%。团队判断,训练数据与实际评测场景之间的差异是影响模型表现的关键因素之一。于是他们没有单纯调模型参数,而是搭了一套能持续改进数据质量的机制。
这套机制的核心,是让失败案例重新进入训练流程:机器人先自主执行任务,再由AI完成数据标注、清洗和轨迹评分,失败场景则由人工补充示范数据。
48小时内,EVA队完成约7轮数据回流,新增700多条数据,同时用目标定位、分割标注和深度信息蒸馏增强模型能力。
SST队则选择让机器人先看清楚要操作什么,他们借鉴了相关思路。
SST队的思路是让机器人先看清操作对象,借鉴相关做法,还反向读取视频,生成目标物体的分割数据,用来优化模型训练和动作执行。推理阶段,模型一次输出50个动作,实际只执行16个,为的是让操作更平滑、更精细。
冠军TARS队则把三项任务分开应对,不同难点投入不同资源。水果摆放和化妆品收纳两项,团队利用
垃圾清扫任务里,TARS队注意到机械臂往前伸得越多,受负载影响越容易往下坠。他们加负载做测试,针对不同伸展状态建立偏差补偿方法,在推理执行时修正动作。训练单步耗时也从约15秒压到3.4秒,模型迭代速度随之提升。
三支队伍走的路不一样,但起点都是同一个开源基础模型,各自在数据、感知、执行上做文章。对开发者而言,有限的时间可以集中花在具体任务的难点上;他们踩过的坑和给出的解法,也为模型后续改进留了参考。
三、让模型真正被用起来,具身智能需要自己的开发者生态
48小时比赛结束,这些技术尝试和实践经验怎么接着发挥作用?更多开发者又怎样在前人基础上继续往前走?
“我们既关心有多少人参与,也关心参与之后留下什么。”
为此,LingBot开发者生态计划推出。首期计划邀请20位
一边面向高校教授和科研人员,推动模型进入课程建设、学术研究和人才培养;另一边面向核心开发者及技术创作者,鼓励做Demo、开源工程、评测脚本,也鼓励分享教程和实践经验。
据介绍,。
开发者的实践同样会反推基础模型往前走。蚂蚁灵波收到的这些反馈,能帮研发团队看清改进方向,把模型能力和开发工具继续完善。
这就形成了一个开发者生态飞轮:开发者拿开源模型做应用、攒经验,成果通过课程、教程、开源项目等渠道被更多人用起来;新实践又带来新问题和需求,推动模型继续迭代,再吸引更多开发者加入。
真实世界的任务和场景极其复杂,哪一家模型研发团队都覆盖不了全部应用需求。让不同领域的开发者围绕开源基础模型持续创新,把成功经验沉淀成可复用的资源,机器人大脑才有机会走进更多真实场景。
结语:具身智能的“安卓时刻”正在酝酿
业内常用“来形容开放基础平台带来的生态效应。这一时刻显然还不能凭借一次模型开源或一场开发者比赛就宣告到来。但
48小时、15支队伍、三项任务,样本不大,却第一次把“同一款模型,在不同人手里能走多远”这个问题,摆到了台面上。
开源基础模型的价值正在这里。它没法打包票说机器人在哪都能干得漂亮,可它把机会摊开了——更多人能自己上手,摸清模型到底卡在哪儿,再一步步把这道线推远。那些被记下来的翻车案例、被分享出来的补采办法,后来的人照着走,就不必再绕一遍弯路。
往后要是越来越多开发者能拿开源的具身基础模型做创新,再把手里的经验交回社区,具身智能的突破就不会只挤在少数几个实验室里了。
改变行业的力量,也将扩散到无数开发者手中。