英伟达GR00T 2机器人模型开源:10万小时人类数据已开放
henry 发自 凹非寺量子位 | 公众号 QbitAI全体起立!时隔一年半,英伟达的新一代机器人基础模型终于来了!刚刚,在今年奥斯汀举行的CoRL大会上,英伟达GEAR领导朱玉可和Jim Fan,搬出了新一代世界动作模型——GR00T 2。在时长1分半的官方demo中,GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴
henry 发自 凹非寺
隔了一年半,英伟达新一代机器人基础模型总算亮相了。
就在今年奥斯汀的CoRL大会上,英伟达GEAR负责人朱玉可和Jim Fan一起发布了新一代世界动作模型
GR00T 2。
官方demo长1分半,GR00T 2在里面裁标签用剪刀、装显卡、擦火柴、切香蕉做早餐、擦咖啡、收拾桌子、卖爆米花。
看下来几乎什么都能干。双手精细操作也好,全身移动也好,任务范围基本铺满了机器人能力的各个方向。
朱玉可还透露,GR00T2的模型、数据、仿真环境和数据采集硬件都会陆续开源。
眼下率先放出来的是10万小时人类数据。
这时候说一句英伟达nb,应该不过分。
GR00T 2:让机器人基础模型更能泛化、更灵巧、更会适应
作为世界动作模型,GR00T2能同时预测未来的画面和机器人的动作。训练的时候,“世界会怎么变”和“机器人该怎么动”是放在一起学的。
发布会上,Jim Fan把它定位成一个反应够快、能在本地跑的System 1(快系统)物理技能模型,既容易靠示范教会,也容易被推理模型引导。
落到GR00T 2内部,就是朱玉可在推特上提到的Xadapt跨本体适配。
说白了,以前要教一台机器人做新任务,通常得照着它的身体形态和控制方式,重新采一批机器人示范数据。
X-Adapt想拆掉的就是这层限制:人类或者手持设备示范过的技能,可以直接搬到没练过这项任务的机器人身上。
具体来看,
1、从人类示范迁移到机器人。
研究人员戴上动捕设备,示范怎么放置、润湿滤纸。接下来,双五指手Dexter就能完成同一件事。
全程没有采这个任务的机器人遥操作示范。只靠人类示范,Dexter在20次试验里成功率就到了65%。
2、从手持夹爪迁移到机械臂。
研究人员拿手持UMI夹爪,示范怎么组装玩具自卸卡车。模型学完之后,再把这项技能迁到YAM机械臂上。
UMI和YAM的夹爪形态并不一样,YAM照样能端到端做完最长约四分钟的组装任务,成功率60%。
同样的迁移路子,还用在了传送带分拣与抛掷、操作板拆解这些任务上。
3、从可穿戴外骨骼迁移到机器人灵巧手。
研究人员会先戴上DexUMI手部外骨骼,把做香蕉酸奶、舀麦片的动作示范一遍。模型拿这些数据微调之后,机器人就能自己接手把早餐做完,这项任务也用不着再额外采集机器人的遥操作示范。
三条路子看下来,指向的其实是同一件事:同一项技能,未必要在每种机器人身上都重新教一遍。
跨本体迁移当然不等于机器人数据可以完全不要。人类动捕和UMI这两条路径里,目标机器人照样得出数据,只不过这些数据跟具体任务无关,作用是让模型摸熟自己的身体结构、运动方式和控制空间。至于新任务的示范,可以从更好采的人类操作里来。
GR00T 2技术报告强调的正是这个方向——把机器人基础模型的泛化、灵巧性和适应能力撑起来。迁移之外,GR00T 2还展示了另一手:靠少量机器人示范把执行精度提上去。
另一组Dexter-50评测里,模型零样本平均成功率为40%;每项任务给一次示范,成功率升到71%;给五次示范,则达到95%。
更关键的是,这五次示范加起来不到三分钟。之后只需在单张RTX5090上做约30分钟的LoRA微调,就能得到适配对应任务的模型。
实际调用上,英伟达这次也跟上了开放的路子,推出WAM API。推理模型可以通过API拆解任务、检查执行进度,再把具体的物理技能交给GR00T 2去做。
换句话说,GR00T 2不只能自己把技能做完,还能当上层智能体调用的物理执行模块。
那么问题来了:英伟达,你咋这么nb?
40 万小时人类视频,怎么变成机器人的动手能力?
咱一个一个说。X-Adapt背后首先是一座数据金字塔,GR00T 2的预训练混了三类数据:
402,730小时人类第一视角视频;
10,184小时手持UMI演示,覆盖2,897项任务;
23,500小时机器人遥操作数据。
人类视频的规模远大于另外两类,这一点不难看出。它意味着机器人的学习材料不再局限于人工遥操作采集的动作轨迹,而是进一步扩展到大量真实的人类活动——人怎样拿起工具、移动物体、完成装配,一次动作之后周围场景又会发生怎样的变化。
UMI和可穿戴设备负责补上更直接的操作轨迹,机器人遥操作数据则帮模型学习不同身体对应的运动与控制方式。
人类视频到底能不能帮机器人干活?团队专门做了一组规模实验来验证:分别用不含人类视频、1%、10%和全部人类视频的数据训练模型,再在72项Dexter任务上评估。
结果显示,人类视频数据越多,真实机器人上的平均任务进度就越高,从50%提高到70%。
大规模人类经验究竟能带来什么?实验给出的回答很直接:它不光让模型的视觉知识更丰富,还能变成机器人在真实任务里实打实的执行进展。模型层面,GR00T2把语言指令、多视角相机画面和机器人状态一并接收,再借同一个扩散Transformer,把未来视频与动作序列放在一起预测。
而在模型之外,英伟达围绕GR00T2把采集、处理、训练、仿真验证到实际部署串成了一条完整工具链。
采集这一头靠的是UMI、DexUMI等设备,研究人员能直接记录人类操作,那些传统遥操作很难自然完成的灵巧动作尤其受益。数据这一头则有Human-1M与Flora:前者提供人类第一视角视频,首批10万小时子集已经公开;后者负责数据整理、描述性标注和自动评估。
仿真端交给了SimFoundry,它可以从真实场景重建任务环境,用来测试策略、生成数据和开发技能。
执行端由不同模型和组件分工完成。ASPIRE把机器人模型与代码技能组织起来,支持任务执行和错误恢复;面向人形机器人的Turbo换用更轻量的网络和更紧凑的视频表示,把预测开销压了下来。在G1的机载Jetson Thor上,Turbo单次预测耗时124毫秒;SONIC则跑在另一块Jetson Orin上,以50Hz做全身控制。
一个生成运动计划,另一个把计划变成持续的身体动作,机器人伸手、弯腰、搬运时才保持得住协调。
开发者拿到GR00T2,能调用的不只是模型本身,还可以顺着配套工具链采集自己的数据、适配自己的任务、在仿真里验证技能,最终部署到真实机器人上。
英伟达这次发布更值得关注的地方也在这里:它开放的不只是一款机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。
One more thing
CoRL的现场演讲里,Jim Fan说:“Astra没有打碎我们的梦想,它打破的是我们的围墙。”“这不是寒冬,这是机器人的夏天。”
话虽如此,今天发布的Claude
Fable 5.2在RoboDojo上的表现,也着实有点来给机器人学上课的意思。
Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分64.9%,GPT-6 Astra为29.8%。
要不,下次「后会友期」,大模型队和具身模型队也来报个名?
参考链接 [1]https://research.nvidia.com/labs/gear/gr00t-2/ [2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf