英伟达开源GR00T 2：人类视频如何教会机器人干活

告别“一机一练”，英伟达把人类经验灌给机器人

在奥斯汀举行的CoRL大会上，英伟达GEAR团队扔出了一个重磅炸弹：新一代世界动作模型GR00T 2。这次发布最让人意外的不是模型本身有多强，而是英伟达的态度——他们打算把模型、数据、仿真环境甚至采集硬件都陆续开源。目前，首批10万小时的人类操作数据已经公开。

演示视频里，GR00T 2像个熟练工：拿剪刀裁标签、安装显卡、擦火柴、切香蕉、收拾桌子。这些动作看似简单，但对机器人来说，意味着要处理双手精细操作和全身移动的协调问题。英伟达研究员朱玉可和Jim Fan在现场展示的核心逻辑是：别再让每台机器人都从头学起，让它们直接“偷师”人类。

什么是X-Adapt？

过去训练机器人有个死结：你想让A机器人学会倒咖啡，就得找专人遥控A机器人倒几百次咖啡；换个B机器人，哪怕它只是手指长得不一样，你也得重新遥控B机器人再练几百次。这种“一机一练”的模式，成本高得吓人，数据也根本不够用。

GR00T 2提出的X-Adapt（跨本体适配）试图解开这个结。它的思路是，既然人类的手和机器人的手在功能上是相似的，那能不能让人类先做示范，然后让模型自己琢磨怎么把这招传给不同形态的机器人？

英伟达展示了三条具体的迁移路径，每一条都在挑战传统的遥操作数据采集模式。

第一条路是从人到机器。研究人员戴上动捕设备，演示怎么放置和润湿滤纸。双五指手机器人Dexter在旁边看着，没经过任何针对该任务的遥操作训练，直接在20次试验中做到了65%的成功率。这意味着，人类的操作逻辑被模型抽象出来，转化成了机器能懂的控制信号。

第二条路是从手持设备到机械臂。研究人员用手持UMI夹爪演示组装玩具卡车，然后让YAM机械臂去执行。虽然UMI和YAM的夹爪结构完全不同，但YAM依然能端到端地完成长达四分钟的组装任务，成功率六成。同样的方法也被用在传送带分拣和操作板拆解上。

第三条路更硬核，从可穿戴外骨骼到灵巧手。研究人员戴上DexUMI手部外骨骼，演示做香蕉酸奶、舀麦片。模型消化这些数据后，机器人就能接手早餐任务。整个过程不需要再为机器人单独采集一遍遥操作数据。

这三条路径指向同一个结论：技能可以脱离特定的身体形态存在。当然，这不代表机器人数据没用了。目标机器人仍需提供一些“无关任务”的数据，让模型熟悉自己的关节范围、运动惯性和控制空间。一旦模型摸清了“我是谁”，新技能的示范就可以由更容易采集的人类操作来提供。

少样本微调：三分钟示范，半小时训练

除了泛化能力，GR00T 2在执行精度上也做了优化。在Dexter-50评测中，模型零样本的平均成功率是40%。这个数字不算高，但关键在于它的学习速度。

如果给模型看一次示范，成功率跳到71%；看五次示范，成功率冲到95%。这五次示范加起来不到三分钟。随后，开发者只需要在单张RTX 5090显卡上进行约30分钟的LoRA微调，就能得到一个适配特定任务的专用模型。

这种“预训练大模型+少量微调”的路径，和现在大语言领域的玩法如出一辙。英伟达还开放了WAM API，让上层的推理模型可以负责拆解任务、检查进度，再把具体的物理动作交给GR00T 2执行。这样一来，GR00T 2不再是一个孤立的控制器，而变成了智能体调用的物理执行模块。

40万小时人类视频：数据金字塔的秘密

GR00T 2之所以能实现跨本体迁移，底气来自背后的数据金字塔。它的预训练混合了三类数据：

首先是402,730小时的人类第一视角视频。这是体量最大的一块，远超另外两类数据的总和。这些视频记录了真实世界中人类如何拿起工具、移动物体、完成装配，以及动作发生后场景的变化。模型从中学习的不仅是动作轨迹，更是物理世界的因果规律。

其次是10,184小时的手持UMI演示，覆盖2,897项任务。这部分数据提供了更直接的操作轨迹，弥补了纯视频缺乏力反馈和控制信号的短板。

最后是23,500小时的机器人遥操作数据。这部分数据量最小，但至关重要，它帮助模型建立不同机器人身体对应的运动与控制映射。

为了验证人类视频到底有没有用，团队做了一组对照实验。他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型，然后在72项Dexter任务上进行评估。结果很直观：随着人类视频数据的增加，真实机器人上的平均任务进度从50%提升到了70%。

这个实验证明，大规模的人类经验不仅仅是视觉素材，它能直接转化成机器人在真实任务中的执行能力。模型通过扩散Transformer架构，联合预测未来视频帧和动作序列，从而理解“如果我这么做，世界会变成什么样”。

从采集到部署的全套工具链

英伟达这次发布的另一大看点，是围绕GR00T 2构建的一整套工具链。他们意识到，光给一个模型是不够的，开发者需要的是从数据到落地的完整闭环。

在采集端，UMI和DexUMI等设备让研究人员能自然记录人类操作，特别是那些传统遥操作难以完成的灵巧动作。在数据端，Human-1M数据集提供了海量人类视频，首批10万小时子集已公开；Flora工具则负责数据的整理、标注和自动评估。

仿真端推出了SimFoundry，它能从真实场景重建任务环境，用于策略测试和数据生成。这对于解决机器人训练中的数据饥渴问题很有帮助，毕竟在仿真里跑一万次比在现实里摔一万次要便宜得多。

执行端则由多个组件分工。ASPIRE负责将机器人模型与代码技能组织起来，支持任务执行和错误恢复。针对人形机器人，Turbo模型使用了更轻量的网络和紧凑的视频表示，以降低预测开销。在G1人形机器人的机载Jetson Thor芯片上，Turbo单次预测耗时仅124毫秒。SONIC则运行在Jetson Orin上，以50Hz的频率进行全身控制，确保机器人在伸手、弯腰时保持协调。

这套体系的意义在于，开发者拿到GR00T 2后，不仅能调用现成模型，还能沿着工具链采集自己的数据、适配特定任务、在仿真中验证，最后部署到真机上。英伟达开放的不仅是一个模型，而是一个开发生态。

机器人的夏天来了吗？

Jim Fan在演讲中说：“Astra没有打碎我们的梦想，它打破的是我们的围墙。这不是寒冬，这是机器人的夏天。”这句话听起来很燃，但现实往往比口号复杂。

就在同一天，Anthropic发布了Claude Fable 5.2。在RoboDojo Sim仿真双臂测试中，Fable 5.2得分64.9%，而此前备受关注的GPT-6 Astra得分仅为29.8%。虽然测试环境和指标可能有所不同，但这至少说明，通用大模型在具身智能领域的探索并没有停止，甚至在某些仿真任务上表现惊人。

具身智能的竞争正在进入深水区。一边是英伟达这样的硬件巨头，试图通过开源数据和工具链，建立统一的底层标准；另一边是AI实验室，试图通过更强的推理模型来统领物理世界。两条路线最终可能会交汇，也可能长期并存。

对于开发者而言，GR00T 2的开源无疑降低了入场门槛。以前需要组建专门的数据采集团队，现在可能只需要几个UMI设备和一批人类志愿者。但挑战依然存在：如何将仿真中的成功稳定地迁移到充满噪声的现实世界？如何处理长尾场景中的意外情况？

英伟达把墙拆了，门打开了，但路还得自己走。这确实是夏天，只不过是个需要挥汗如雨才能收获的夏天。