英伟达GR00T 2发布:机器人基础模型能同时预测动作与画面
英伟达的夏天 具身模型公司的冬天?
上周,黄仁勋的“大瓜”占满了大家的注意力,英伟达一次重要的技术更新反倒被不少人漏掉了。
11月9日,也就是黄仁勋辞职的三天前,英伟达在美國奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。

发布会开场,英伟达机器人研究负责人Jim Fan用“凛冬将至”调侃GPT-6 Astra等通用推理模型给机器人研究者带来的冲击:通用大模型都能直接控制机器人了,还有必要专门研发机器人专用大脑吗?
可到了演讲结尾,Jim Fan话锋一转,宣布“夏天来了”。
让他如此乐观的,正是英伟达刚刚推出的GR00T 2。
该基础模型可以从人类视频和别的机器人操作记录里学会技能,后续打算开源。英伟达眼下已经放出10万小时人类第一视角视频数据,模型权重、代码和适配方案预计12月对外开放。
那么,这颗机器人大脑,究竟强在哪里?
GR00T 2,机器人开始预测动作的后果相比此前的版本,GR00T 2的核心进步主要体现在三个方面:
学习方式升级: 从预测机器人动作,进一步发展为同时预测动作和环境变化,让海量人类视频成为训练材料。
跨构型技能迁移: 机器人可以从人类或其他机器人的示范中学习操作技能,减少针对不同硬件重复采集数据的需求。
新任务适配更快: 通过少量示范快速学习新任务,并结合上层推理模型,完成复杂操作和错误恢复。
首先是模型架构的变化。
传统视觉语言动作模型(VLA)主要根据摄像头画面和语言指令预测动作。GR00T 2则采用世界动作模型(World Action Model,WAM)架构,通过一个扩散Transformer,同时预测未来画面和机器人动作。

例如,机器人将零件插入插槽时,模型既要预测机械臂如何移动,也要预测零件接触插槽后,环境会发生什么变化。
这项设计让机器人能够从普通人类视频中学习操作经验,降低对带有控制信息的遥操作数据的依赖。
英伟达公开的信息显示,GR00T 2预训练阶段喂进去的数据包括约40.3万小时人类第一视角视频、1万小时手持夹爪示范,还有2.35万小时机器人遥操作数据。

对照实验里,人类视频的训练量往上加,模型在72项真机任务上的进度指标就从50%升到70%。这组结果也给此前引发不少讨论的Ego数据补上了一份技术层面的验证。

其次是跨构型技能迁移。
英伟达将这项能力称为X-Adapt。简单来说,机器人能够利用人类或其他机器人的示范,学习自己从未执行过的任务。

拿一项化学实验来说,机器人事先没做过这项任务的遥操作训练,只靠人类示范,就能完成给实验漏斗铺滤纸、润湿滤纸的动作,成功率65%。
另一项实验中,YAM机械臂仅通过手持夹爪示范,就能以60%的成功率组装一辆玩具卡车。
当然,目标机器人仍需要一定的通用动作数据,才能让模型适应自身的硬件结构。
更直观的进步,体现在学习新任务的效率上。
英伟达挑了50项目标机器人以前没做过的任务来测。GR00T 2零样本平均成功率是40%;每项任务补一次示范再做微调,成功率升到71%;示范加到五次,平均成功率就到了95%。

这五次示范用到的机器人数据加起来不到3分钟。模型在单张RTX 5090显卡上做轻量微调,耗时约30分钟。
学得快之外,GR00T 2还想解决复杂任务里的错误恢复。英伟达的做法是分层控制:上层推理模型管任务规划和进度检查,GR00T 2负责抓取、插入这类具体动作。零件掉了、任务断了,上层模型可以调用别的工具处理异常,然后再接着执行。
在三类玩具的连续组装测试里,加上这套机制,机器人每类100次尝试成功97至98次;只靠动作模型单独跑,成功次数是71至84次。

人形机器人对实时控制有要求,英伟达为此推出了轻量版GR00T 2 Turbo。它能直接跑在宇树G1搭载的Jetson Thor上,单次动作预测耗时约124毫秒,之后由高频全身控制器执行。
把这些放在一起看,GR00T 2正试图将人类视频学习、跨机器人技能迁移、少样本适配和复杂任务控制装进同一套模型体系。不过这些成绩主要出自英伟达公布的特定实验,离复杂工业场景的长期稳定运行还有距离。
假如这些能力能在更多真实场景里得到验证,机器人厂商以后就有机会直接拿成熟的基础模型来用,再针对自己的硬件和任务做优化。这会给那些从零训练通用机器人大脑的创业公司增添新的竞争压力。
具身模型公司正被巨头两面夹击。戏剧性的是,英伟达发布GR00T 2的当天,Anthropic也推出了新一代通用大模型Claude Fable 5.2。
这款大模型主要面向编程、推理等任务,但已经开始显露机器人操作能力。Anthropic公布的视频里,Fable 5.2控制真实机器人完成了魔方操作、拧瓶盖和绘画等任务。
更值得关注的是测试成绩。在包含42项双臂机器人任务的RoboDojo仿真基准中,Fable 5.2拿到64.9%,前代Fable 5.1是27.6%,GPT-6 Astra是29.8%。

Anthropic称,这一表现已经超过多数专门训练的机器人控制模型。但相关成绩来自Anthropic内部测试,真实机器人演示还没有披露系统性的成功率。
其实OpenAI的GPT-6 Astra此前也展现过类似潜力。今年10月,英伟达发布的一项研究显示,Astra在RoboLab-120仿真基准中借助智能体框架取得74.8%的任务成功率,超过参与比较的多款专用机器人模型。
短板也很明显:单次动作推理平均耗时18.56秒,离机器人实时控制的要求还差得较远。
OpenAI的机器人研发路线也在变。据《财富》11月13日报道,原有的独立机器人研究团队已被撤销,研究人员转到核心模型团队。OpenAI证实了这一调整,并称机器人依然属于公司长期推进的方向。
一系列变化表明,通用大模型正在加速向机器人领域延伸。那么,它们与GR00T 2是什么关系?
从技术路线看,GR00T 2专门学习视频与机器人动作之间的关系,重点解决技能迁移、精细操作和实时控制等问题。GPT-6 Astra、Fable 5.2等通用模型,则凭借视觉理解、空间推理和任务规划能力,开始参与机器人动作决策。
这两类模型之间既有竞争关系,也能互相搭把手。
英伟达给出的分层控制架构就是一个例子:任务规划和结果检查交给上层的通用推理模型,具体动作由GR00T 2完成,最后落到执行层的是底层控制器。
照这个思路往下走,机器人的「大脑」以后可能分得更细——理解与决策多交给通用模型,需要快速反应的物理操作则留给专用模型。
具身模型创业公司面对的压力,来自两个方向。
一头是英伟达:机器人基础模型和开发工具持续对外开放,整机厂商不必再从零开始训练模型。另一头是OpenAI、Anthropic这类通用模型厂商,它们不断把能力往机器人上延伸,专用模型的技术空间可能被进一步挤掉。
不过,通用模型往前走,并不等于具身模型创业公司就没路可走了。
眼下不管是GR00T 2还是Fable 5.2,都还没有证明自己能在复杂的工业场景里长期稳定运行。精密操作、触觉反馈、接触力控制、实时响应、异常恢复,这些环节仍然要做大量工程优化。
换句话说,手里有专有场景数据、硬件适配做得成熟、又有真实客户部署经验的公司,依然能靠这些建立优势。
问题是,基础模型一直在进步,今天还算稀缺的技术能力,明天也许就成了行业标配。巨头一边抬高具身智能的技术起点,一边也抬高了创业公司证明自己价值的门槛。
谁能迎来夏天,谁又要面对寒冬,最后还是得让真实市场来回答。