英伟达GR00T 2开源在即:机器人能预判后果了?
出品|虎嗅科技组作者|易玉琴编辑|苗正卿头图|GR00T 2上周,大家都忙着吃黄仁勋的“大瓜”,以至于很多人都错过了英伟达的一次重要技术更新。就在黄仁勋辞职的三天前,11月9日,英伟达在美国奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。在这次发布中,英伟达机器人研究负责人Jim Fan先是
虎嗅科技组出品
头图|GR00T 2
上周,黄仁勋的“大瓜”占满了大家的注意力,结果英伟达一次重要的技术更新被不少人漏掉了。
时间点就在黄仁勋辞职的三天前——11月9日,英伟达在美国奥斯汀的机器人学习大会
会上,英伟达机器人研究负责人Jim Fan先用“凛冬将至”调侃
可讲到最后,Jim Fan话锋一转,抛出了“夏天来了”。
他之所以这么乐观,原因就是英伟达刚发布的GR00T 2。
这是一款机器人基础模型,能从人类视频以及其他机器人的操作数据里学技能,并且计划开源。目前,
那么,这颗机器人大脑到底强在哪儿?
GR00T 2,机器人开始预测动作的后果
和上一个版本比,GR00T 2的核心进步集中在三处:
- 1.学习方式升级:不再只预测机器人动作,而是把动作和环境变化放在一起预测,海量人类视频因此成了训练材料。
- 2.跨构型技能迁移:人类或其他机器人的示范都能拿来学操作技能,针对不同硬件反复采数据的需求随之减少。
- 3.新任务适配更快:少量示范就能快速学会新任务,再配合上层推理模型,复杂操作和错误恢复都能完成。
先看模型架构的变化。
传统的世界动作模型(World Action Model,WAM),通过一个
举个例子,机器人把零件插进插槽时,模型不只要预测机械臂怎么动,还得预测零件碰到插槽后环境会起什么变化。
有了这项设计,机器人就能从普通人类视频里学操作经验,对带控制信息的遥操作数据依赖随之降低。
英伟达披露的数据显示,GR00T 2预训练用了约40.3万小时人类第一视角视频、1万小时手持夹爪示范,外加2.35万小时机器人遥操作数据。
一组对照实验中,人类视频训练规模扩大后,模型在72项真机任务上的进度指标从50%升到70%。这也为此前备受关注的
再看跨构型技能迁移。
英伟达把这项能力称为
比如一项化学实验里,机器人没做过针对该任务的遥操作训练,只靠人类示范,就以65%的成功率完成了为实验漏斗铺设、润湿滤纸的操作。
另一项实验里,YAM机械臂只通过手持夹爪示范,就以60%的成功率组装出一辆玩具卡车。
目标机器人本身仍然需要一部分通用动作数据,模型才能适配其硬件结构。
学习新任务快了多少,是更直观的体现。英伟达拿50个目标机器人此前没做过的任务做测试:GR00T 2零样本平均成功率为40%;每项任务补一次示范并微调,成功率升到71%;补到五次示范,平均成功率达到95%。
这五次示范用到的机器人数据不到3分钟,模型在单张[[保留1]]上就能跑。学得快之外,GR00T 2还想解决复杂任务里出错后怎么恢复的问题。
英伟达采用
在三类玩具的连续组装测试中,加入这一机制后,机器人每类100次尝试成功97至98次;只用动作模型时,成功次数是71至84次。
人形机器人要实时控制,英伟达为此还推出了轻量版GR00T 2。把这几块拼起来看,人类视频学习、跨机器人技能迁移、少样本适配和复杂任务控制,正被GR00T 2装进同一套模型体系。
不过这些成绩主要出自英伟达自己公布的特定实验,离复杂工业场景下长期稳定运行还有距离。
假如这些能力能在更多真实场景里得到验证,机器人厂商以后就有机会直接拿成熟的基础模型,再针对自家硬件和任务做优化。反过来,这会给那些从零训练通用机器人大脑的创业公司添上新的竞争压力。
具身模型
颇具戏剧性的是,英伟达发布GR00T 2的同一天,Anthropic也推出了新一代通用大模型Fable 5.2。这个模型主要面向编程、推理等任务,却已经开始显露机器人操作能力。
在Anthropic公开的视频里,Fable 5.2操控真实机器人完成了魔方操作、拧瓶盖和绘画等任务。
更该看的是测试成绩。在包含42项双臂机器人任务的[[保留3]]中,Anthropic称这一表现已超过多数专门训练的机器人控制模型。但相关成绩出自Anthropic内部测试,真实机器人演示的系统性成功率尚未披露。
事实上,
今年10月,英伟达公布的一项研究显示,Astra在单次动作推理上平均要花18.56秒。短板很明显:这个速度离机器人实时控制的要求还差得远。
OpenAI也在调机器人研发的路子。11月13日,据《财富》报道,OpenAI已撤销独立的机器人研究团队,把相关研究人员并入核心模型团队。OpenAI确认了这次调整,并称机器人仍是其长期发展方向。
一连串变化说明,通用大模型正加快往机器人领域伸手。那它们和GR00T 2是什么关系?从技术路线看,GR00T 2专门学习视频与机器人动作之间的对应关系,重点解决技能迁移、精细操作和实时控制这些问题。
GPT-6 Astra
这两类模型之间,既有竞争关系,也能彼此配合。
英伟达给出的例子是
照这个思路,机器人“大脑”往后可能分得更细:通用模型多担理解与决策,专用模型管那些需要快速响应的物理操作。
对于
英伟达一边持续开放机器人基础模型和开发工具,整机厂商不必再从零训练模型;另一边,OpenAI、Anthropic等通用模型厂商不断把能力伸向机器人,专用模型的技术空间可能被进一步挤压。
通用模型在进步,但这并不代表
眼下GR00T 2和Fable 5.2都还没有证明自己能在复杂工业场景里长期稳定运行。精密操作、触觉反馈、
也就是说,手里有专有场景数据、硬件适配成熟、又有真实客户部署经验的企业,仍然能靠这些建立优势。
可基础模型一直在往前走,今天还稀缺的技术能力,明天或许就成了行业标配。巨头把具身智能的技术起点往上抬,创业公司证明自身价值的门槛也跟着抬高。
谁能迎来夏天,谁又要面对寒冬,说到底还得看真实市场怎么回答。