英伟达GR00T 2机器人模型开源:10万小时人类数据已开放

资讯 腾讯网 作者:腾讯网 全文 3083 字 · 约 8 分钟读完 配图 1 张 分类Fable英伟达开源机器人大模型

henry 发自 凹非寺量子位 | 公众号 QbitAI全体起立!时隔一年半,英伟达的新一代机器人基础模型终于来了!刚刚,在今年奥斯汀举行的CoRL大会上,英伟达GEAR领导朱玉可和Jim Fan,搬出了新一代世界动作模型——GR00T 2。在时长1分半的官方demo中,GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴

所属频道 模型发布算力与芯片开源生态机器人与具身智能

henry 发自 凹非寺

隔了一年半,英伟达新一代机器人基础模型总算亮相了。

就在今年奥斯汀的CoRL大会上,英伟达GEAR负责人朱玉可和Jim Fan一起发布了新一代世界动作模型

GR00T 2。

官方demo长1分半,GR00T 2在里面裁标签用剪刀、装显卡、擦火柴、切香蕉做早餐、擦咖啡、收拾桌子、卖爆米花。

看下来几乎什么都能干。双手精细操作也好,全身移动也好,任务范围基本铺满了机器人能力的各个方向。

朱玉可还透露,GR00T2的模型、数据、仿真环境和数据采集硬件都会陆续开源。

眼下率先放出来的是10万小时人类数据。

这时候说一句英伟达nb,应该不过分。

GR00T 2:让机器人基础模型更能泛化、更灵巧、更会适应

作为世界动作模型,GR00T2能同时预测未来的画面和机器人的动作。训练的时候,“世界会怎么变”和“机器人该怎么动”是放在一起学的。

发布会上,Jim Fan把它定位成一个反应够快、能在本地跑的System 1(快系统)物理技能模型,既容易靠示范教会,也容易被推理模型引导。

落到GR00T 2内部,就是朱玉可在推特上提到的Xadapt跨本体适配。

说白了,以前要教一台机器人做新任务,通常得照着它的身体形态和控制方式,重新采一批机器人示范数据。

X-Adapt想拆掉的就是这层限制:人类或者手持设备示范过的技能,可以直接搬到没练过这项任务的机器人身上。

具体来看,

1、从人类示范迁移到机器人。

研究人员戴上动捕设备,示范怎么放置、润湿滤纸。接下来,双五指手Dexter就能完成同一件事。

全程没有采这个任务的机器人遥操作示范。只靠人类示范,Dexter在20次试验里成功率就到了65%。

2、从手持夹爪迁移到机械臂。

研究人员拿手持UMI夹爪,示范怎么组装玩具自卸卡车。模型学完之后,再把这项技能迁到YAM机械臂上。

UMI和YAM的夹爪形态并不一样,YAM照样能端到端做完最长约四分钟的组装任务,成功率60%。

同样的迁移路子,还用在了传送带分拣与抛掷、操作板拆解这些任务上。

3、从可穿戴外骨骼迁移到机器人灵巧手。

研究人员会先戴上DexUMI手部外骨骼,把做香蕉酸奶、舀麦片的动作示范一遍。模型拿这些数据微调之后,机器人就能自己接手把早餐做完,这项任务也用不着再额外采集机器人的遥操作示范。

三条路子看下来,指向的其实是同一件事:同一项技能,未必要在每种机器人身上都重新教一遍。

跨本体迁移当然不等于机器人数据可以完全不要。人类动捕和UMI这两条路径里,目标机器人照样得出数据,只不过这些数据跟具体任务无关,作用是让模型摸熟自己的身体结构、运动方式和控制空间。至于新任务的示范,可以从更好采的人类操作里来。

GR00T 2技术报告强调的正是这个方向——把机器人基础模型的泛化、灵巧性和适应能力撑起来。迁移之外,GR00T 2还展示了另一手:靠少量机器人示范把执行精度提上去。

另一组Dexter-50评测里,模型零样本平均成功率为40%;每项任务给一次示范,成功率升到71%;给五次示范,则达到95%。

更关键的是,这五次示范加起来不到三分钟。之后只需在单张RTX5090上做约30分钟的LoRA微调,就能得到适配对应任务的模型。

实际调用上,英伟达这次也跟上了开放的路子,推出WAM API。推理模型可以通过API拆解任务、检查执行进度,再把具体的物理技能交给GR00T 2去做。

换句话说,GR00T 2不只能自己把技能做完,还能当上层智能体调用的物理执行模块。

那么问题来了:英伟达,你咋这么nb?

40 万小时人类视频,怎么变成机器人的动手能力?

咱一个一个说。X-Adapt背后首先是一座数据金字塔,GR00T 2的预训练混了三类数据:

402,730小时人类第一视角视频;

10,184小时手持UMI演示,覆盖2,897项任务;

23,500小时机器人遥操作数据。

人类视频的规模远大于另外两类,这一点不难看出。它意味着机器人的学习材料不再局限于人工遥操作采集的动作轨迹,而是进一步扩展到大量真实的人类活动——人怎样拿起工具、移动物体、完成装配,一次动作之后周围场景又会发生怎样的变化。

UMI和可穿戴设备负责补上更直接的操作轨迹,机器人遥操作数据则帮模型学习不同身体对应的运动与控制方式。

人类视频到底能不能帮机器人干活?团队专门做了一组规模实验来验证:分别用不含人类视频、1%、10%和全部人类视频的数据训练模型,再在72项Dexter任务上评估。

结果显示,人类视频数据越多,真实机器人上的平均任务进度就越高,从50%提高到70%。

大规模人类经验究竟能带来什么?实验给出的回答很直接:它不光让模型的视觉知识更丰富,还能变成机器人在真实任务里实打实的执行进展。模型层面,GR00T2把语言指令、多视角相机画面和机器人状态一并接收,再借同一个扩散Transformer,把未来视频与动作序列放在一起预测。

而在模型之外,英伟达围绕GR00T2把采集、处理、训练、仿真验证到实际部署串成了一条完整工具链。

采集这一头靠的是UMI、DexUMI等设备,研究人员能直接记录人类操作,那些传统遥操作很难自然完成的灵巧动作尤其受益。数据这一头则有Human-1M与Flora:前者提供人类第一视角视频,首批10万小时子集已经公开;后者负责数据整理、描述性标注和自动评估。

仿真端交给了SimFoundry,它可以从真实场景重建任务环境,用来测试策略、生成数据和开发技能。

执行端由不同模型和组件分工完成。ASPIRE把机器人模型与代码技能组织起来,支持任务执行和错误恢复;面向人形机器人的Turbo换用更轻量的网络和更紧凑的视频表示,把预测开销压了下来。在G1的机载Jetson Thor上,Turbo单次预测耗时124毫秒;SONIC则跑在另一块Jetson Orin上,以50Hz做全身控制。

一个生成运动计划,另一个把计划变成持续的身体动作,机器人伸手、弯腰、搬运时才保持得住协调。

开发者拿到GR00T2,能调用的不只是模型本身,还可以顺着配套工具链采集自己的数据、适配自己的任务、在仿真里验证技能,最终部署到真实机器人上。

英伟达这次发布更值得关注的地方也在这里:它开放的不只是一款机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。

One more thing

CoRL的现场演讲里,Jim Fan说:“Astra没有打碎我们的梦想,它打破的是我们的围墙。”“这不是寒冬,这是机器人的夏天。”

话虽如此,今天发布的Claude Fable 5.2在RoboDojo上的表现,也着实有点来给机器人学上课的意思。

Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分64.9%,GPT-6 Astra为29.8%。

要不,下次「后会友期」,大模型队和具身模型队也来报个名?

参考链接 [1]https://research.nvidia.com/labs/gear/gr00t-2/ [2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 蚂蚁灵波开源LingBot-Touch:触觉基础模型让机器人摸得更灵敏

    【TechWeb】11月10日消息,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进

    来源 腾讯网
  2. 蚂蚁灵波开源LingBot-Touch:5000小时真实数据,触觉也能Token化

    11 月 10 日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近 5000 小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进一步补齐精

    来源 AI 行业观察
  3. 蚂蚁灵波开源 LingBot-Touch:机器人有了触觉大模型

    今天,蚂蚁灵波开源了 LingBot-Touch:给机器人用的触觉模型把这款模型用于灵巧手之后,机器人的各种精细操作准确性都有了大幅提升。比如拉拉链的成功率,从只靠读数的 15% 提升到了 59%这的确是一个非常精巧的模型,能够把视触觉、磁触觉或压阻式触觉,都转化成机器人可以使用的 Token,更好地去实现各种工作代码

    来源 腾讯网
  4. FFR机器人模型登顶仿真榜,贾跃亭披露两项业绩会安排

    截至11月6日,FFR旗下OmniMind模型在具身智能仿真评测平台RoboColiseum榜单中以0.8698分位居综合第一,超过英伟达GR00T N1.7、GPT-6 Astra等模型。FFR将于北京时间11月13日召开上市后首次业绩电话会,FFAI则定于11月17日举行。

    来源 凤凰科技
  5. 机器人学会“看”大模型做动作,然后自己飞快地做

    你有没有想过,一个顶尖的大厨要怎么把手艺教给一个只会简单翻炒的新手厨师?最直接的办法是让新手把大厨的每一个动作都录下来,然后逐帧模仿。但问题来了,大厨切菜可能要几十刀才能切成完美的丝,如果让新手也学着切几十刀,他本来动作就慢,现在更慢了,厨房根本忙不过来。这其实就是今天机器人圈子里正在发生的事情。**大模...

    来源 腾讯网
  6. 英伟达首尔 AI Day 全面出击:携手韩国政府及三星、LG、现代等巨头达成多项重磅合作

    人工智能芯片巨头英伟达于11月9日在韩国首尔正式举办了备受瞩目的 NVIDIA AI Day 活动。在本次大会上,英伟达一口气公布了与韩国科学信息通信技术部(MSIT)以及三星、LG 电子、现代汽车集团等韩国本土顶尖企业和研究机构的多项深度合作,引发科技界广泛关注。 深化主权 AI 生态建设,全面赋能本地大模型与基础设

    来源 AI 开发者社区
  7. MiniMax闫俊杰谈中美大模型:性能达95%,坚持开源至AGI

    在当前全球人工智能发展的关键节点,MiniMax 创始人闫俊杰近日在与投资机构 Scottish Mortgage 投资经理劳伦斯·伯恩斯的对谈中,深入剖析了中美大模型的发展现状、技术路径以及公司未来的战略规划。 中美大模型发展现状:性能差距与后发赶超的挑战 在谈及中美大模型的差距时,闫俊杰指出,目前中国头部大模型已经

    来源 AI 开发者社区
  8. TacitVLA:机器人边想边动,成功率不降反快3.4倍

    现在的视觉-语言-动作模型喜欢先写一段文字再行动,虽然准但太慢。纽约大学和英伟达的研究发现,模型只要学过怎么写推理就行,不用真等写完。新提出的TacitVLA在保持高成功率的同时,把延迟降低了3.4倍,还在长程记忆任务上刷新了纪录。

    来源 AI 应用前沿
  9. 谷歌一年推四款TPU:第八代新增8tx与8i Max,向英伟达发起挑战

    【TechWeb】11月10日消息,谷歌正在用前所未有的产品节奏,向英伟达在AI芯片市场的主导地位发起一轮系统性挑战。当地时间11月9日,谷歌宣布推出第八代TPU的两款新变体:TPU 8tx和TPU 8i Max,分别面向机密AI计算与超大长上下文推理场景。TPU是谷歌自研的AI专用芯片系列,用于AI模型的训练和推理,

    来源 腾讯网
  10. 蚂蚁灵波开源LingBot-Touch:具身原生路线能否走通?

    近期,通用大模型在任务理解、复杂推理等能力上持续突破,机器人"大脑"走哪条技术路线,再次成为具身智能行业讨论的焦点:是接入通用大模型、以数字智能驱动物理动作,还是坚持具身原生、把物理感知和闭环操作作为底座? 11月10日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,给出了自己的答案。该模型基于近5000小

    来源 AI 行业观察
  11. DeepSeek把战场搬到了“驾驭层”

    大模型竞赛打了三年,一个新的主战场正在浮出水面。 这一次,各家比拼的不再只是模型本身,而是让模型真正干活的那一层软件。 杭州的DeepSeek在这条新赛道上交出了一份相当亮眼的成绩单。它开源的AI智能体框架DeepSeek Harness,在发布不到三个月后,日活跃用户达到154万。 一个"驾驭层",为什么值得抢 先说

    来源 AI 行业观察
  12. 马斯克与黄仁勋联手:StarMind太空算力设备2027年Q3入轨

    【TechWeb】在纽约举行的第33届巴伦投资者大会上,马斯克公布了一份时间表:SpaceX与黄仁勋的NVIDIA联合设计的首批StarMind太空计算设备,计划于2027年第三季度发射入轨,并在2028至2029年进入大规模部署阶段。这一合作的核心硬件并非地面常见的通用服务器,而是NVIDIA的Vera Rubin

    来源 腾讯网
  13. MapFlow开源:大模型换班,Prefill为何能快20%?

    在多模型协作的Agent应用中,切换模型往往意味着重复计算上下文。北京大学数据与智能实验室提出的MapFlow技术,通过复用注意力图并配合稀疏压缩与融合内核,实现了跨模型的计算状态共享。实验显示,该技术能在保持生成质量的同时,将Prefill延迟降低15%-20%,显著提升多轮对话场景下的系统吞吐量。

    来源 AI 应用前沿
  14. NVIDIA联手Elith发布日本金融合成数据集:900万人物画像破解数据荒

    NVIDIA联合Elith发布了Nemotron-Personas-Finance-Japan数据集。这套包含900万个人物画像的合成数据,基于日本官方统计生成,涵盖人口结构、家庭资产及金融素养。它采用CC BY 4.0协议开源,允许商业用途,旨在帮助开发者在无需真实客户数据的前提下,训练和测试符合日本文化背景的金融A

    来源 AI 应用前沿
  15. openEuler将发超节点OS:KV Cache读写时延降近84%

    智东西(公众号:zhidxcom)作者 | 杨京丽编辑 | 李水青智东西11月10日报道,10月9日,在Agentic Infra操作系统大会&openEuler Summit 2026媒体预沟通会上,国内开源操作系统openEuler预告其将发布超节点操作系统(OS)相关成果及面向Agentic Infra的技术突破

    来源 腾讯网
  16. 谷歌一年推四款TPU:第八代新变体亮相,英伟达GPU迎挑战

    谷歌正在用前所未有的产品节奏,向英伟达在AI芯片市场的主导地位发起一轮系统性挑战。当地时间11月9日,谷歌宣布推出第八代TPU的两款新变体——TPU 8tx和TPU 8i Max,分别面向机密AI计算与超大长上下文推理场景。加上今年4月Google Cloud Next大会发布的TPU 8t和TPU 8i,谷歌首次在单

    来源 TechWeb
  17. 谷歌一年连发四款TPU:TPU 8tx与TPU 8i Max亮相,英伟达迎来挑战?

    【TechWeb】11月10日消息,谷歌正在用前所未有的产品节奏,向英伟达在AI芯片市场的主导地位发起一轮系统性挑战。 当地时间11月9日,谷歌宣布推出第八代TPU的两款新变体:TPU 8tx和TPU 8i Max,分别面向机密AI计算与超大长上下文推理场景。 TPU是谷歌自研的AI专用芯片系列,用于AI模型的训练和推

    来源 AI 行业观察
  18. 谷歌一年连发四款TPU:第八代新增8tx与8i Max,英伟达地位受挑战

    谷歌正在用前所未有的产品节奏,向英伟达在AI芯片市场的主导地位发起一轮系统性挑战。当地时间11月9日,谷歌宣布推出第八代TPU的两款新变体——TPU 8tx和TPU 8i Max,分别面向机密AI计算与超大长上下文推理场景。加上今年4月Google Cloud Next大会发布的TPU 8t和TPU 8i,谷歌首次在单

    来源 TechWeb
  19. 马斯克携手黄仁勋:StarMind太空算力2027年Q3入轨

    在纽约举行的第33届巴伦投资者大会上,马斯克公布了一份时间表:SpaceX与黄仁勋的NVIDIA联合设计的首批StarMind太空计算设备,计划于2027年第三季度发射入轨,并在2028至2029年进入大规模部署阶段。

    来源 TechWeb
  20. 美团龙猫开源LongCat-2.5:1.6万亿参数、百万上下文,MIT协议可商用

    IT之家 11 月 9 日消息,11 月 2 日,美团龙猫发布面向长程智能体任务的原生多模态模型 LongCat-2.5。随后来到今天(9 日),美团宣布该模型正式开源。该模型采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权,是面向长程智能体任务的原生多模态模型。在复杂代码库开发、完整项目构建、Visual

    来源 腾讯网
  21. Agility的3亿美元订单:1000台Digit 5为何还不能算收入?

    (本文作者为 具身商业前哨,钛媒体经授权发布)文 | 具身商业前哨美国第一家纯人形机器人上市公司,却赶上了华尔街最不相信AI的一天。11月5日,Agility Robotics登陆纳斯达克,股票代码为AGLT。当天,美股遭遇了一场由AI股票领跌的抛售,纳斯达克指数下跌5.5%,创2025年4月以来最差单日表现。Agil

    来源 腾讯网
向下滚动自动加载更多