浙大与宇树开源500万条机器人预训练数据:总时长超1万小时

资讯 腾讯网 作者:机器之心 全文 3718 字 · 约 10 分钟读完 分类GPTOpenAI开源具身智能机器人

浙江大学与宇树科技具身智能联合实验室等团队从海量互联网人类视频中构建并开源了预训练数据集 Movens-5M,收录 500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时。数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。团队将文字指令、视频示范、语音和音

所属频道 大厂动态ChatGPT 与 GPT开源生态机器人与具身智能

浙江大学与宇树科技具身智能联合实验室等团队从互联网海量人类视频里构建出一套预训练数据集,并已开源。这套数据收录500万条机器人动作,全部经过仿真执行验证,总时长超过1万小时。

数据覆盖297种细分动作,行走、深蹲、拖地、拳击都在其中;场景归为16类,包括居家生活、健身训练、户外休闲等。

团队把文字指令、视频示范、语音和音乐与机器人动作配对,做了多模态对齐,还给出分时段、分身体部位的动作说明。研究者拿这些数据训练模型,可以让模型学会不同形式的输入各自对应什么动作。

用这套数据训练出的动作模型名为Movens-Zero,它能依据上述四种输入生成机器人全身动作。团队在

人类擦门的视频,如何变成机器人训练数据?

一段能拿来训练模型的视频,除画面之外还得带上什么?先看一条清洁视频。

画面里,人物俯身擦门板中下部,接着慢慢起身,把手臂抬向高处。这条记录用四路画面呈现:原始视频、从视频中还原的人体三维动作、转换后适合G1的动作,以及模拟环境中G1的执行结果。

清洁数据案例。四列依次为原始视频(Original Video)、人体动作(Recovered Motion)、G1参考动作(G1 Reference)、G1模拟执行(G1 Tracking)。

流程是先估计出视频中人的三维动作,再按照机器人的身体结构做调整。之后让模拟环境里的G1执行调整后的动作,检验机器人能不能稳定做完。

记录还配了文字说明,讲清各时间段内各个身体部位在做什么。这段7.25秒的视频分成三个阶段:0–4秒,人物俯身,左手拿绿色清洁布在门板中下部来回擦拭,右臂弯曲置于身后;4–6秒,人物逐步直起上身,左臂跟着擦拭位置抬高;6–7.25秒,双臂向上抬起,伸向门板较高处。

这些文字相当于视频的分步讲解,记下了人物何时弯腰、哪只手在擦、何时起身抬臂。每一步说明都对应画面和机器人动作,模型借此学会按文字要求生成动作。

数据里也有和物体打交道的内容,哑铃训练、杠铃硬拉便是例子。哑铃训练含弯举和俯身;杠铃硬拉含上身前倾、缓缓放低杠铃、再重新站直。画面呈现了手臂、双腿与躯干如何配合。

物体交互数据示例:哑铃训练、杠铃硬拉的人体动作与 G1 动画对照。杠铃 G1 画面为参考动作回放。

海量视频怎么变成500万条机器人动作?

清洁与物体交互的案例,说明单条数据如何把视频、文字说明和机器人动作串起来。要把样本做到500万条,团队得有一套批量处理海量视频的自动化流水线:既识别人的动作,也把动作转成机器人能稳定执行的轨迹。

人一旦被遮挡,或者镜头晃动,动作判断就会受干扰。人和机器人的身体比例不同,关节活动角度也不一样,机器人动起来还得保持平衡。所以系统先按机器人的身体结构调整动作,再验证它能否稳定执行。

团队搭出的自动化数据处理流水线分为片段生成、质量筛选、语义标注、动作恢复等阶段,Movens-5M

  • 片段生成(Clip Generation):流水线第一步按镜头边界把长视频切开,得到连续片段,并保留来源信息。

  • 质量筛选(Quality Filtering):系统核对画面质量、人物是否清晰可见、动作信息够不够,不合格的素材被筛掉。

  • 语义标注这一步,系统会给视频补上场景和动作说明,按时间段讲清各个身体部位怎么变,并把片段对应的文字、能用的语音和音乐信息一并整理好。

  • 动作恢复则从画面里推算人体的三维姿态,把身体随时间运动的过程记录下来。

  • 物理精修环节,系统先查动作里的抖动、失稳等毛病并修掉,再按 G1 的身体结构对动作做调整,最后放到模拟环境里验证机器人能不能稳稳执行。

整套流水线跑下来,团队攒出了含 1500 万条人体动作、500 万条机器人动作的数据集合,行为数据超过 1 万小时。每段动作在不同时间怎么变、身体各部位怎么动,文字说明里都有记录。

有了这些配对数据,模型就能学:拿到一条文字或语音指令、一段音乐或视频示范,机器人该做什么动作。

靠这批数据,一个模型可以响应全模态输入

团队用这些配对数据训练

用文字也能指挥它。演示里输入 “Dance some hip-hop”(跳一段嘻哈舞蹈),模型就生成了对应动作,不用再给参考视频。

文本输入:Dance some hip-hop(跳一段嘻哈舞蹈)

口头下指令同样行得通。演示中,机器人听到 “Salute with your left hand”(用左手敬礼)后完成了相应动作。

语音输入:Salute with your left hand(用左手敬礼)。

音乐能带动全身动起来。模型会跟着节奏和风格,生成步伐和上身动作。

音乐驱动的动作演示。动图无声,带音轨视频见项目主页。

视频示范也能直接用。输入的视频可以是网上片段,也可以是现场拍的。模型看着视频里人的示范,生成适合机器人执行的动作。

视频输入的真机演示。左侧小窗为参考视频,右侧为

Movens-Zero 动作生成模块会结合输入信息和机器人当前状态,规划接下来的全身动作。论文把这个生成模块定义为 “

Movens-Zero

现场交互时,人可能改口提新要求,也可能做出新的动作示范,模型得据此更新机器人接下来的动作。

Movens-Zero 把理解、生成、执行串成一条实时闭环回路。

现场视频输入:模型根据最新画面和机器人的身体状态,持续生成后续动作。

数据更多、

前面的演示说明了模型能做什么,

论文图9展示数据与模型的规模扩展情况。上半部分共六幅曲线,分别反映动作生成的学习误差、文本匹配、视频动作误差、音乐节拍对齐、语音匹配以及运动跟踪表现如何随规模变化;下半部分则给出数据量由10%升至100%过程中,不同大小模块的提升幅度。↑代表越高越好,↓代表越低越好。图片可放大查看细节。

图里横轴越往右,动作生成模块的参数越多、规模越大;不同颜色对应不同比例的训练数据。横轴的 M 表示百万参数,比如 64.2M 就是 6420 万参数。

顺着同一条曲线从左往右看,比的是动作生成模块变大后的表现;在同一横轴位置对比不同颜色的曲线,看的是同样大小的模块用上更多数据后的效果。

数据量加上去之后,动作生成和跟踪两项表现都出现了改善。

第一组实验里,团队把参数量 910.5M 的 XL 动作专家固定下来,训练数据比例分别取 1%、3%、10%、30%、100%。后一档是在前一档基础上扩充的,去重后的动作总时长由 122 小时增加到 12,231 小时,可用的动作示例也跟着变多。

训练数据比例从 1% 拉到 100%,文字要求和生成动作之间的匹配得分从 12.72% 涨到 62.57%。论文里这个指标写作 R@3,分数越高说明文字和动作对得越准。

视频输入这一项,动作误差为 69.2%,衡量的是生成动作和参考动作之间各身体关节位置的平均差距,越低越好。

语音指令和动作的匹配得分同样上升,从 13.98% 升到 74.30%,音乐节拍对齐得分(

数据从 30% 继续扩到 100% 时,模型还有提升空间:文字与动作的匹配得分再涨 20.77 个百分点,视频动作误差又降了 53.5%。

扩大

第二组实验用的是全部训练数据,分别训练 S、M、L、XL 四档动作专家,参数量依次为 64.2M、187.9M、500.1M、910.5M,从 6420 万增加到约 9.1 亿。理解文字、声音和视频的模型没动,团队只改了动作生成模块的大小。

动作专家从 S 换成 XL 后,验证集67.4%,这项指标反映动作生成的学习效果,数值越低越好。运动跟踪得分则从 0.18 升到 0.72,文字、语音、音乐、视频几类输入下的相关指标也都在往上走。

动作专家越大,从新增数据里拿到的收益越多。

图 9 下方的柱状图给出了另一组对照:训练数据同样增加,不同大小的动作专家各自能提升多少?

拿文字与动作的匹配得分 R@3 来说,训练数据同样从 10% 加到 100%,S 动作专家从 6.34% 升到 10.30%,相对提升 62.5%;XL 动作专家则从 24.92% 升到 62.57%,相对提升 151.1%。另外五项指标走势一致:参与比较的四档动作专家中,容量越大,从新增数据里获得的相对提升就越大。

这些实验说明,加数据和扩动作专家可以配合起来,让动作生成和执行表现进一步变好。训练数据越多,模型能学到的动作越丰富;动作专家越大,对这些数据的利用也越充分。

数据、模型与论文的获取入口

研究者可以拿开放的数据和模型继续做动作生成与规模扩展实验,项目主页已经提供

  • 数据集:huggingface.co/datasets/wendell0218/

  • 项目主页:movens-zero.github.io

  • 论文:

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 宇树科技与南方电网战略合作:2025机器人市场9150亿

    行业动态 具身智能最近进展:从乒乓机器人,Astra到具身智能体,你怎么看? SonyAI推出的Ace机器人系统在真实比赛中击败精英级乒乓球运动员,展现了人工智能在对抗性任务中的超常表现。GPT-6-Astra在具身智能界取得亮眼表现,但距离实用还有距离。RPent是一套开源具身智能体架构,可整合感知、推理、记忆、执行

    来源 腾讯网
  2. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  3. 美团LongCat-2.5开源:1.6万亿参数全昇腾训练20项超GPT-5.6

    美团于2026年11月15日开源LongCat-2.5权重,该1.6万亿参数MoE模型全程使用华为昇腾训练,未接触英伟达GPU,在27项测试中20项超过GPT-5.6-Sol。报道从评测数据出发,分析国产芯片对模型能力上限的影响,并探讨其在出口管制背景下的产业意义。

    来源 AI 行业观察
  4. 雷军:AI+手机与具身智能机器人空间大,三四年内或迎颠覆时刻

    IT之家 11 月 18 日消息,小米创办人、董事长兼 CEO 雷军 11 月 17 日出席 APEC 工商领导人峰会。今日(11 月 18 日),雷军接受了人民日报采访。谈及人工智能,雷军坦言,人工智能浪潮席卷各行各业,作为 AI 从业者能感受到一些焦虑。雷军认为,“AI+ 手机”“AI+ 具身智能机器人”等领域有很

    来源 腾讯网
  5. 理格万物俞涛论文:具身智能该由谁定S0/S1/S2标准

    给“机器人战场”建立新坐标。 作者: 壹小姐 编辑: Koji‍ 排版: NCon具身智能赛道,语言大模型和具身大脑模型两派,越来越融合成一条路线。11 月 16 日,关于 OpenAI 存续仅 166 天的机器人团队被撤销的报道铺天盖地。OpenAI 的潜台词是:“模型够强了,机器人不需要再单独搞”。此前,11 月

    来源 腾讯网
  6. 大寰机器人启动上市辅导:字节跳动参投,电动夹爪已进宝马供应链

    具身智能赛道的资金,正从扎堆追捧人形机器人整机本体,转向重仓上游核心部件。当不少本体公司还在依靠融资持续输血、等待通用场景落地时,一家扎根末端执行器赛道的企业,已经走到了IPO门前。 11月14日,据深圳证监局公开信息显示,大寰机器人科技股份有限公司(以下简称“大寰机器人”)于2026年11月13日正式启动上市辅导备案

    来源 AI 行业观察
  7. GPT-6.2 Astra上线:AI自主进化风险首次亮红灯?

    OpenAI首席执行官山姆·奥特曼。图片经由AI生成文丨晓静编辑丨徐青阳美国当地时间11月17日,OpenAI正式推出GPT-6.2 Astra和GPT-6.2 Sol。这场发布来得比外界预期更晚。早在10月底,就有网友从ChatGPT用量记录中扒出疑似GPT-6.2的灰测痕迹,此后模型标识和测试截图不断流出。此前媒体

    来源 腾讯网
  8. OpenAI发布GPT-6.2 Astra:性能超Claude Fable 5.2,成本仅5%

    OpenAI在Anthropic上市前夕"精准狙击",推出GPT-6.2 Astra与Sol双模型。GPT-6.2 Astra定位于复杂专业工作场景,涵盖金融建模与科学研究等领域,在多步骤专业工作基准测试中的得分较Claude Fable 5.2高出5.5分,而成本仅为后者的5%。GPT-6.2 Sol面向日常任务,成

    来源 华尔街见闻
  9. OpenAI补全粒子物理标准模型?GPT-6 Astra主导核心证明

    刚刚,OpenAI「补全」了粒子物理标准模型? 针对一个50多年来悬而未决的物理问题,GPT-6 Astra为加州大学圣塔芭芭拉分校UCSB物理学家Nathaniel Craig提供了「实质性」帮助。 作为OpenAI科学博客首篇客座文章作者,物理学家Nathaniel Craig介绍,他与GPT-6 Astra合作,

    来源 AI 行业观察
  10. Hugging Face遭AI代理攻击后,CEO为何反而力推开源

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 科技快讯
  11. OpenAI发布GPT-6.2 Astra与Sol:同任务成本仅Claude Fable 5.2约5%

    就在 Anthropic 敲钟上市的同一天,OpenAI 端出了它的“贺礼”。 11 月 18 日凌晨消息,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol 两款新模型:在复杂专业任务上,GPT-6.2 Astra 的得分超过 Claude Fable 5.2,而单任务成本只有后者的约 5

    来源 AI 行业观察
  12. 微软网安 AI 模型 MAI Cyber 2 Flash 登场:性能比肩 GPT-6 Astra

    IT之家 11 月 18 日消息,微软 AI 部门于 11 月 17 日发布全新专用安全模型 MAI Cyber 2 Flash,定位为面向企业安全团队的“高性价比”网络安全 AI。该模型旨在帮助安全人员全天候发现软件漏洞、推荐修复方案并调查网络威胁,同时显著降低大规模使用 AI 的算力与成本。微软称,MAI Cybe

    来源 腾讯网
  13. OpenAI发布GPT-6.2 Astra与Sol:Anthropic IPO定价前夜,成本大降

    IT之家 11 月 18 日消息,就在 Anthropic IPO 定价前一天,OpenAI 突然毫无预兆地送上了一份“惊喜”。 OpenAI 今日正式发布了最新的 GPT-6.2 Astra 和 GPT-6.2 Sol 模型,重点提升专业工作、编程、计算机操作及多步骤智能体任务的表现,同时降低完成任务所需的输出 To

    来源 AI 行业观察
  14. OpenAI 发布 GPT-6.2 Astra和Sol:超越Fable 5.2,金融、科研刷新纪录

    IT之家 11 月 18 日消息,就在 Anthropic IPO 定价前一天,OpenAI 突然毫无预兆地送上了一份“惊喜”。OpenAI 今日正式发布了最新的 GPT-6.2 Astra 和 GPT-6.2 Sol 模型,重点提升专业工作、编程、计算机操作及多步骤智能体任务的表现,同时降低完成任务所需的输出 Tok

    来源 腾讯网
  15. Astra for Law登顶LAB-AA:20.8%全通过率,幻觉率0.03次

    OpenAI于2026年11月17日发布Astra for Law 6.2,这是一个基于GPT-6.2 Astra的法律专项配置。在Harvey与Artificial Analysis联合开发的LAB-AA v1.1基准中,该模型以20.8%的全任务通过率位列第一,覆盖24个法律执业领域的120项私有任务,材

    来源 AI 科技快讯
  16. 795美元吊顶机械爪Stringman:三娃奶爸把卧室变抓娃娃机

    “ 从天上帮你捡杂物。前不久,Figure AI 把搭载 Helix 2.5 的 Figure 03放进30套没见过的住宅,不采集现场数据,也不做模型微调。其整理客厅、叠毛巾、铺床三项任务的整体完整成功率是56%,其中整理玩具为40%——这就是目前行业前沿的成绩。斯坦福《AI Index 2026》显示,受控仿真环境下

    来源 腾讯网
向下滚动自动加载更多