浙大与宇树开源500万条机器人预训练数据:总时长超1万小时
浙江大学与宇树科技具身智能联合实验室等团队从海量互联网人类视频中构建并开源了预训练数据集 Movens-5M,收录 500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时。数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。团队将文字指令、视频示范、语音和音
浙江大学与宇树科技具身智能联合实验室等团队从互联网海量人类视频里构建出一套预训练数据集,并已开源。这套数据收录500万条机器人动作,全部经过仿真执行验证,总时长超过1万小时。
数据覆盖297种细分动作,行走、深蹲、拖地、拳击都在其中;场景归为16类,包括居家生活、健身训练、户外休闲等。
团队把文字指令、视频示范、语音和音乐与机器人动作配对,做了多模态对齐,还给出分时段、分身体部位的动作说明。研究者拿这些数据训练模型,可以让模型学会不同形式的输入各自对应什么动作。
用这套数据训练出的动作模型名为Movens-Zero,它能依据上述四种输入生成机器人全身动作。团队在
人类擦门的视频,如何变成机器人训练数据?
一段能拿来训练模型的视频,除画面之外还得带上什么?先看一条清洁视频。
画面里,人物俯身擦门板中下部,接着慢慢起身,把手臂抬向高处。这条记录用四路画面呈现:原始视频、从视频中还原的人体三维动作、转换后适合G1的动作,以及模拟环境中G1的执行结果。
清洁数据案例。四列依次为原始视频(Original Video)、人体动作(Recovered Motion)、G1参考动作(G1 Reference)、G1模拟执行(G1 Tracking)。
流程是先估计出视频中人的三维动作,再按照机器人的身体结构做调整。之后让模拟环境里的G1执行调整后的动作,检验机器人能不能稳定做完。
记录还配了文字说明,讲清各时间段内各个身体部位在做什么。这段7.25秒的视频分成三个阶段:0–4秒,人物俯身,左手拿绿色清洁布在门板中下部来回擦拭,右臂弯曲置于身后;4–6秒,人物逐步直起上身,左臂跟着擦拭位置抬高;6–7.25秒,双臂向上抬起,伸向门板较高处。
这些文字相当于视频的分步讲解,记下了人物何时弯腰、哪只手在擦、何时起身抬臂。每一步说明都对应画面和机器人动作,模型借此学会按文字要求生成动作。
数据里也有和物体打交道的内容,哑铃训练、杠铃硬拉便是例子。哑铃训练含弯举和俯身;杠铃硬拉含上身前倾、缓缓放低杠铃、再重新站直。画面呈现了手臂、双腿与躯干如何配合。
物体交互数据示例:哑铃训练、杠铃硬拉的人体动作与 G1 动画对照。杠铃 G1 画面为参考动作回放。
海量视频怎么变成500万条机器人动作?
清洁与物体交互的案例,说明单条数据如何把视频、文字说明和机器人动作串起来。要把样本做到500万条,团队得有一套批量处理海量视频的自动化流水线:既识别人的动作,也把动作转成机器人能稳定执行的轨迹。
人一旦被遮挡,或者镜头晃动,动作判断就会受干扰。人和机器人的身体比例不同,关节活动角度也不一样,机器人动起来还得保持平衡。所以系统先按机器人的身体结构调整动作,再验证它能否稳定执行。
团队搭出的自动化数据处理流水线分为片段生成、质量筛选、语义标注、动作恢复等阶段,Movens-5M
片段生成(Clip Generation):流水线第一步按镜头边界把长视频切开,得到连续片段,并保留来源信息。
质量筛选(Quality Filtering):系统核对画面质量、人物是否清晰可见、动作信息够不够,不合格的素材被筛掉。
语义标注这一步,系统会给视频补上场景和动作说明,按时间段讲清各个身体部位怎么变,并把片段对应的文字、能用的语音和音乐信息一并整理好。
动作恢复则从画面里推算人体的三维姿态,把身体随时间运动的过程记录下来。
物理精修环节,系统先查动作里的抖动、失稳等毛病并修掉,再按 G1 的身体结构对动作做调整,最后放到模拟环境里验证机器人能不能稳稳执行。
整套流水线跑下来,团队攒出了含 1500 万条人体动作、500 万条机器人动作的数据集合,行为数据超过 1 万小时。每段动作在不同时间怎么变、身体各部位怎么动,文字说明里都有记录。
有了这些配对数据,模型就能学:拿到一条文字或语音指令、一段音乐或视频示范,机器人该做什么动作。
靠这批数据,一个模型可以响应全模态输入
团队用这些配对数据训练
用文字也能指挥它。演示里输入 “Dance some hip-hop”(跳一段嘻哈舞蹈),模型就生成了对应动作,不用再给参考视频。
文本输入:Dance some hip-hop(跳一段嘻哈舞蹈)
口头下指令同样行得通。演示中,机器人听到 “Salute with your left hand”(用左手敬礼)后完成了相应动作。
语音输入:Salute with your left hand(用左手敬礼)。
音乐能带动全身动起来。模型会跟着节奏和风格,生成步伐和上身动作。
音乐驱动的动作演示。动图无声,带音轨视频见项目主页。
视频示范也能直接用。输入的视频可以是网上片段,也可以是现场拍的。模型看着视频里人的示范,生成适合机器人执行的动作。
视频输入的真机演示。左侧小窗为参考视频,右侧为
Movens-Zero 动作生成模块会结合输入信息和机器人当前状态,规划接下来的全身动作。论文把这个生成模块定义为 “
Movens-Zero
现场交互时,人可能改口提新要求,也可能做出新的动作示范,模型得据此更新机器人接下来的动作。
Movens-Zero 把理解、生成、执行串成一条实时闭环回路。
现场视频输入:模型根据最新画面和机器人的身体状态,持续生成后续动作。
数据更多、
前面的演示说明了模型能做什么,
论文图9展示数据与模型的规模扩展情况。上半部分共六幅曲线,分别反映动作生成的学习误差、文本匹配、视频动作误差、音乐节拍对齐、语音匹配以及运动跟踪表现如何随规模变化;下半部分则给出数据量由10%升至100%过程中,不同大小模块的提升幅度。↑代表越高越好,↓代表越低越好。图片可放大查看细节。
图里横轴越往右,动作生成模块的参数越多、规模越大;不同颜色对应不同比例的训练数据。横轴的 M 表示百万参数,比如 64.2M 就是 6420 万参数。
顺着同一条曲线从左往右看,比的是动作生成模块变大后的表现;在同一横轴位置对比不同颜色的曲线,看的是同样大小的模块用上更多数据后的效果。
数据量加上去之后,动作生成和跟踪两项表现都出现了改善。
第一组实验里,团队把参数量 910.5M 的 XL 动作专家固定下来,训练数据比例分别取 1%、3%、10%、30%、100%。后一档是在前一档基础上扩充的,去重后的动作总时长由 122 小时增加到 12,231 小时,可用的动作示例也跟着变多。
训练数据比例从 1% 拉到 100%,文字要求和生成动作之间的匹配得分从 12.72% 涨到 62.57%。论文里这个指标写作 R@3,分数越高说明文字和动作对得越准。
视频输入这一项,动作误差为 69.2%,衡量的是生成动作和参考动作之间各身体关节位置的平均差距,越低越好。
语音指令和动作的匹配得分同样上升,从 13.98% 升到 74.30%,音乐节拍对齐得分(
数据从 30% 继续扩到 100% 时,模型还有提升空间:文字与动作的匹配得分再涨 20.77 个百分点,视频动作误差又降了 53.5%。
扩大
第二组实验用的是全部训练数据,分别训练 S、M、L、XL 四档动作专家,参数量依次为 64.2M、187.9M、500.1M、910.5M,从 6420 万增加到约 9.1 亿。理解文字、声音和视频的模型没动,团队只改了动作生成模块的大小。
动作专家从 S 换成 XL 后,验证集67.4%,这项指标反映动作生成的学习效果,数值越低越好。运动跟踪得分则从 0.18 升到 0.72,文字、语音、音乐、视频几类输入下的相关指标也都在往上走。
动作专家越大,从新增数据里拿到的收益越多。
图 9 下方的柱状图给出了另一组对照:训练数据同样增加,不同大小的动作专家各自能提升多少?
拿文字与动作的匹配得分 R@3 来说,训练数据同样从 10% 加到 100%,S 动作专家从 6.34% 升到 10.30%,相对提升 62.5%;XL 动作专家则从 24.92% 升到 62.57%,相对提升 151.1%。另外五项指标走势一致:参与比较的四档动作专家中,容量越大,从新增数据里获得的相对提升就越大。
这些实验说明,加数据和扩动作专家可以配合起来,让动作生成和执行表现进一步变好。训练数据越多,模型能学到的动作越丰富;动作专家越大,对这些数据的利用也越充分。
数据、模型与论文的获取入口
研究者可以拿开放的数据和模型继续做动作生成与规模扩展实验,项目主页已经提供
数据集:huggingface.co/datasets/wendell0218/
项目主页:movens-zero.github.io
论文: