港科大等提出DexRoam：用人类第一视角示范教机器人移动双臂操作
双手提起水果篮，转身，将它送到另一张桌子前。对人来说，这只是一个普通的日常动作；但对机器人而言，却需要移动底盘、躯干、双臂、头部和灵巧手的持续协调。要让机器人学会这样的全身操作，需要大量高质量的示范数据。然而，随着移动能力与灵巧手的引入，机器人遥操作示范的采集愈发复杂，甚至需要多名操作者协同完成。人类日常操作中，恰好蕴
拿起水果篮、转身、送到另一张桌上——人做这套动作几乎不用想，可换成机器人，底盘、躯干、双臂、头部和灵巧手就得一刻不停地配合。想让它学会这类全身操作，离不开大量高质量示范数据。问题是，移动能力和灵巧手一加进来，遥操作示范的采集就变得麻烦起来，有时还得几名操作者一起上。
人平时干活，本身就积累了不少全身协同的经验。那能不能把这些人类示范直接拿来用，帮机器人掌握复杂的移动双臂灵巧操作？
香港科技大学、北京智源研究院、北京大学等机构的联合团队盯上的就是这个方向，提出 DexRoam，搭起一套完整系统：从第一视角采集人类示范，到全身动作对齐，再到机器人策略学习和真机执行。该工作已被 CoRL 2026 接收。
DexRoam 想解决的是人机动作差异，同时又不丢掉人类示范里那种连续、精细的全身协同关系。这样一来，人类数据就能和机器人数据一起用于策略训练，复杂移动双臂灵巧操作的数据来源更宽，对高成本机器人遥操作示范的依赖也能降下来。
论文标题：DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
arxiv 链接：https://arxiv.org/abs/2609.35761
项目主页：https://dexroam.github.io/
采集对齐代码链接：https://github.com/zhourui9813/DexRoam
策略训练代码链接：https://github.com/zhourui9813/DexRoam-Policy-Training
视频链接：https://mp.weixin.qq.com/s/n85xt5c1JGEyQ6ztMVPT_Q
方法框架：从人类全身示范到机器人策略学习
先看数据采集。团队不想依赖外部动捕设备，于是做了一套便携式第一视角全身采集系统。
示范者戴上 Meta Quest 3 头显和头戴式 ZED Mini 双目相机就行，第一视角视频、全身关节运动、手部关键点都能同步记下来，外部摄像头、环境标记、额外的身体追踪器统统不需要。相机画面还会实时显示在头显里，采集时看到的画面，和后面策略训练用的视觉观测保持一致。
机器人这边，团队另搭了一套单人全身遥操作系统：VR 头显、控制器加数据手套，就能同步控制机器人的底盘、躯干、双臂、头部和灵巧手。两套系统一个出人类示范，一个出机器人示范，为后面的联合学习备好数据。
跨越人机差异，保留连续全身协同
人机差异要克服，连续的全身协同动作又不能丢。为此 DexRoam 把对齐拆成三步：本体对齐、动作语义对齐、时间对齐。
第一步是本体对齐，也就是在人和机器人之间建立动作映射。
人和机器人的身体结构不一样，DexRoam 以人体骨盆为参考建坐标系，把人的移动、躯干、双臂和头部运动对应到机器人的相应部件上，手部则通过重定向生成灵巧手指令，全身动作的相对运动关系得以保留。
第二步是动作语义对齐，让人类和机器人的动作表达统一起来。
光做完本体映射还不够，动作里仍带着人体身高、臂长、初始姿态这些差异。DexRoam 把底盘、躯干和双臂运动进一步表示成相对动作表征，减少对绝对姿态的依赖，两类示范的控制含义就一致了。
第三步是时间对齐，把人跟机器人的执行节奏对上。
人和机器人执行速度不同，DexRoam 就按任务进度对人类轨迹重新采样，原有运动轨迹保留下来，时间尺度向机器人示范看齐，时序监督因此更一致。
从人类示范中学习移动灵巧操作
三阶段对齐做完，人类和机器人示范就能走统一的观测—动作接口，一起参与 VLA 策略训练。模型结构不用为人类数据额外改动，移动与灵巧操作之间的协同关系可以直接从人类示范里学。
团队选了两个 VLA 模型：GR00T N1.7 和π₀.₅，并试了三种训练策略——人机联合训练、人类预训练后用机器人数据微调、人类预训练后人机联合微调，看这套框架在不同模型和训练方式下是否都站得住。
实验结果：DexRoam 从动作迁移到真机学习
先看人类动作能不能真正适配机器人。
团队首先检验 DexRoam 的人机动作对齐效果。图 3 的 PCA 可视化里，只做本体重定向时，两类动作分布差别还很明显；完整对齐之后，分布重叠的程度明显上去了。
图 4 对齐前后人机动作分布差异的 MMD 与 SWD 指标对比
定量测试里，MMD 与 SWD 两项指标平均分别下降 41.7%和 31.1%；转换后的人类轨迹还能在真机上顺利回放。
这组数据说明 DexRoam 的三阶段对齐方法确实奏效：人类动作到了机器人身上依然可执行，人机之间的动作分布差距也被拉近，联合策略学习由此拿到更一致的动作监督。
让人类经验转化为真机能力
图 5 DexRoam 主要实验结果，GR00T N1.7 与π₀.₅在五项任务上的成功率与任务完成度对比
真机实验用来检验 DexRoam 的策略学习效果。图 5 显示，两个 VLA 模型、五项任务上，三种引入人类示范的训练策略都拿到了性能提升。效果最好的是「人类预训练＋人机联合微调」：GR00T N1.7 的平均成功率由 29%升到 56%，π₀.₅则由 32%升到 57%。
成功率之外，人类示范还带给机器人新的操作方式。拿取薯片罐时，只用机器人数据训练的策略多从正面抓，物体朝向一变就容易将其碰倒；引入人类示范后，机器人会看物体朝向改从侧面抓。这个动作只出现在人类示范里，机器人训练数据中并没有，人类操作经验如何拓宽机器人学到的动作模式，由此可以直观看到。
让有限的机器人示范发挥更大价值
DexRoam 的另一项潜力是压低机器人数据需求。团队固定人类示范的数量，把机器人示范一点点减下去做训练。
图 6 的结果是：两个 VLA 模型上，人类示范加上减半的机器人数据，任务表现仍与完整机器人数据的基线接近。也就是说，在上述实验设置下，对齐后的人类示范能顶替约 50%的高成本机器人遥操作数据，任务表现不掉队。
少样本实验同样给出信号：只加少量机器人示范，策略表现就明显上扬。人类操作经验配上有限的机器人数据，价值正在这里。
总结：从人类示范走向移动全身灵巧操作
DexRoam 证明了人类数据在复杂全身操作里的潜力。移动灵巧操作要求底盘移动、双臂配合与精细手指控制持续协同，即便如此，人类示范也能跨过本体差异，直接成为机器人学习的动作监督。机器人学到的不再是孤立的抓取或移动，而是贯穿整个任务的连续全身协同。
这也给机器人数据规模化指了个新方向。人类数据的价值不只是丰富的视觉和任务信息，更在于其中大量细粒度、彼此关联的全身动作经验。这些经验一旦能有效迁移到机器人上，复杂移动灵巧操作的学习就有望慢慢摆脱对高成本全身遥操作数据的依赖，更大规模的机器人技能学习也因此多了一种可能。
眼下团队已把 DexRoam 的采集与对齐代码、策略训练代码开源，供后续研究使用。
