• 论文链接：https://arxiv.org/abs/2610.35075

• 项目主页：https://young-bit.github.io/zero-hlm/

• 代码地址：https://github.com/BIGAI-General-Vision-Lab/Zero-HLM

人形机器人去年还靠跳舞、奔跑博眼球，今年大家已经开始指望它们进工厂、进家庭干实事。这就不只是会动，还得边走边操作，双手、双腿和身体得配合起来完成任务。可训练一个具备泛化能力的全身移动操作模型，通常离不开大量真机示范；起点、物体位置或者任务配置一变，往往还要补采数据，人力和设备投入跟着往上走。

那么，教人形机器人干活，真有必要采集这么多真机示范吗？能不能让它在仿真里先攒经验，再回到现实中把活干完？

Real2Sim2Real 给出的就是这条路径：把真实场景重建为仿真环境，在里面生成示范、训练策略，再把技能迁回真实机器人。不过，这条路要撑起人形机器人的全身操作，还有两道门槛得跨过去。

头一道坎，是把真实场景改造成能拿来训练的环境。光长得像不够，尺寸、位置得对上，碰撞体和关节也得配好。人形机器人要四处走动、要蹲下，场景就得撑得住视角变化和接触关系的变化，建模和调试的麻烦随之往上走。

第二道坎，是在环境里高效产出可执行的全身示范。人形全身控制要同时管平衡、接触和动作跟踪，规划出来的动作未必落得了地；站位偏一点、手部轨迹歪一点，抓取就可能扑空，数据生成的效率也就被拖得很低。

问题到这里就摆明了：怎样从真实场景搭出靠谱的物理交互环境，再生成能跑通的全身操作示范，让人形机器人只靠仿真任务训练，就能在现实中把活干成、还能应付变化？

北京通用人工智能研究院联手北京理工大学、清华大学和德塔智能，近期拿出了 Zero-HLM。起点是手机采集的场景，系统拿高斯重建当参照，让 GPT-Astra 去对齐场景几何、配置碰撞与关节，搭出一个外观贴近真实、又能做物理交互的训练环境。

环境搭好之后，Zero-HLM 以源示范为起点生成全身任务动作，再借助全身控制器的执行反馈，把动作和场景放到一起调，实际执行中的偏差由此得到修正，少量源示范也就长成了不同配置下经过执行验证的成功轨迹。

按这套做法，45 条仿真源示范被扩成了 4,800 条可执行数据。只用仿真数据做任务训练，策略就能零样本迁到宇树 G1 上，完成三类长程全身操作任务。五种泛化设置下汇总成功率达到 69%，真机示范训练基线则是 23%。

团队还把 Zero-HLM-Bench 开源了，其中包含三个长程任务、九个技能阶段，为不同策略提供统一评测接口。

Zero-HLM 从仿真走向真实世界的表现概览。

01 / 在仿真里教机器人干活，难在哪儿？

教机器人把桌上的东西抓起来，本身就不轻松。要它先走到桌边、蹲下去捡、再站起来搬，甚至用脚去碰物体，麻烦又多出一层。

头一个麻烦是，机器人眼里的世界一直在变。走动和下蹲会挪动头部相机的位置，也会换掉视角。训练场景既要从各个角度看都接近现实，又得支持抓取、放置、关门这些物理交互。

再一个麻烦是，规划出来的动作不一定执行得了。全身控制器要同时照顾动作跟踪、身体平衡和接触约束。走到目标附近时，位置或朝向差上一点，后面的抓取就可能落空。

于是摆在仿真训练面前的是两道坎：场景不光得看着像真的，还得让物理交互靠得住；生成出来的动作，也要经过执行成功与否的检验。

图 1｜Zero-HLM 整体框架：场景重建、示范生成、执行验证与真机部署。来源：论文 Figure 2。

02 / 手机拍下的场景，怎样变成训练环境？

流程的第一步，是用手机拍下多角度画面，做高斯重建，给这间真实房间搭出一个可以换视角查看的数字副本。

不过光「看着像」还不够。机器人要在这个环境里动手干活，就得有能参与碰撞的几何结构，柜门这类物体还得带上运动关节和物理属性。

接下来，GPT-Astra 拿重建结果当参照，反复修正家具和物体的形状、位置，再把碰撞、关节这些物理信息配上去，让视觉场景和物理场景对得上。机器人眼里那张桌子，必须和它真正碰到的桌面是同一个位置。

从手机采集到可交互仿真场景：以高斯重建为视觉参照，逐步构建并校验物理场景。

03 / 动作执行偏了，数据生成也要跟着调整

场景就绪后，团队先让人在仿真里遥操作机器人，每个任务攒下 15 条成功示范，三个任务合计 45 条。有了这些源示范打底，Zero-HLM 会依据新的起点、物体和目标位置去改交互动作、重排移动路径，从而产出新的示范数据。

更关键的一环，是生成的动作要交给部署时用的那套全身控制器，在仿真里真跑一遍。平衡有没有守住、碰撞是否合理、任务做没做完，逐项都要过。

一旦执行跑偏，Zero-HLM 就借执行反馈，把仿真中的场景配置和参考动作放在一起调整。

拿站位来说，机器人站的位置有偏差，系统就去挪动相关物体，把所需的相对关系找回来；手腕高度对不上，则对参考动作做补偿。

这类调整都发生在数据生成环节，做完还得重新跑一遍、再验证。只有执行成功的轨迹才被收进训练集。

从源示范到新轨迹，中间要经过动作合成、物理执行验证，以及依据执行反馈对场景和动作做的调整。

到了最后一步，系统按照实际执行轨迹生成第一视角画面，再与动作配对。背景采用高斯渲染，机器人和交互物体则走仿真渲染，图像因此能同时体现真实外观与执行过程中的变化。

就这样，45 条源示范被扩展为 4,800 条成功示范。整个扩展和验证流程自动完成，不需要额外人工介入，也不必为新配置重新采集示范。

04 / 只用仿真任务数据训练，上真机表现如何？

团队拿这些生成数据训练预训练模型 GR00T N1.7，随后经 SONIC 全身控制器部署到 G1 上。模型依据第一视角图像、机器人状态和任务指令预测动作，控制器再把动作转成身体运动。

真机实验设了三类任务：走到桌前把香蕉放进篮子；蹲下拾起帽子并移到柜子上；双手搬果篮、用脚关门，最后把果篮放到凳子上。

图 2｜三类真机任务及其基础、扩展配置。来源：论文 Figure 9。

评测分基础配置和扩展配置两档。基础配置对应真实示范的采集范围；扩展配置则改动机器人的起点、抓取与放置位置，以及物体—目标组合，用来考察策略能否适应这些变化。这些配置变化通过仿真数据扩展被纳入训练，模型的适应能力最终在真实机器人上验证。

4,800 条数据的构成是：基础配置 2,400 条，三个任务各 800 条；Task A/B 任务的扩展配置合计 1,600 条；另有 Task A 下物体—目标组合变化的 800 条。

除了真实数据基线，团队还搭了一个 GPT-6 Astra 数据生成基线：由大模型生成并调试仿真数据采集程序，再用产出的示范训练同一个策略模型。

Real、Sim、Astra 三条路线，每个任务依次用了 100 条、800 条和 100 条示范。其中 Astra 只拿到任务 A 和任务 B 的数据。

右边那张图按官网的四类设置做了汇总，Tabletop 一项把抓取位置与放置位置的测试合并在一起。数据出自论文 Tables 8–9。

基础配置下，大家用的都是每任务 100 条示范。仿真数据训练出来的平均成功率是 43.3%，真实数据是 46.7%，两边表现差不多。

仿真示范加到每任务 800 条后，平均成功率升到 66.7%，比 100 条真实示范那条基线高出 20 个百分点。三项任务各自达到 60%、75% 和 65%。这组数字说明扩展仿真数据确实有收益，不过比较双方的数据量并不对等。再看 Astra，它训练出的模型在香蕉和帽子两项任务上成功率只有 20% 和 0%，搬筐任务干脆没生成可用的成功示范。大模型眼下要产出能稳定执行的人形机器人全身操作示范，还有难关要过，物理执行反馈和任务成功验证这两样尤其得结合进来。

扩展配置下，五项设置一共跑了 100 次真机测试。真实数据基线成功 23 次，扩展仿真数据训练的模型成功 69 次，汇总成功率从 23% 升到 69%。

换掉起点以后，香蕉任务的成功率达到 71.4%，帽子任务是 70%；再换抓取和放置位置，两项分别是 67.5% 和 50%。物体与目标组合变化的那 5 次测试全部成功，真实数据基线只成功 1 次。各项与基线的对比都在上图里。

仿真扩展的好处在这儿：新配置能很快先塞进训练里，让模型适应真实示范没覆盖到的变化，真机示范也就少补采一些。

真机对比：不同训练数据下模型的泛化能力。

Zero-HLM 在真实环境里连续泛化的表现。

05 / 从一次演示，走向可重复的训练与评测

团队同时拿出了 Zero-HLM-Bench，把三个长流程任务切成九个技能阶段。有了统一接口，π₀.₅、GR00T N1.7 和 DiT4DiT 这些不同策略就能放在一起比较。

评测不光看整件事最终有没有办成，还要看机器人在哪一步卡住。研究者把起点和物体位置换着来，就能判断问题出在移动、抓取、搬运还是放置环节，然后有针对性地补数据、改模型。

图 4｜不同起点与物体位置下的技能阶段评测。来源：论文 Figure 12。统一的环境、数据接口和评测协议，也让模型之间的比较、数据规模的研究更容易复现。

在统一评测协议下，GR00T N1.7 的平均完整任务成功率达到 69.7%，DiT4DiT 和 π₀.₅ 分别是 64.0% 和 59.0%。帽子搬运任务上 DiT4DiT 拿到 80%，是三者中最好的。

图 5｜不同模型在 Zero-HLM-Bench 中的完整任务成功率（仿真评测）。每个模型、每项任务测试 100 次，Mean 为三个任务的算术平均。数据来源：论文 Table 13。

06 / 未来研究

Zero-HLM 给出了一条用 Real2Sim2Real 开发可泛化人形机器人全身操作技能的路子：从真实场景起步，在仿真里生成示范、训练策略，再迁回真实机器人，真机任务示范数据不用采。

不过仿真和现实之间的差距还在。诊断实验表明，仿真动作监督有迁移价值，视觉域差异依然是主要瓶颈。把真实数据和仿真数据混着用，也没能自然换来最好表现。两类数据的视觉分布怎么对齐、训练过程怎么协调，还需要继续摸索。

眼下的验证只覆盖三类任务以及它们的配置变化。要面向家庭和工厂，还得看更多物体、更长的流程，以及环境变化和外部扰动下稳不稳。