苹果披露人形机器人HALO：成功率91%，千问模型驱动宇树G1

此次披露的成果，是一套叫人形机器人自主完成动作的控制系统HALO。

当地时间11月4日，相关论文《Perceptive Humanoid Motion from Simulation》被提交至预印本平台arXiv。团队把HALO装进宇树科技的G1人形机器人，让它在仿真环境里学会的动作，拿到陌生的真实房间中去执行。

与论文一同放出的还有数据生成、模型训练和部署代码，动作生成、动作跟踪、任务编排，以及仿真与真机运行这些环节都包含在内。

在多个真实场景中，搭载HALO的宇树G1演示了钻桌底、坐上沙发、推箱子等任务。图片来源：HALO研究团队

项目页面上的演示里，机器人能按指令推箱子、跟着人走、坐到椅子上，还会侧身挤过半开的门，俯身或爬行从桌下穿过。要完成这些，机器人得看懂周围环境，再根据空间条件调整身体姿态。

任务执行靠的是三个层级的协同控制。最上面一层是任务编排模块，基于视觉语言模型（VLM），默认用千问Qwen3.6-35B-A3B，跑在机器人自带的Mac mini上，本地运行，与动作生成器共用模型服务引擎，不联网也能干活。系统也留了另一条路：通过API调用云端模型，换取更强的推理和规划能力。

这一层要处理指令里含糊的地方，再按环境安排动作。“坐下”就没说坐哪儿，机器人得自己从眼前场景里判断；“坐到椅子上”在路畅通时可以直接执行，可一旦有桌子挡道，就得拆成俯身通过、接近椅子、坐下等一连串子任务。任务编排模块借助机器人视角的视频持续观察环境，判断当前动作成没成，据此推进计划或重试，每次只给动作生成器下达一个明确的子任务。

中间负责动作生成的是另一款千问模型Qwen3.5-2B。团队把它当作参数冻结的编码器，配上生成动作的DiT解码器，依据机器人看到的画面和当前子任务，规划未来约5秒的全身动作。这一层每秒重新规划约3次，动作计划能跟着环境变化不断更新。

最底下是动作跟踪器，经过强化学习、策略蒸馏等步骤训练，以每秒50次的频率运行，把深度图像和机器人自身状态结合起来，将动作计划转成关节控制指令。

任务安排、动作规划、身体控制，三层各管一摊，合起来走完从听懂指令到做出动作的全过程。

图片来源：HALO项目页面截图拼接。这套控制架构分成三层：视觉语言模型管的是任务编排，全身动作由动作生成模块来规划，关节层面的控制则交给经强化学习训练的动作跟踪器执行。

论文披露的测试数据是：6个没有预先扫描或建图的真实环境，360次单项任务测试，平均成功率91%。另有1个真实环境，3种组合任务各测10次，平均成功率70%；其中“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。

机器人完成任务所需的数据从哪来，正是这项研究要解决的问题。团队在1000个由程序生成的模拟家庭环境中，合成了约300小时主要训练数据，把机器人“看到什么”“接到什么指令”“如何运动”三者配对。

做法是先有动作，再把动作放进虚拟房间，最后从机器人视角渲染画面。项目页面拿“坐到扶手椅上”举例：拆成向前走、转身、坐下等片段，动作生成模型按文字提示、路径点和关键姿态生成动作序列，再用几何检查筛一遍，减少脚部滑动、身体穿入地面之类的问题。

接着，系统把动作安排进程序生成的房间，核对机器人与家具的位置关系，找出不碰撞的摆放方案，然后用仿真工具渲染机器人执行动作时看到的画面。训练中光照、色调、画面模糊程度等条件也会变，视觉输入因此更加多样。同一套流程跑下来，指令、视觉画面和全身动作的配套数据就齐了。

HALO的合成数据生成与训练流程：先生成动作轨迹，放进虚拟场景，再渲染机器人视角的画面，形成配套训练数据，用于训练动作生成器和动作跟踪器。图片来源：HALO论文

据团队介绍，合成主要训练数据动用了250张英伟达H100 GPU，耗时约48小时；动作生成器用64张B200做模仿学习训练；动作跟踪器则用4张H100，经强化学习、策略蒸馏等步骤训练。

仿真数据其实没能完全甩开人工。团队表示，要新增物理任务，仍得有人写提示词、设计动作关键帧，部分动作还用了人类视频或动捕素材。

团队同时指出，机器人现在主要靠视觉感知，接触情况难以直接感知；物体移出相机视野或被遮挡时，涉及较多接触的任务表现就会下滑。加入触觉感知，是后续改进方向之一。