苹果HALO人形机器人控制系统亮相,已在宇树G1上完成真机验证
11月4日,苹果研究团队在arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开人形机器人自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。研究团队还公开了数据生成、模型训
11月4日,苹果研究团队在arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开了人形机器人自主控制系统HALO。这套系统被部署到宇树科技的G1人形机器人上做验证,目的很直接:让机器人在仿真环境里学会的动作,能拿到陌生的现实房间中去执行。数据生成、模型训练和部署代码也一并公开,动作生成、动作跟踪、任务编排以及仿真与真实机器人运行这些环节都包含在内。
HALO执行任务时靠三个层级配合。最上面一层是任务编排模块,基于视觉语言模型(VLM),默认用千问Qwen3.6-35B-A3B,跑在机器人搭载的Mac mini上,本地运行,和动作生成器共用一个模型服务引擎,不联网也能干活。系统也可以走API调用云端模型,换取更强的推理和规划能力。
论文披露的测试数据是这样的:6个未预先扫描或建图的真实环境里,单项任务做了360次测试,平均成功率91%。另一个真实环境中,3种组合任务各测10次,平均成功率70%。其中“俯身通过障碍—走向目标—推箱子”这组组合的成功率是50%。
训练数据的合成用了250张英伟达H100 GPU,耗时约48小时。动作生成器靠模仿学习训练,用的是64张B200;动作跟踪器则经过强化学习、策略蒸馏等步骤,使用4张H100。