苹果公开HALO人形机器人系统:360次测试平均成功率91%
研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。
当地时间 11 月 4 日,苹果研究团队在预印本平台 arXiv 上提交了一篇论文,题为《Perceptive Humanoid Motion from Simulation》,人形机器人自主控制系统 HALO 由此对外披露。

随论文一同公开的还有数据生成、模型训练和部署代码,动作生成、动作跟踪、任务编排,以及仿真与真机运行等环节都包含在内。论文提到,团队在 6 个事先没有扫描、也没有建图的真实环境里做了 360 次单项任务测试,平均成功率达到 91%。

长序列复合任务方面,团队在单一真实场景中每种组合各测 10 次,3 种组合的平均成功率为 70%。最复杂的一项“俯身通过障碍 — 走向目标 — 推箱子”,10 次里成功 5 次,成功率 50%。
训练数据的合成用了 250 张英伟达 H100 GPU,耗时约 48 小时。其中动作生成器以模仿学习方式训练,调用 64 张 B200;动作跟踪器则经过强化学习、策略蒸馏等步骤,使用 4 张 H100。

仿真数据并没有完全绕开人工。团队表示,新增物理任务时仍要人工编写提示词、设计动作关键帧,有些动作还借用了人类视频或动捕素材。
团队也提到,机器人眼下主要靠视觉感知,接触情况很难直接察觉。物体一旦离开相机视野或者被遮挡,涉及较多接触的任务表现就会下滑。引入触觉感知被列为后续改进方向之一。