苹果HALO机器人:360次测试成功率91%
IT之家 11 月 7 日消息,当地时间 11 月 4 日,苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统 HALO。研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿
当地时间11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开了人形机器人自主控制系统HALO。
随论文一同放出的还有数据生成、模型训练和部署代码,动作生成、动作跟踪、任务编排以及仿真与真实机器人运行等环节都包含在内。
论文披露的测试情况是:团队在6个未预先扫描或建图的真实环境中做了360次单项任务测试,平均成功率91%。长序列复合任务则在单一真实场景中各测10次,3种组合平均成功率70%;其中“俯身通过障碍 — 走向目标 — 推箱子”这一最复杂的组合10次里成功5次,成功率50%。
训练数据的合成用了250张英伟达H100 GPU,耗时约48小时。动作生成器以模仿学习方式训练,用的是64张B200;动作跟踪器则经过强化学习、策略蒸馏等步骤,使用4张H100。
仿真生成数据其实还没能完全脱离人工。团队表示,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还动用了人类视频或动捕素材。
研究团队同时指出,机器人目前主要靠视觉感知,难以直接感知接触情况。物体离开相机视野或被遮挡时,涉及较多接触的任务表现就会下降。加入触觉感知是后续改进方向之一。
相关链接:
- 论文:https://arxiv.org/abs/2611.06908
- 项目主页:https://apple-aiml-research.github.io/ml-halo/
- GitHub 仓库:https://github.com/apple-aiml-research/ml-halo