苹果HALO系统：宇树G1实测360次任务，成功率91%
IT之家 11 月 7 日消息，当地时间 11 月 4 日，苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》，披露了人形机器人自主控制系统 HALO。 研究团队还公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及
当地时间11月4日，苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，公开了人形机器人自主控制系统HALO。
与论文一同放出的还有数据生成、模型训练和部署代码，动作生成、动作跟踪、任务编排，以及仿真与真机运行等环节都包含在内。
实际部署时，团队用的是宇树科技G1人形机器人。机器背部加装了专用3D打印保护外壳，里面塞进一台Mac mini（M4 Pro芯片，64GB统一内存）。这台Mac mini在机载端承担实时推理，负责计算开销较大的Orchestrator（VLM）与Motion Generator（DiT）；G1自带的板载芯片则专注高频运行的Tracker（RL策略网络）。
HALO执行任务靠三个层级配合。最上层是任务编排模块，基于视觉语言模型（VLM），默认采用千问Qwen3.6-35B-A3B，系统也能通过API调用云端模型；中间层负责动作生成，用的是另一款千问模型Qwen3.5-2B；底层动作跟踪器经过强化学习、策略蒸馏等步骤训练，以每秒50次的频率运行。
论文披露的测试数据是：6个未预先扫描或建图的真实环境，360次单项任务，平均成功率91%。
长序列复合任务方面，团队在单一真实场景中各测10次，3种组合的平均成功率为70%。最复杂的一项是“俯身通过障碍 — 走向目标 — 推箱子”，10次里成功5次，成功率50%。
训练数据的合成主要靠250张英伟达H100 GPU，耗时约48小时。动作生成器用模仿学习训练，动用64张B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，用4张H100。
仿真生成的数据并没有完全甩开人工。团队表示，新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还动用了人类视频或动捕素材。
团队同时指出，机器人眼下主要靠视觉感知，接触情况难以直接感知；物体离开相机视野或被遮挡时，涉及较多接触的任务表现就会下滑。后续改进方向之一，是加入触觉感知。
IT之家附相关链接：
