港科大（广州）与欧拉万象发布SLA模型：真机任务成功率33.9%

当目标被挪走，机器人还能抓得准吗？

设想这样一个画面：机械臂正要抓住桌上的苹果，忽然有人把苹果往旁边推了一下；又或者抓取途中，桌面本身在慢慢升降。传统机器人策略碰上这种场面，往往直接崩掉。原因在于，它们多数是在静态、固定的数据分布里“背题”，现实世界只要稍稍偏离训练时的设定，动作就容易走样甚至失败。

问题也就随之而来：假如把对空间关系的理解真正嵌入机器人基础模型的持续学习过程，它面对现实中的这些变化，能不能表现得更稳？

香港科技大学（广州）与欧拉万象（OLA Dimensions）近期联合发布的 SLA（Spatial-Language-Action Model，空间—语言—动作模型），正是奔着这个问题去的。成绩相当直白：在公认的硬骨头 RoboDojo-Real 公开真机评测中，SLA-Preview 平均拿到 42.3 分、完整任务成功率 33.9%，排在榜首。此前的强力基线模型 π0.5 成功率仅有 12.8%。SLA 不只分数更高，成功率还高出 21.1 个百分点，约为 π0.5 的 2.6 倍。

到了动态干扰测试，这个差距被拉得更开。果蔬抓取实验里，物体位置一旦被扰动，SLA 的成功率为 82%，π0.5 只有 52%；目标在移动中受到持续干扰时，两者分别是 76% 和 42%。即便在桌面不断升降、手表高度时刻变化的极端条件下，SLA 仍守住 78% 的成功率，对手则只有 44%。

支撑这些数字的，不是简单堆参数，而是一套重新思考“机器人如何理解空间”的路线。

为什么现有的 VLA 模型搞不定动态场景？

眼下的视觉—语言—动作模型（VLA）已经相当能打。它们接过了大规模视觉语言模型的知识，既能听懂指令，也能看懂图像里的物体。认出“这是一个杯子”，对它们来说轻而易举。

可“认出杯子”跟“把夹爪准确移到杯子旁边并抓起来”之间，横着一道巨大的鸿沟。后者要处理距离、朝向、遮挡关系，还有夹爪运动轨迹之间的复杂几何约束。物体位置偏了一厘米，接近路径可能就得整个重写；抓取角度变了一点，手腕朝向也要跟着调。

过去对付这个问题，常见做法是在后训练（Post-training）阶段引入深度图、点云这类几何信息。听着合理，现实却不太给面子：真实机器人数据往往参差不齐。有的带深度信息，有的没有；相机标定状态各不一样；大量公开示范数据甚至只有 RGB 图像，深度图直接缺失。

倘若空间学习非得依赖整齐完整的三维标注，那海量异构机器人数据就只能闲着。SLA 换了个走法：不把几何数据直接喂给策略网络，而是在训练期间将空间信息“对齐”进 VLA 自身的中间视觉表征。

展开来说，SLA 继承并扩展了 π0.5 的架构。它请来一个冻结的三维感知模型 OmniVGGT 当“空间老师”。这位老师读取多视角 RGB 图像，借助样本中已有的深度或相机标定信息，提取高质量空间特征。另一边，VLA 模型学习预测动作时，会被要求让自身的中间视觉特征去模仿、对齐这位“老师”的空间特征。

空间监督就这样悄无声息地进入了动作生成所依赖的表征层。模型学“怎么动”的同时，也把“在哪里”一并学了进去。

针对不同场景、纹理和相机视角，SLA 还会对多个层次的视觉特征做自适应汇聚。消融实验的结果是：这套多层自适应融合方案在 RoboTwin 的 Clean2Random 设置下拿到 72.3% 的成功率，比最优的固定单层方案高 5 个百分点。

另有一个细节：训练期间，系统会按一定概率随机丢弃部分样本的机器人状态输入。做法看着有点自虐，目的却是逼策略更多依赖当前图像信息，而不是死记示范轨迹里那些固定状态模式。真正部署时，庞大的“空间老师”、对齐投影器和选层门控都会被拿掉。也就是说，推理阶段既不需要额外的深度或相机标定输入，也不增加计算负担。空间能力已经内化进模型权重。

六类数据大杂烩，怎么统一“动作语言”？

空间对齐的方法有了，接下来是数据规模。SLA 想证明空间理解能像语言能力那样，靠海量数据持续预训练获得。

团队把 InternData-A1、AgiBotWorld-Beta、RoboCasa365-Pretrain、RoboCOIN、DROID 和 MolmoAct 六类来源的数据汇到一起。这些数据集覆盖真实环境与仿真环境，单臂、双臂机器人都有。筛选之前，总量约为 171 万条轨迹、14,330 小时的示范。

可这么多数据直接一股脑扔进模型训练，行不通。不同品牌的机械臂，关节数量和排列方式完全两样。同一组关节数值，放到不同机器人身上，物理含义差得远。不加处理直接混合，模型学到的很可能是一团乱麻。

SLA 的办法是统一“动作的物理含义”。团队用末端执行器位姿来描述状态和动作，并统一坐标系约定：单臂以臂基座为原点，双臂以两臂基座中点为原点，坐标轴统一指向前、左、上。这样一来，不管底层硬件是什么，移动方向、旋转和夹爪动作都有了可比较的标准。

旋转表示同样是个坑。直接拿欧拉角相减，在角度环绕边界容易冒出离群值。SLA 改用 SO(3) 复合求相对旋转，再以旋转向量表示，配合逐通道归一化，把这个问题解决掉。

另外，仿真数据里大量重复轨迹，团队做了下采样和异常过滤。关键在于，持续预训练阶段，他们刻意没有碰后训练用到的特定数据集，以免下游评测出现数据泄漏风险。

这一阶段预训练动用了 48 张 NVIDIA H100 GPU，跑了大约 110 小时。这笔算力投入，换回一个具备通用空间表征的基础模型。

数据越多，空间能力越强吗？

空间理解若真能算作基础能力，就应当遵循 Scaling Law（缩放定律）——喂的数据越多，本事越强。

为验证这一点，研究者设计了一组对照实验：先从混合数据集里按任务抽样，再分别以 5%、25%、50% 和 100% 的数据量做持续预训练。与此同时，两个变量被严格控制住：持续预训练阶段用不用空间对齐，后训练阶段用不用空间对齐。

答案相当明确。两个阶段都上空间对齐时，成功率随数据规模一路走高：49.2%、60.5%、67.4%，全量数据下最终落在 72.3%。无论处在哪一档数据规模，这种“双阶段对齐”的组合都压过另外三种设置——只在预训练对齐、只在后训练对齐、两处都不对齐。

具体看全量数据这一档：仅预训练阶段对齐，成功率为 63.2%；仅后训练阶段对齐，是 57.1%；两个阶段都不做，只有 48.2%。这组数字支撑了 SLA 的核心主张——空间表征可以先在广泛的机器人经验中借助持续预训练习得，随后在下游具体任务适配时得到进一步强化。

SLA 的表现不限于 RoboDojo-Real。RoboTwin 2.0 的 50 个任务里，它的平均成功率达到 79.2%，随机化场景（Clean2Random）下比 π0.5 高出 26.3 个百分点；RoboCasa-Panda 的 24 个厨房任务中，平均成功率为 68.4%；到了 LIBERO-Plus，面对相机、光照、背景等多重扰动，加权成功率也有 87.4%。

这些数字当然没法捏成一个通用的“无敌指数”。各评测集各有侧重，有的考长程操作，有的考抗干扰。但趋势摆在那里：加了空间监督，模型遇上未知变化确实更沉得住气。

局限与未来：还没到终点

成绩好看，SLA 却并非万能药。研究团队自己就点出了短板：任务不同、本体不同，差异依然明显。眼下的验证集中在特定的抓取和放置任务上，更复杂的长程操作、开放世界任务，以及规模更大的真实部署，都还需要时间检验。

SLA 的价值在于趟出了一条可走的路：承接现有 VLA 模型强大的语义能力，再用持续预训练和空间对齐，把机器人的空间几何直觉一点点培养起来。原本“空间能力怎么形成、怎么随经验扩展”是个黑盒问题，如今变成了能逐项测试、逐项优化的工程问题。

盯着具身智能的人，这个方向值得持续关注。说到底，机器人终究要在混乱、动态的物理世界里干活，只会“聊天”远远不够，还得会“看路”、会“动手”。

相关资源：