港科广与欧拉万象推出SLA：RoboDojo真机榜平均得分42.3分登顶

机器人能不能扛住现实里的变化，关键看空间理解有没有被纳入基础模型的持续学习过程。

果蔬抓取时，有人把目标挪走；摆好的物体又被扔回桌面。另一组实验里桌面不断升降，夹爪得跟着目标的高度走。同样一套抓取放置动作，空间关系一变，先前学到的技能还顶不顶用？

围绕这个问题，香港科技大学（广州）和欧拉万象（OLA Dimensions）联合提出了 SLA（Spatial-Language-Action Model，空间 — 语言 — 动作模型）。

成绩先摆出来：RoboDojo-Real 公开真机评测中，SLA-Preview 平均得分 42.3 分、完整任务成功率 33.9%，排名第一；成功率比 π0.5 高出 21.1 个百分点，约为后者的 2.6 倍。

图 2 RoboDojo-Real 真机榜单截图，SLA-Preview 平均得分排名第一

研究团队设置的八类真机测试里，SLA 平均物体级成功率达到 83.8%，比 π0.5 高 24.0 个百分点。公开榜单之外，动态抓取、桌面升降这些测试也说明它能应付真实场景中的变化。

SLA 的做法是：机器人学动作的同时，把支撑动作的空间表征一起练出来。空间监督不再只放在具体任务的后训练阶段，而是前移到规模更大的持续预训练，到了下游适配阶段仍然保留。

01 真机榜第一之后再看机器人如何应对变化

RoboDojo-Real 涉及 ARX X5、Piper 和 Piper X 三种机器人本体，任务共 18 项。SLA 把三种本体的示范合起来做后训练，测试时用的还是同一个模型。

同一份公开评测中，π0.5 平均得分 22.9 分、成功率 12.8%，SLA 则是 42.3 分和 33.9%。得分看的是部分任务推进到什么程度，成功率看的是整个任务有没有做完。

榜单成绩提供了一个统一参照。想更直观地看空间能力起什么作用，可以看目标移动、桌面升降这几组实验。

果蔬抓取实验里，研究者先用 100 条基础场景示范做后训练，随后把同一个策略放到基础场景、位置扰动和动态干扰三类条件下测。测试中，物体可能被重新扔回桌面，正在抓的目标也可能被人挪走。

位置扰动和动态干扰这两类条件，并没有额外采集对应的干扰示范用于后训练。

位置扰动下，SLA 物体级成功率 82%，π0.5 是 52%；目标持续移动时，两者分别为 76% 和 42%。到了桌面升降、目标高度不断变化的手表抓取条件，两者分别为 78% 和 44%。

跨本体实验的数据条件很明确：原有 100 条 Piper 示范之外，再加 10 条 Franka 示范联合后训练，Franka 的物体级成功率达到 78%。这项结果检验的是目标本体数据很少时的适配能力。

八类部署条件各自评估 50 个物体实例，成功要求是把该物体的完整操作过程做完。这些测试都指向同一个实际问题：观察到的空间关系变了，策略能不能据此调整动作。

02 空间理解怎样进入机器人基础模型

视觉 — 语言 — 动作模型（VLA）把图像、指令和动作连在一起，能用上视觉语言模型预训练积累的知识。可机器人真要动手操作，还得处理距离、朝向、物体遮挡以及夹爪运动之间的关系。

认出一个杯子，和把夹爪准确送到杯子旁边，要求的能力并不完全一样。物体位置一变，接近路径可能就得换；抓取角度一变，手腕朝向也要跟着调。

常见的一条路线是在后训练时引入深度图、点云这类几何信息。问题是现实数据不一定都带一致的三维标注：深度可能缺，相机位置和标定状态各不相同，还有些公开示范只有 RGB 图像。

空间学习要是只能靠整齐完整的几何输入，已经积累起来的异构机器人经验就很难用足。

SLA 的办法是在训练期间把空间信息对齐到 VLA 自身的中间视觉表征。它沿用 π0.5 的预训练架构与权重，靠持续预训练学空间表征，后训练适配具体任务时继续保留空间监督。

图 4 SLA 整体框架。统一异构机器人数据，在持续预训练与后训练阶段进行空间对齐。

具体而言，冻结的三维感知模型 OmniVGGT 担任空间教师。它读取多视角 RGB 图像，再借助样本里已有的深度或相机标定信息提取空间特征。

VLA 一边学习预测动作，一边把中间视觉特征拉向教师的空间特征。空间监督就这样嵌入动作生成所依赖的表征里，模型学操作时也拿到了几何信息。

场景、纹理、相机视角一变，SLA 会跟着输入自适应地汇聚多个层次的视觉特征。RoboTwin 消融里，多层自适应融合的 Clean2Random 成功率为 72.3%，比最佳固定单层方案高出 5.0 个百分点。

训练期还加了一项状态丢弃：按一定概率把部分样本的机器人状态输入拿掉，逼着策略多看图，少依赖示范轨迹里固定的状态模式。

部署时情况不同。空间教师、对齐投影器和选层门控全部撤掉，深度与相机标定也不必作为新增的策略输入，空间对齐分支不给策略推理增加计算。RoboDojo 长时任务另用了历史图像记忆，榜单结果反映的是带这一机制的完整系统表现。

03 六类机器人数据先统一动作的物理含义

空间监督想在大规模上起作用，还有个基础问题得先答：不同机器人的数据，怎么放到一起学？

SLA 用了六类来源——InternData-A1、AgiBotWorld-Beta、RoboCasa365-Pretrain、RoboCOIN、DROID 和 MolmoAct，真实与仿真、单臂与双臂都有。筛选和处理之前，这些来源合计约 171 万条轨迹、14,330 小时示范。

图 5 持续预训练的数据来源。图中为筛选和处理前的规模，任务数按各数据集分别统计后相加。

规模之外，控制表示也得一致。各机械臂关节数量和排列不一样，同一组关节数值的物理含义并不相同，直接混着学容易出问题。

团队改用末端执行器位姿来描述状态与动作，机器人坐标约定也统一了：单臂以臂基座为原点，双臂取两臂基座中点作原点，坐标轴一律指向前、左、上。移动方向、旋转和夹爪动作由此有了可比较的物理含义。

旋转表示也做了处理。欧拉角直接相减，可能在角度环绕边界冒出离群值；SLA 改用 SO (3) 复合求相对旋转，再以旋转向量表示，配合逐通道归一化。

仿真轨迹重复度偏高，团队按来源和任务下采样，并过滤掉不适用或异常的数据。持续预训练阶段同样没用后训练数据集，为的是降低下游评测泄漏的风险。

这一阶段动用了 48 张 NVIDIA H100，耗时约 110 小时。数据处理与空间监督一起，构成了持续学习的基础。

04 数据继续增加空间能力能否一起增长

空间理解若要成为基础模型的能力，还得经得起数据规模实验的检验。

研究者从完整混合数据集里按任务抽样，取了 5%、25%、50% 和 100% 四档持续预训练数据，分别控制持续预训练、后训练是否采用空间对齐，再放到 RoboTwin Clean2Random 设置下比表现。

两个阶段都用空间对齐时，成功率随数据规模从 49.2% 升到 60.5%、67.4%，最后达到 72.3%。每一档数据规模下，这一组合都压过另外三种设置。

图 6 持续预训练数据规模实验。两个阶段均使用空间对齐的方案，在各档数据规模下表现最好。

全量数据下，只在持续预训练用空间对齐，成功率为 63.2%；只在后训练用，为 57.1%；两个阶段都不用，为 48.2%。

这组对照撑起了 SLA 的技术主张：空间表征可以先在更广泛的机器人经验里学，再靠下游适配强化。就这一实验范围看，训练目标与数据覆盖一起影响了最终表现。

其他公开评测又检验了不同能力。RoboTwin 2.0 的 50 个任务中，SLA 每项任务用 50 条 clean 示范联合后训练，Clean2Clean、Clean2Random 成功率分别为 86.0%、72.3%，平均 79.2%。其中 Clean2Random 比 π0.5 高 26.3 个百分点，随机化场景下的收益由此显现。在 RoboCasa-Panda 的 24 个厨房任务里，每项任务用 50 条下游示范，SLA 平均成功率为 68.4%。

到了 LIBERO-Plus，模型先用标准 LIBERO 示范后训练，再接受相机、语言、光照、背景等扰动测试，加权成功率达到 87.4%。这些结果对应的是不同评测设置，不能简单并成一个通用成功率。

05 从学会动作到适应变化

香港科技大学（广州）与欧拉万象团队的 SLA 研究，把空间监督延伸到基础模型的持续预训练阶段，并用榜单、消融实验和真机操作检验效果。空间能力怎么形成、怎样随机器人经验扩展，由此成了可以逐项测试的问题。

这些结果目前仍有边界。任务不同、本体不同，表现差异都不小；长程操作、开放任务，以及规模更大的真实部署，都还要接着验证。SLA 给出的是一条路径：在原有 VLA 能力之上，把空间表征持续养出来。

论文与项目

• 论文题目为 SLA: Scaling Spatial-Language-Action Model via Continual Pre-training。

• arXiv 地址：https://arxiv.org/abs/2611.08373

• 项目主页及动态实验见 https://embodiedsla.github.io/ ，RoboDojo 真机榜单见 https://robodojo-benchmark.com/leaderboard?bench=realworld 。

• 代码仓库：https://github.com/OpenHelix-Team/Spatial-Forcing