Fable 5.2机器人控制得分64.9%，清华伯克利开源RUA框架

机器人的“Computer Use 时刻”正在到来。

这一进展出现在昨天：Anthropic 发布 Fable 5.2，新模型对物理机器人的控制能力较前代提升明显，还能完成此前没有接受过专项训练的任务。在 RoboDojo Sim 仿真评测里，Fable 5.2 拿到 64.9% 的得分；Anthropic 内部同配置测试中，GPT-6 Astra 的得分为 29.8%。

更早的 9 月，MIT 研究者 Phillip Isola 在《Robot-Use Agents》中提出一个判断：今后只要机器人接入互联网、开放传感器与执行器接口，它就可能变成通用 Agent 能够调用的工具。

这与具身智能领域 System 1、System 2 的分工思路一致——通用模型管高层推理和任务规划，底层策略管具体动作执行。GPT-6 Astra、Fable 5.2 等模型已经初步验证了这条路线走得通。

不过，这条路真要跑通，还差两块短板。第一块在模型侧。闭源前沿模型在机器人操作上已经显出本事，可研究者拿不到权重，想用机器人交互数据接着训练更是无从下手。

第二块出在系统层面。各家机器人的硬件结构、传感器和控制接口差别很大，仿真环境和真实环境也各有一套。每接一款机器人就得重新搭一遍工具系统，跨环境迁移和规模化实验的开销自然压不下来。

于是，一套统一的交互接口成了 RUA 的前提：把不同硬件和环境的底层差异挡在外面，模型便能以一致的方式拿到感知信息、调用控制工具、接收执行反馈。

近期，清华大学丁宁、刘知远、徐梦迪、周伯文等人的团队，与加州大学伯克利分校教授、伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 的团队合作，推出并开源了 uni-robot-agent。目标是给 Robot-Use Agent（RUA）配一套统一、模块化的 Harness，让语言模型借助标准化工具接口去操控各类机器人和仿真环境。

• 论文链接：https://arxiv.org/pdf/2611.01560

• 博客链接：https://openrua.ai/uni-robot-agent

• 代码链接：https://github.com/Open-RUA/uni-robot-agent

评测结果拿得出手。RoboDojo 基准上，开放权重模型 Qwen3.8-Flash-Next 配上这套框架拿到 31.39 分，高于 RoboDojo 官方此前公布的 GPT-6 Astra + RoboProbe 的 28.97 分。换成 GPT-6 Astra，同一框架下分数升至 51.90 分。

真机 19 项任务评测里，未做任务专项微调的 Qwen 拿到 53.50 分，比微调过的 π₀.₅ 高 5.75 分，比零样本 Dream-1 高 10 分；GPT-6 Astra 配上这套框架，分数则达到 80.50 分。

除了跑分，这项研究还查了模型究竟能把机器人操作到哪一步，失败原因、能力短板、运行开销都被翻了出来。再往前一步，团队想搭一套通用底座，让开源模型能接进不同机器人，也为后续训练和本地化部署打基础。

统一接口为什么成了跨环境泛化的底子？

Coding Agent 那边，一套工具能应对不同的编程任务：模型用相近的接口读文件、跑代码、看运行结果，换到别的环境，原先攒下的工具使用经验照样能搬过去。

机器人操作牵扯的硬件差异就多了。同样是抓东西，单臂和双臂的动作接口都可能对不上，模型得重新弄懂参数、坐标系和控制规则，旧的工具调用经验很难直接挪过来。

uni-robot-agent 就是想用统一工具接口把这些差异抹平。Franka 单臂要定位、抓取、堆叠积木，ALOHA 双臂要两只机械臂配合完成物体交接，真实 YuMi 双臂则要控制插销与插孔对齐插接。硬件结构、动作空间、任务目标各不相同，模型却都能调用统一的感知、运动、技能和任务控制接口，控制差异交给底层适配器去处理。

也就是说，模型沿用的工具调用规则是一致的。接新环境时，开发者主要把对应的适配器实现出来，上层 Agent 逻辑不用大改。

同样的工具放到不同环境里还能不能用？在 RUA 框架下，答案是能。统一接口的意义不止于省事。

一旦各环境采用相同的工具语义、参数单位和反馈格式，机器人在执行任务时留下的交互轨迹就更容易归拢到一处。单臂堆叠、双臂交接、真机插接中攒下的经验，能够汇入同一套数据体系。这给跨环境 Agent 训练铺了路：研究者可以用不同机器人上的交互数据去训练同一个模型，让它学到可迁移的工具使用与操作本事。

uni-robot-agent 是怎么设计的？

设计指向两件事：给跨环境 Agent 训练打好统一底子，以及尽量客观地衡量通用模型现成的机器人操作水平。研究团队据此把系统分成 Agent、Orchestration、Tools、Services 和 Backends 五层。

Agent 层管的是与模型交互、上下文管理和任务决策；Orchestration 层负责调度工具请求；Tools 层把统一的操作接口交给模型；Services 层打理运行资源；Backends 层则对接具体的机器人、仿真器和模型实现。

模块化带来的好处是模型、工具和机器人后端都能单独换掉。研究者不必重写整套系统，就能对比不同模型的表现，同时攒下结构一致的交互数据。

客观评测得尽量贴近真实部署。仿真环境能直接给出物体的精确三维位置、CAD 模型、隐藏的场景状态，甚至连任务成没成功都能判断——这些信息在真实机器人上一般拿不到。模型要是靠这些特权信息把任务做完，它到底有多少视觉理解、空间推理和操作能力，就很难说了。

所以在主要的仿真实验里，uni-robot-agent 只把 RGB 图像、相机标定、机器人本体状态和任务指令交给模型。深度真值、物体 CAD 资产、隐藏场景标注、任务验证器反馈，一概不给，外部网络访问也被禁止。研究团队另外还堵住了针对评测任务专门定制的捷径，免得模型靠提前写好的答案拿高分。

那没了这些额外信息，通用模型怎么把复杂的机器人操作做下来？重点在于把模型拿到的信息组织好，同时让工具执行足够可靠。

几个关键的设计取舍。每一列对应两项互相配合的设计，分别管物理状态一致、动作执行精度和上下文管理。

举个例子，机器人去抓物体时，模型要结合图像和机械臂位置算出抓取坐标。图像是上一时刻的，机械臂状态却已经更新，算出来的结果就可能偏掉。

uni-robot-agent 的做法是把相机图像、标定信息和机器人状态对齐到同一时刻，状态不同步造成的定位偏差因此减少。执行动作时它靠请求去重挡掉重复操作，同时盯着机械臂的运动状态，动作停滞或执行异常都能识别出来。

动作做完，系统把执行结果和新的环境观测回传给模型，让它判断任务成没成、下一步要不要调整。

机器人动作耗时长，框架为此加了异步执行。部分工具还在跑的时候，模型可以接着处理别的工作；同一机械臂上的运动请求则排队依次执行，指令不会打架。

这些设计把机器人领域的工程经验装进了 Harness，信息错位、动作重复、反馈缺失对模型表现的干扰都被压下去。

信息组织得当，控制工具又可靠，uni-robot-agent 在不依赖仿真特权信息和任务专用捷径的情况下，依然能让通用语言模型表现出有竞争力的机器人操作能力。

实验验证：开放模型能做到什么程度？

为检验统一 Harness 的实际效果，研究团队先在 RoboDojo 上做了仿真实验。

该基准共设42项机器人操作任务，泛化、精细操作、长程执行、记忆、开放词汇指令五个维度各占一部分。每组主要实验要跑252次评测。

统一Harness带来的差别很直观。

RoboDojo基准测试结果。Avg.是五个能力维度下各项指标的非加权平均值。†GAP（Hybrid）指该方案结合了π₀.₅。

同样用Qwen3.8-Flash-Next，RoboProbe只拿到1.90分，RPent为7.75分，而结合π₀.₅的GAP Hybrid能到21.01分。

模型换成uni-robot-agent之后，Qwen的分数升到31.39分，成功率25%。和RoboProbe比，综合得分高出29.49分。

这组结果指向一点：模型权重不动，工具系统怎么设计，照样能大幅左右机器人的操作表现。

其他模型也接入了这套框架。DeepSeek-V4.1-Flash得27.11分，GPT-6 Astra拿到51.90分，成功率46.67%。

各模型的强项并不一致。Qwen和DeepSeek在记忆、开放词汇任务上，表现好于精细操作和长程执行；一些专用VLA、WAM模型反而在长程任务上更占优。

物理环境中的能力，则交给真机测试来检验。

团队用双臂机器人做了19项操作评测，涉及空间理解、物体泛化、指令遵循、组合泛化、未见任务五个维度。任务里有试管插架、双臂传递瓶子、按颜色顺序堆叠积木、擦白板，还有汉诺塔等。

在五个评测维度上，研究团队各挑了几项有代表性的真机任务来做。

GPT-6 Astra 拿到 80.50 分，组合泛化这一项直接拿下满分 20 分；Qwen 得 53.50 分，排在经过任务微调的 π₀.₅ 与零样本 Dream-1 前面。真机评测里，每项能力满分 20 分，总分 100 分。不过两组对比的输入条件并不一样：Qwen 和 Astra 用的是 RGB 图像，外加 RealSense D405 传感器给出的深度信息，π₀.₅ 和 Dream-1 则只有 RGB。所以分差不能全算到模型头上。

研究团队更在意的，是模型到底靠哪些外部信息撑住成绩。

深度和相机标定都给的情况下，Qwen 拿到 35.89 分；把深度拿掉、标定留下，分数变成 31.39；标定也一起去掉，只剩 RGB 图像和机器人自身状态，就掉到 9.13 分。

同样的几组设置下，Astra 分别是 55.83、55.04 和 31.29 分。

几何信息减少之后，机器人的操作表现如何，图里记下了启用技能库时模型在 42 项任务中通过 771 次工具调用完成任务的过程和最终得分。

换句话说，借助相机标定、多视角观察和几何计算，模型在没有直接深度测量的情况下也能完成一部分空间定位任务。可一旦标定缺失，操作表现就明显往下掉，光靠 RGB 图像还原出可靠的空间关系，还是很难。预定义技能库会不会左右评测结果，也是团队关心的一件事。

把技能库和技能编写功能一并关掉，Qwen 的综合得分从 31.39 掉到 30.31，相当于留住了原成绩的 96.6%；成功率则从 25% 变成 24.58%。这说明它的发挥并不怎么靠事先封装好的任务技能。标准化的感知与运动工具，再加上模型自己的推理能力，已经足以撑起相当一部分操作。

技能引导对任务表现的影响，见下图。

花钱这块，Qwen 每跑一次任务平均要付约 1.09 美元的 API 费用，DeepSeek 是 0.94 美元，Astra 则要 21.29 美元。

跑得快不快，同样决定机器人 Agent 好不好用。以综合得分头一回摸到 25 分为节点，Astra 累计烧掉约 740 万 Token，花了 42.6 分钟；Qwen 用了 2350 万 Token、95.5 分钟；DeepSeek 则是 4990 万 Token、99.2 分钟。为了少等一会儿，团队接着测了异步流水线。

异步流水线的测试安排如下。

挑出来的五项任务里，流水线跑的耗时全都比串行短，降幅落在 4.8% 到 73.7% 之间。传送带抓取这一项，时间从约 59.7 分钟压到了 15.7 分钟。

通用模型要到什么时候才具备机器人操作能力？

一套统一的Harness把不同模型放到相近的交互条件下去测试，也让一个更基础的问题浮出水面：通用模型到底得有哪些能力，才做得了机器人任务？

研究团队又把13个模型摆在一起比较，这些模型来自不同家族、不同代际、规模也不一样。结果发现，机器人操作能力和模型规模、发布时间之间，并不是简单的对应关系。

不同代际、不同模型系列、不同参数规模下的机器人操作表现。

Qwen系列就是个例子。受测的Qwen3.5、3.6和3.7都没能拿到完整任务的成功记录；到Qwen3.8，27B模型的成功率是8.06%，Flash-Next则升到25%。27B的参数规模更小，反倒能完成一些旧版大模型做不了的任务。

GPT系列同样能看出代际差异：GPT-5.6 Sol已经能完成部分机器人任务，成功率19.17%；GPT-6.1 Sol升到37.50%；GPT-6 Astra继续提高到46.67%。

这些结果说明，机器人操作能力或许早就在通用模型里出现了，它的提升可能跟训练数据分布、能力组合以及模型训练方式都有关系。

团队分析了不同模型的失败轨迹，把关键能力归成四类。

图中给出的是各模型在RoboDojo上的综合得分，与上述四类能力错误率之间的相关性。这四个维度的错误率越低，模型在机器人任务上的表现往往越好。

先看视觉理解这一环。机器人得认出物体、判断朝向，还要确认操作之后的状态对不对。一些较早的 Qwen 模型曾把数字 0 认成 9，也有把倒扣的杯子当成正放的，结果后面一连串动作都建立在看错的画面上。

在被检查的轨迹里，部分旧版模型这类错误占到 12.2% 至 23.8%。Qwen3.8-Flash-Next 的对应检查样本中没有出现这种错误。

再看空间定位。模型要依据图像定出目标的三维位置；没有深度信息时，可以靠多视角观察做三角测量，可跨视角把同一物理位置对上，依然不容易。

论文里提到，即便是 GPT-6.1 Sol，也有约 31.5% 的相关三角测量调用没通过几何一致性检查。

第三类是几何计算。相机、世界坐标系、机械臂坐标系之间的位置与姿态转换都归它管。部分旧版 Qwen 模型在这类计算上的错误比例达到 47.3% 至 81.8%，Qwen3.8-Flash-Next 降到 8.2%，DeepSeek-V4.1-Flash 又进一步降到 1.5%。

最后是具身推理。抓取姿态合不合理、机械臂够不够得着、动作会不会撞上，都要模型自己判断。有些模型就算找到了目标位置，也会因为手腕姿态不对，反复抓取失败。

研究团队还把机器人操作成绩与 ERQA、MMMU-Pro、ScreenSpot-Pro 和 LiveCodeBench v6 等通用基准做了关联分析。结果显示，视觉理解、具身推理、空间定位和代码能力与机器人表现的相关程度各不相同。照此看，操作机器人的本事，可能是多个领域基础能力组合泛化出来的。

机器人操作表现与通用模型能力的关系。

机器人操作要连续完成视觉判断、空间定位、几何计算和物理决策，哪个环节出岔子，任务都可能失败。往后要提升 RUA 能力，这些相互牵连的基础能力得一起盯住。

通用框架，

uni-robot-agent都兼容了什么？

uni-robot-agent 并非只能直接调用工具。它还提供 Code as Policy、Hybrid（VLM 与 VLA/WAM 协作）和 Clean Mode（仅保留基础工具）几条路径。几种方案放在同一个框架里，都能接受测试。

在 Code as Policy 下，模型靠写代码来驱动机器人：计算、调用动作都在程序里完成，再依据执行反馈判断要不要往下走。

围绕代码控制与直接工具调用，研究团队拿 Qwen 做了对照，覆盖 RoboDojo 的五个能力维度。RoboDojo 的 252 次评测中，Qwen 拿到 25.60 分。代码控制在精细操作维度上得分更高，为 17.40 分，比直接工具调用的结果要好，但整体表现仍有差距。

Qwen 在 Code as Polciy 模式下的得分对比。

Hybrid 模式也在框架支持之列，由 VLM 与 VLA 配合完成任务。指令理解、场景分析和任务组织交给 VLM，VLA 依据观测生成动作片段，执行反馈再回过来服务后续判断。

这种协作已在多个平台的仿真场景中演示：Panda 机械臂搭配 Allegro 灵巧手、宇树 Go2 四足机器人、宇树 G1 人形机器人、R1Pro 轮式机器人。团队还接入了 π₀.₅、GR00T 和 NaVILA 等动作模型，覆盖灵巧操作、人形机器人操作与移动导航。

VLM 和 VLA 通过 uni-robot-agent 在不同环境下协作。

模型能力变强之后，眼下由工具封装的计算和操作逻辑，将来可以一点点交还给模型自身，Harness 也有望随之变薄。uni-robot-agent 为此提供了 Clean Mode，只留 move、hold、finish、capture_scene 四个基础工具，让模型靠观察、计算和组合动作来完成任务。

在带相机标定的设置下，Clean Mode 中的 Qwen 和 Astra 分别保住了完整工具配置 90.4% 和 90.5% 的得分，平均 token 用量则减少 35.7% 和 78.8%。与历史完整配置相比，工具和上下文精简之后，模型仍能维持大部分任务表现，这为把 Harness 做薄、提升 token efficiency 提供了初步证据。

Qwen，Astra 在 clean mode 下的 token 消耗与得分对比。

这套框架能适配的真实机器人不止一类。

真机方面，团队已经打通 ARX One 和松灵 Piper-X。底层适配器负责抹平不同硬件的控制差异，模型这头依旧走统一接口：观察环境、下发动作、再依据反馈决定下一步怎么走。智元 G2 与宇树 G1 目前正在接入过程中。

ARX One、松灵 Piper-X 的真机接入

配套的接入代码和部署说明同样对外放出。开发者拿到之后，可以在对应硬件上跑起 uni-robot-agent，换掉模型，用自己的任务做测试。

结语

机器人智能走到了一个岔路口。

一条路是传统专用策略，跟硬件绑得很死，想扩展代价不小，泛化和长程任务都是难点。另一条路是 uni-robot-agent，让通用模型经由统一接口直接操纵机器人，扩展的思路跟前者明显不一样。

uni-robot-agent 是 OpenRUA 项目放出的首个开源成果。OpenRUA 的发起者是一批来自顶尖高校和前沿实验室的研究人员，背景横跨具身智能与语言模型，想做的是给能在物理世界里行动的 Agent 搭一套开放基础设施。

团队主页：https://openrua.ai/

这么看下来，uni-robot-agent 给出的不只是一套机器人操作框架。它同时说明一件事：只要信息组织得合适、工具反馈足够可靠，开放权重模型在仿真和真机上同样能跑出有竞争力的成绩。

当然，这还只是起步。真正要看的，是能不能靠交互数据把模型持续更新下去。基础设施这块，uni-robot-agent 已经铺完了，后面的训练和演化才刚开头。

参考链接：

https://www.anthropic.com/research/project-pilot

https://www.anthropic.com/research/claude-plays-robotics

https://x.com/FredaDuan/status/2116727410972590380