清华联合伯克利开源uni-robot-agent：统一接口让模型跨机器人操作

机器人眼下正迎来属于自己的 Computer Use 时刻。

10日，Anthropic 发布 Fable 5.2，带来新的进展。它的物理机器人控制能力比前代模型提升明显，连此前没接受过专项训练的任务也能完成。在 RoboDojo Sim 仿真评测中，Fable 5.2 拿到 64.9% 的得分，而 Anthropic 内部同配置测试中的 GPT-6 Astra 只有 29.8%，差距不小。

9 月，MIT 研究者 Phillip Isola 在《Robot-Use Agents》里提出，未来接入互联网、开放传感器和执行器接口的机器人，都可能变成通用 Agent 能调用的工具。这与具身智能领域 System 1、System 2 的分工思路一致：通用模型管高层推理和任务规划，底层策略管具体动作执行。GPT-6 Astra、Fable 5.2 等模型已经初步验证了这条路走得通。

不过真要跑通，还有两个关键问题待解。一是模型。闭源前沿模型已经展现出不错的机器人操作能力，可研究者拿不到权重，更难用机器人交互数据对它持续训练。二是系统。各机器人在硬件结构、传感器和控制接口上差别很大，仿真与真实环境也各不相同。每接入一种机器人就得重新开发工具系统的话，跨环境迁移和规模化实验的成本会一直很高。

RUA 因此需要一套统一的交互接口，把不同硬件和环境的底层差异挡在外面，让模型能以一致的方式获取感知信息、调用控制工具并接收执行反馈。

近日，清华大学丁宁、刘知远、徐梦迪、周伯文等人的研究团队，联合加州大学伯克利分校教授、伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 团队，共同推出并开源了 uni-robot-agent。这套东西想为 Robot-Use Agent（RUA）建立统一、模块化的 Harness，让语言模型通过标准化工具接口操控不同机器人和仿真环境。

论文链接：https://arxiv.org/pdf/2611.01560

博客链接：https://openrua.ai/uni-robot-agent

代码链接：https://github.com/Open-RUA/uni-robot-agent

框架在实际评测中表现不俗。RoboDojo 基准上，开放权重模型 Qwen3.8-Flash-Next 搭配该框架拿到 31.39 分，超过 RoboDojo 官方此前公布的 GPT-6 Astra + RoboProbe 的 28.97 分。同一框架下，GPT-6 Astra 进一步取得 51.90 分。

真机 19 项任务评测中，未经任务专项微调的 Qwen 取得 53.50 分，分别领先微调后的 π₀.₅ 和零样本 Dream-1 达 5.75 分、10 分。GPT-6 Astra 搭配该框架则取得 80.50 分。

跑分之外，这项工作还测了模型能把机器人操作到什么程度，失败原因、能力短板和运行成本都被扒了出来。再往前一步，他们想搭一套通用底座，让开源模型能接入不同机器人，也为后续训练和本地化部署铺路。

统一接口为何是跨环境泛化的基础？

Coding Agent 领域，同一套工具能用于不同的编程任务，模型通过相似的接口读取文件、执行代码、查看运行结果，已有的工具使用经验可以在不同环境中复用。机器人操作涉及的硬件差异就多了。哪怕都是抓取物体，单臂机器人和双臂机器人的动作接口也可能不一样，模型得重新理解参数、坐标系和控制规则，原来的工具调用经验很难直接搬过去。

uni-robot-agent 想靠统一工具接口把这些差异打通。举例来说，Franka 单臂机器人要定位、抓取并堆叠积木，ALOHA 双臂机器人要协调两只机械臂完成物体交接，真实 YuMi 双臂机器人则要控制插销与插孔的对齐和插接。硬件结构、动作空间和任务目标各不相同，模型却都能调用统一的感知、运动、技能和任务控制接口，不同机器人的控制差异交给底层适配器处理。

换句话说，模型可以沿用一致的工具调用规则。接入新环境时，开发者主要实现对应的适配器就行，上层 Agent 逻辑不用大改。

工具在不同环境中的复用情况。

统一接口还有更深一层意义。不同环境若使用相同的工具语义、参数单位和反馈格式，机器人执行任务产生的交互轨迹就更容易放在一起，模型在单臂堆叠、双臂交接和真机插接中积累的经验，也能汇集到同一套数据体系里。

这种设计给跨环境 Agent 训练创造了条件，研究者有机会用不同机器人上的交互数据训练同一个模型，学到可迁移的工具使用与操作能力。

uni-robot-agent 的设计思路是什么？

这套系统在设计中瞄准两个方向：给跨环境的 Agent 训练搭一个统一底座，同时对通用模型现阶段的机器人操作水平做出尽量客观的评估。

研究团队由此把整个系统拆成五层，从下到上分别是 Agent、Orchestration、Tools、Services 和 Backends。其中 Agent 层管的是和模型打交道，负责上下文管理与任务决策；Orchestration 层调度各类工具请求；Tools 层为模型提供统一的操作接口；Services 层看管运行资源；Backends 层则对接具体的机器人、仿真器和模型实现。

模块化带来的好处是，模型、工具和机器人后端都能单独替换。研究者不用重写整套系统，就能横向比较不同模型的表现，同时攒下结构一致的交互数据。

客观评测的前提，是尽量贴近真实部署条件。仿真环境里，物体的精确三维位置、CAD 模型、隐藏场景状态、乃至任务成功与否的判定，都能直接拿到，而这些在真实机器人上通常取不到。一旦模型靠着这些特权信息完成任务，就很难说清它到底有多少视觉理解、空间推理和操作本事。

所以在主要的仿真实验中，uni-robot-agent 只交给模型四样东西：RGB 图像、相机标定、机器人本体状态和任务指令。深度真值、物体 CAD 资产、隐藏场景标注、任务验证器反馈一概不给，外部网络访问也被禁止。评测任务专门定制的捷径同样受到限制，免得模型靠预先写好的答案拿高分。

少了这些额外信息，通用模型又该怎么完成复杂的机器人操作？答案在于把模型拿到的信息组织好，并让工具执行足够可靠。

几个关键设计选择。表中每一列对应两项相互配合的设计，分别服务于物理状态一致性、动作执行精度和上下文管理。

举个例子，机器人抓取物体时，模型要依据图像和机械臂位置算出抓取坐标。假如图像还停留在上一时刻，机械臂状态却已经更新，算出来的结果就可能偏掉。

uni-robot-agent 的做法是把相机图像、标定信息和机器人状态绑定到同一时刻，降低状态不同步造成的定位偏差。执行动作时，系统通过请求去重防止重复操作，并监测机械臂的运动状态，及时发现动作停滞或执行异常。

动作做完之后，执行结果和新的环境观测会一并反馈给模型，供它判断任务是否成功、下一步要不要调整。

机器人动作耗时较长，框架为此引入了异步执行。模型可以在部分工具运行期间接着处理别的工作；同一机械臂上的运动请求则排队依次执行，避免指令冲突。

这些设计把机器人领域的工程经验装进了 Harness，减少信息错位、动作重复和反馈缺失对模型表现的干扰。

信息组织得当，控制工具又可靠，即便不依赖仿真特权信息和任务专用捷径，uni-robot-agent 也能让通用语言模型展现出有竞争力的机器人操作能力。

实验验证：开放模型能做到什么程度？

为检验统一 Harness 的实际效果，研究团队先在 RoboDojo 上做了仿真实验。

这个基准包含 42 项机器人操作任务，覆盖泛化、精细操作、长程执行、记忆和开放词汇指令五个维度。主要实验每组评测 252 次。

统一 Harness 带来的影响十分明显。

RoboDojo 基准测试结果。Avg. 指五个能力维度下各项指标的非加权平均值。†GAP（Hybrid）表示该方案结合了 π₀.₅。

在相同的 Qwen3.8-Flash-Next 模型下，RoboProbe 只拿到 1.90 分，RPent 为 7.75 分，结合 π₀.₅ 的 GAP Hybrid 则达到 21.01 分。

换成 uni-robot-agent 之后，Qwen 的成绩升到 31.39 分，成功率达到 25%。与 RoboProbe 相比，综合得分高出 29.49 分。

这组实验表明，模型权重原封不动，工具系统的设计照样可能大幅改变机器人操作的表现。

框架对其他模型的适配也已展开。DeepSeek-V4.1-Flash 拿到 27.11 分，GPT-6 Astra 则为 51.90 分，成功率 46.67%。

各模型的长处并不一致。Qwen 和DeepSeek在记忆类、开放词汇任务上发挥更好，精细操作与长程执行则相对偏弱；一些专用 VLA、WAM 模型反倒更擅长长程任务。

物理环境里的能力，则要靠真机测试来检验。

研究团队用双臂机器人做了 19 项操作评测，涵盖空间理解、物体泛化、指令遵循、组合泛化、未见任务五个维度。任务包括试管插架、双臂传递瓶子、按颜色顺序堆叠积木、擦白板，还有完成汉诺塔等。

五个维度下具有代表性的真实机器人任务。

GPT-6 Astra 拿到 80.50 分，组合泛化维度直接拿下满分 20 分；Qwen 为 53.50 分，领先经过任务微调的 π₀.₅ 和零样本 Dream-1。

真机评测结果。每项能力满分 20 分，总分满分 100 分。

不过这组对比的输入条件并不一致。Qwen 和 Astra 用的是 RGB 图像加上 RealSense D405 传感器提供的深度信息，π₀.₅ 和 Dream-1 只用了 RGB。所以成绩差距不能全算到模型头上。

更值得看的是，模型到底依赖哪些外部信息。

深度和相机标定同时给到时，Qwen 得 35.89 分；去掉深度、只留标定，是 31.39 分；再把标定也去掉，只剩 RGB 图像和机器人自身状态，分数掉到 9.13 分。

Astra 在对应设置下分别是 55.83、55.04 和 31.29 分。

在几何信息更少的情况下，机器人操作得怎么样？图里给出的是开启技能库后，模型靠 771 次工具调用跑完 42 项任务的全过程，以及最终得分。

可见模型能靠相机标定、多视角观察和几何计算，在没有直接深度测量的情况下完成部分空间定位任务。可一旦缺了标定，操作表现就明显下滑，单凭 RGB 图像要还原可靠的空间关系仍有难度。

预定义技能库会不会影响评测结果，研究团队也做了关注。

把技能库和技能编写功能关掉后，Qwen 综合得分只是从 31.39 降到 30.31，保留了原成绩的 96.6%，成功率也从 25% 微降到 24.58%。这说明它的表现并不主要靠预先封装的任务技能，标准化的感知与运动工具，加上模型自身的推理能力，已经足以支撑相当一部分操作。

技能引导对任务表现的影响。

成本上，Qwen 每次任务的平均 API 费用约 1.09 美元，DeepSeek是 0.94 美元，Astra 则高达 21.29 美元。

执行速度也关系到机器人 Agent 的使用效率。综合得分首次达到 25 分时，Astra 累计消耗约 740 万 Token，耗时 42.6 分钟；Qwen 消耗 2350 万 Token，耗时 95.5 分钟；DeepSeek整个过程耗掉 4990 万 Token，花了 99.2 分钟。

为了少等一些时间，团队又试了异步流水线。

在挑出的五项任务里，流水线跑完都比串行快，降幅落在 4.8% 到 73.7% 之间。传送带抓取那一项，耗时从大约 59.7 分钟压到 15.7 分钟。

通用模型从什么时候起会干机器人的活？

统一 Harness 把不同模型放进相近的交互条件里测，也顺带把一个更基础的问题摆了出来：

要干成机器人任务，通用模型到底得有哪些本事？

团队接着比了 13 个模型，家族、代际、规模各不相同。结果发现，机器人操作能力和模型大小、发布时间之间，并没有简单的对应关系。

不同代际、不同系列、不同参数规模下的机器人操作表现。

拿 Qwen 系列来说，受测的 Qwen3.5、3.6、3.7 都没能完整做成一个任务。到 Qwen3.8 才变：27B 模型成功率 8.06%，Flash-Next 升到 25%。27B 的参数规模反而更小，却做成了部分旧版大模型做不成的事。

GPT 系列同样有代际变化。GPT-5.6 Sol 已经能完成一部分机器人任务，成功率 19.17%；GPT-6.1 Sol 涨到 37.50%；GPT-6 Astra 再进一步，达到 46.67%。

这说明机器人操作能力可能早就在通用模型里了，后来变强或许跟训练数据分布、能力组合和训练方式有关。

分析各模型的失败轨迹后，团队把关键能力归成四类。

图中给出各模型在 RoboDojo 上的综合得分与这四类能力错误率的相关性。四个维度的错误率压得越低，模型在机器人任务上的表现通常越好。

头一类是视觉理解。机器人得认出物体、判断朝向，还要确认操作之后的状态。部分较早的 Qwen 模型把数字 0 认成 9，或者把倒扣的杯子看成正放，后面的动作就建在错误观察上。

在受查的轨迹里，部分旧版模型这类错误占到 12.2% 至 23.8%。Qwen3.8-Flash-Next 的对应检查样本中没发现这类错误。

第二类是空间定位。模型要依据图像定出目标的三维位置；缺深度信息时，可以靠多视角观察做三角测量，但跨视角对上同一个物理位置仍然很难。

论文发现，连 GPT-6.1 Sol 也有约 31.5% 的相关三角测量调用没能通过几何一致性检查。

第三类是几何计算。机器人要在相机、世界坐标系和机械臂坐标系之间换算位置与姿态。部分旧版 Qwen 模型在这类计算里的错误比例达 47.3% 至 81.8%。Qwen3.8-Flash-Next 把这个数字降到 8.2%，DeepSeek-V4.1-Flash 又降到 1.5%。

最后是具身推理。模型还得判断抓取姿态合不合理、机械臂够不够得着目标、动作有没有碰撞风险。有些模型明明找到了目标位置，却因为手腕姿态不对，反复抓取失败。

团队还把机器人操作成绩与 ERQA、MMMU-Pro、ScreenSpot-Pro、LiveCodeBench v6 等通用基准做了关联分析，发现视觉理解、具身推理、空间定位和代码能力与机器人表现的相关程度各不相同。照此看，操作机器人的能力可能是多个领域基础能力组合泛化出来的。

机器人操作表现与通用模型能力的关系。

机器人操作要连续做视觉判断、空间定位、几何计算和物理决策，哪个环节出错，任务都可能失败。往后提升 RUA 能力，这些相互牵连的基础能力得一起盯。

通用框架，uni-robot-agent都兼容了什么？

调用工具并非唯一路径。uni-robot-agent 同时支持 Code as Policy、Hybrid 两种模式，前者让模型写代码控制机器人，后者由 VLM 与 VLA/WAM 协作；另外还有 Clean Mode，只留下基础工具。几套方案能放在同一个框架里接受测试。

具体到 Code as Policy，模型通过编写代码来操控机器人，计算和调用动作都在程序里完成，执行反馈回来后再决定要不要接着往下走。

研究团队拿 Qwen 做了一组对照，比较代码控制与直接工具调用，覆盖 RoboDojo 的五个能力维度。RoboDojo 的 252 次评测里，Qwen 拿到 25.60 分。代码控制在精细操作维度得分更高，达到 17.40 分，不过整体表现和直接工具调用相比仍有差距。

Qwen 在 Code as Polciy 模式下的得分对比。

Hybrid 模式则让 VLM 和 VLA 分工协作：前者理解指令、分析场景、组织任务，后者根据观测生成动作片段，执行反馈再喂回后续判断。

这种协作已经在多个仿真场景中展示过，包括 Panda 机械臂搭配 Allegro 灵巧手、宇树 Go2 四足机器人、宇树 G1 人形机器人和 R1Pro 轮式机器人等平台，并接入 π₀.₅、GR00T 和 NaVILA 等动作模型，覆盖灵巧操作、人形机器人操作与移动导航。

模型能力往上走，眼下由工具封装的一部分计算和操作逻辑，将来可以慢慢交还给模型本身，Harness 也有望随之变薄。uni-robot-agent 的 Clean Mode 就是往这个方向探路：只保留 move、hold、finish、capture_scene 四个基础工具，让模型自己观察、计算、组合动作来完成任务。

在带相机标定的设置下，Clean Mode 里的 Qwen 和 Astra 分别保住了完整工具配置 90.4% 和 90.5% 的得分，平均 token 用量则减少 35.7% 和 78.8%。把工具和上下文精简之后，模型还能维持大部分任务表现，这为 Harness 做薄、提升 token efficiency 提供了初步证据。

Qwen，Astra 在 clean mode 下的 token 消耗与得分对比。

兼容范围不止仿真，框架也延伸到了更多真实机器人。

真机方面，团队接入了 ARX One、松灵 Piper-X 等设备。底层适配器负责消化不同硬件之间的控制差异，模型依旧通过统一接口观察环境、执行动作，再根据反馈调整下一步。智元 G2 和宇树 G1 也在接入中。

ARX One、松灵 Piper-X 的真机接入

接入代码和部署说明一并开放，开发者可以在对应硬件上跑起 uni-robot-agent，换模型、测自己的任务。

结语

机器人智能正站在一个新的分岔口。

传统专用策略路线和硬件绑得很紧，扩展成本高，还要面对泛化和长程的问题；uni-robot-agent 走的是另一条路，让通用模型直接通过统一接口操控机器人，扩展逻辑明显不同。

uni-robot-agent 是 OpenRUA 项目推出的第一个开源成果。OpenRUA 由一批来自顶尖高校和前沿实验室的研究人员发起，背景覆盖具身智能与语言模型，目标是为能够在物理世界中行动的 Agent 建立开放基础设施。

团队主页：https://openrua.ai/

从这个角度看，uni-robot-agent 不只是一套机器人操作框架，它还证明了一件事：只要信息组织得当、工具反馈可靠，开放权重模型在仿真和真机上也能拿出有竞争力的表现。

不过这只是一步。接下来能不能用交互数据持续更新模型才是关键。基础设施已经搭好，后面的训练与演化才刚开始。

参考链接：

https://www.anthropic.com/research/project-pilot

https://www.anthropic.com/research/claude-plays-robotics

https://x.com/FredaDuan/status/2116727410972590380