清华伯克利开源uni-robot-agent：统一接口让模型跨机器人操控

机器人眼看要迎来属于自己的 Computer Use 时刻。Anthropic 昨天发布的 Fable 5.2 又往前推了一步：比起上一代，它操控物理机器人的本事涨了不少，连此前没做过专项训练的任务也能拿下。

https://mp.weixin.qq.com/s/_CWa2_CbkfSKD9jSe7l11A

在 RoboDojo Sim 仿真评测里，Fable 5.2 拿到 64.9% 的分数，而 Anthropic 内部同配置测试中的 GPT-6 Astra 只有 29.8%。

9 月，MIT 研究者 Phillip Isola 已在《Robot-Use Agents》里提出一个判断：将来只要机器人接入互联网、开放传感器和执行器接口，就可能变成通用 Agent 能调用的工具。

这和具身智能里 System 1、System 2 的分工思路对得上——通用模型管高层推理和任务规划，底层策略管具体动作执行。GPT-6 Astra、Fable 5.2 这些模型已经初步验证了这条路走得通。

不过真要跑通，还有两个坎得迈过去。

一个是模型。闭源前沿模型在机器人操作上已经表现出不错的能力，可研究者拿不到权重，想用机器人交互数据持续训练它就更难了。

另一个是系统。各家的机器人在硬件结构、传感器和控制接口上差别很大，仿真环境和真实环境也各不相同。每接一种机器人就得重做一套工具系统，跨环境迁移和规模化实验的成本会一直压不下来。

所以 RUA 需要一套统一的交互接口，把不同硬件和环境的底层差异挡在外面，让模型用一致的方式获取感知信息、调用控制工具、接收执行反馈。

近日，清华大学丁宁、刘知远、徐梦迪、周伯文等人的研究团队，联合加州大学伯克利分校教授、伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 团队，共同推出并开源了 uni-robot-agent。他们想给 Robot-Use Agent（RUA）建立一套统一、模块化的 Harness，让语言模型通过标准化工具接口操控不同的机器人和仿真环境。

• 论文链接：https://arxiv.org/pdf/2611.01560

• 博客链接：https://openrua.ai/uni-robot-agent

• 代码链接：https://github.com/Open-RUA/uni-robot-agent

这套框架在实测里成绩不差。RoboDojo 基准上，开放权重模型 Qwen3.8-Flash-Next 配上它拿到 31.39 分，高于 RoboDojo 官方此前公布的 GPT-6 Astra + RoboProbe 的 28.97 分。同一框架下，GPT-6 Astra 再往上走到 51.90 分。

真机 19 项任务评测中，没做任务专项微调的 Qwen 拿到 53.50 分，比微调后的 π₀.₅ 和零样本 Dream-1 分别高出 5.75 分、10 分。GPT-6 Astra 搭配该框架则拿到 80.50 分。

除了跑分，这项工作还测了模型究竟能把机器人操作到什么程度，失败原因、能力短板和运行成本都被翻了出来。

他们想走得更远：搭一套通用底座，让开源模型接得上不同机器人，也为后面的训练和本地化部署铺路。

统一接口为何是跨环境泛化的基础？

Coding Agent 领域就是这样：同一套工具能用于不同的编程任务，模型通过相似的接口读文件、跑代码、看运行结果，已有的工具使用经验在不同环境里可以接着用。

机器人操作牵涉的硬件差异更多。同样是抓东西，单臂和双臂机器人的动作接口就可能不一样，模型得重新理解参数、坐标系和控制规则，原来那套工具调用经验很难直接搬过去。

uni-robot-agent 想用统一工具接口把这些差异打通。

比如 Franka 单臂机器人要定位、抓取并堆叠积木，ALOHA 双臂机器人要协调两条机械臂完成物体交接，真实 YuMi 双臂机器人要控制插销与插孔的对齐和插接。硬件结构、动作空间、任务目标都不一样，模型却能调用统一的感知、运动、技能和任务控制接口，控制上的差异交给底层适配器处理。

也就是说，模型沿用同一套工具调用规则就行。接入新环境时，开发者主要把对应的适配器实现出来，上层 Agent 逻辑不用大改。

工具在不同环境中的复用情况。

统一接口还有更深一层的意思。

只要不同环境用的是相同的工具语义、参数单位和反馈格式，机器人执行任务留下的交互轨迹就更容易放在一起；模型在单臂堆叠、双臂交接和真机插接里攒下的经验，能汇进同一套数据体系。

这就给跨环境 Agent 训练创造了条件——研究者有机会用不同机器人上的交互数据训练同一个模型，让它学到可迁移的工具使用与操作能力。

uni-robot-agent 到底是怎么搭起来的？

整个系统的设计瞄准两件事：给跨环境的 Agent 训练打一个统一的地基，同时尽量不带偏见地衡量通用模型现在具备多少机器人操作本事。围绕这两个目标，团队把系统切成五层——Agent、Orchestration、Tools、Services 和 Backends。

Agent 层管的是和模型打交道，负责上下文维护与任务决策；Orchestration 层接住工具请求并安排调度；Tools 层给模型一套统一的操作入口；Services 层看管运行时的各类资源；Backends 层则对接具体的机器人、仿真器和模型实现。

分层之后，模型、工具、机器人后端都能单独换掉。研究者不用把整套系统推倒重写，就能横向比较不同模型的表现，攒下来的交互数据在结构上也保持一致。

评测要客观，就得尽量还原真实部署的样子。仿真里能直接拿到物体的精确三维坐标、CAD 模型、场景的隐藏状态，甚至连任务成没成功都能直接判定——这些信息放到真机上基本拿不到。模型要是靠这些特权信息把任务做完了，它到底有多少视觉理解、空间推理和操作能力，就很难说清。

所以主要的仿真实验里，uni-robot-agent 只喂给模型 RGB 图像、相机标定、机器人本体状态和任务指令；深度真值、物体 CAD 资产、隐藏场景标注、任务验证器的反馈一概不给，外网也不放开。团队还堵上了针对评测任务专门定制的捷径，防止模型靠事先写好的答案拿高分。

少了这些额外信息，通用模型怎么才能完成复杂的机器人操作？答案在于把模型拿到的信息组织好，同时保证工具执行不出岔子。

几项关键的设计选择。每一列是两项配套的设计，分别对应物理状态一致性、动作执行精度和上下文管理。

拿抓取来说，模型要结合图像和机械臂位置算出抓取坐标。可如果图像停在上一时刻，机械臂状态却已经刷新，算出来的结果就可能偏掉。

uni-robot-agent 的做法是把相机图像、标定信息和机器人状态锁在同一时刻，状态不同步带来的定位偏差因此减少。执行动作时，它靠请求去重挡掉重复操作，并盯着机械臂的运动状态，一旦动作卡住或执行异常就能发现。

动作做完，系统把执行结果和新的环境观测回传给模型，让它判断任务成没成、下一步要不要调整。

机器人动作慢，框架就引入异步执行：部分工具还在跑的时候，模型可以接着干别的；同一台机械臂上的运动请求则排队依次执行，指令不会打架。

这些设计把机器人领域的工程经验塞进了 Harness，信息错位、动作重复、反馈缺失对模型表现的干扰都被压了下去。

信息组织得当，控制工具又靠得住，即便不碰仿真特权信息、不走任务专用捷径，uni-robot-agent 照样能让通用语言模型拿出有竞争力的机器人操作表现。

实验验证：开放模型能干到什么程度？

统一 Harness 究竟顶不顶用，团队先在 RoboDojo 上做仿真实验。

这个基准有 42 项机器人操作任务，涵盖泛化、精细操作、长程执行、记忆和开放词汇指令五个维度。主要实验每组评测 252 次。

统一 Harness 带来的差别相当直观。

RoboDojo 基准测试结果。Avg. 指五个能力维度下各项指标的非加权平均值。†GAP（Hybrid）指该方案结合了 π₀.₅。

同样是 Qwen3.8-Flash-Next 模型，RoboProbe 只拿到 1.90 分，RPent 是 7.75 分，结合 π₀.₅ 的 GAP Hybrid 则到了 21.01 分。

换上 uni-robot-agent，Qwen 的分数升到 31.39 分，成功率 25%。跟 RoboProbe 比，综合得分高出 29.49 分。

这组实验表明，模型权重一动不动，工具系统怎么设计，也可能大幅改变机器人操作的表现。

框架也适配了别的模型：DeepSeek-V4.1-Flash 拿到 27.11 分，GPT-6 Astra 达到 51.90 分，成功率 46.67%。

各模型的长处并不一致。Qwen 和 DeepSeek 在记忆类、开放词汇任务上发挥更稳，精细操作和长程执行则偏弱；一些专用 VLA、WAM 模型反过来，在长程任务上更占上风。

真机测试则把模型放进了物理环境里，进一步检验实际能力。

空间理解、物体泛化、指令遵循、组合泛化和未见任务，这五个维度一共对应 19 项操作评测，团队让双臂机器人逐项跑了一遍。具体任务有试管插架、双臂传递瓶子、按颜色顺序堆叠积木、擦白板，还包括完成汉诺塔等。

五个维度下具有代表性的真实机器人任务

GPT-6 Astra 拿到 80.50 分，组合泛化维度直接拿满 20 分；Qwen 为 53.50 分，排在经过任务微调的 π₀.₅ 和零样本 Dream-1 之前。

真机评测结果。每项能力的满分为 20 分，总分满分为 100 分。

但这组对比的输入条件并不一致。Qwen 和 Astra 用的是 RGB 图像加 RealSense D405 传感器提供的深度信息，π₀.₅ 和 Dream-1 只有 RGB。所以成绩差距不能全算到模型头上。

更值得看的是另一个问题：模型到底靠哪些外部信息在干活。

深度和相机标定都给的情况下，Qwen 得 35.89 分。去掉深度、保留标定，降到 31.39 分。再去掉标定，只留 RGB 图像和机器人自身状态，分数跌到 9.13 分。

Astra 在对应设置下分别是 55.83、55.04 和 31.29 分。

图中呈现的是启用技能库之后的情形：模型靠 771 次工具调用在 42 项任务中完成操作，过程与最终得分都被记录下来；同时也反映出几何信息减少时机器人操作表现受到的影响。

可见模型能靠相机标定、多视角观察和几何计算，在没有直接深度测量的情况下完成一部分空间定位任务。可一旦缺了标定，操作表现就明显下滑，光凭 RGB 图像还原可靠的空间关系，难度仍然不小。

预定义技能库会不会影响评测结果，也是团队关心的一点。

把技能库和技能编写功能关掉后，Qwen 综合得分只从 31.39 掉到 30.31，保住了原成绩的 96.6%；成功率从 25% 降到 24.58%。这说明它的表现并不主要靠预先封装的任务技能，标准化的感知与运动工具，加上模型自己的推理能力，已经能撑起相当一部分操作。

技能引导对任务表现的影响

成本上，Qwen 平均每次任务 API 费用约 1.09 美元，DeepSeek 为 0.94 美元，Astra 则为 21.29 美元。

执行速度同样关系到机器人 Agent 好不好用。综合得分首次达到 25 分时，Astra 累计消耗约 740 万 Token、用时 42.6 分钟；Qwen 消耗 2350 万 Token、用时 95.5 分钟；DeepSeek 消耗 4990 万 Token、用时 99.2 分钟。

为了少等一会儿，团队又测了异步流水线。

在挑出的五项任务里，流水线执行都比串行快，降幅在 4.8% 到 73.7% 之间。传送带抓取任务从约 59.7 分钟缩到 15.7 分钟。

通用模型什么时候开始具备机器人操作能力？

统一 Harness 让不同模型能在相近的交互条件下接受测试，也让一个更基础的问题可以摆上台面：

通用模型究竟得具备哪些能力，才能把机器人任务做下来？

团队接着比较了 13 个不同家族、代际和规模的模型，结果发现机器人操作能力和模型规模、发布时间之间，并没有简单的对应关系。

不同代际、模型系列和参数规模下的机器人操作表现。

拿 Qwen 系列来说，参与测试的 Qwen3.5、3.6、3.7 都没能跑出完整任务成功的记录。到 Qwen3.8 这一代，27B 模型的成功率是 8.06%，Flash-Next 则升到 25%。有意思的是，27B 的参数量更小，反倒能完成一些旧版大模型做不了的任务。

GPT 系列同样能看出代际差别。GPT-5.6 Sol 已经能完成一部分机器人任务，成功率 19.17%；GPT-6.1 Sol 升到 37.50%，GPT-6 Astra 又进一步攀到 46.67%。

从这些数字看，操作机器人的本事或许早就在通用模型里存在了。至于为什么会长出来，可能跟训练数据的分布、能力的组合方式以及模型的训练方法都有关系。

团队把不同模型的失败轨迹翻出来逐一分析，最后归出四类关键能力。

配图给出的是各模型在 RoboDojo 上的综合得分，与这四类能力错误率之间的对应关系。四个维度的错误率压得越低，机器人任务上的表现一般就越好。

头一项是视觉理解。机器人得认出物体、判断朝向，还要确认动作做完之后的状态。有些早期的 Qwen 模型把数字 0 认成了 9，也有把倒扣的杯子看成正放的，后面的动作就跟着错下去。

在抽查的轨迹里，部分旧版模型这类错误占到 12.2% 至 23.8%。换成 Qwen3.8-Flash-Next，对应检查样本里没再出现这种错误。

第二项是空间定位。模型要凭图像定出目标的三维位置；没有深度信息时，可以靠多视角观察做三角测量，可要跨视角对上同一个物理位置，还是不容易。

论文里提到，连 GPT-6.1 Sol 都有大约 31.5% 的相关三角测量调用没能通过几何一致性检查。

第三项是几何计算。机器人得在相机、世界坐标系和机械臂坐标系之间来回换算位置与姿态。部分旧版 Qwen 模型在这类计算上的错误比例是 47.3% 至 81.8%，Qwen3.8-Flash-Next 降到 8.2%，DeepSeek-V4.1-Flash 更是压到 1.5%。

最后一项是具身推理。模型还要判断抓取姿态合不合理、机械臂够不够得着目标、动作有没有碰撞风险。有些模型明明找到了目标位置，却因为手腕姿态不对，抓了一次又一次还是失败。

研究团队还把机器人操作成绩跟 ERQA、MMMU-Pro、ScreenSpot-Pro、LiveCodeBench v6 等通用基准做了关联分析。结果显示，视觉理解、具身推理、空间定位和代码能力与机器人表现各有不同程度的相关性。照这个看，操作机器人这件事，可能是多个领域的基础能力组合泛化出来的。

机器人操作表现与通用模型能力之间的关系。

操作机器人要连续走完视觉判断、空间定位、几何计算和物理决策，哪一环出了错，任务都可能砸掉。以后想把 RUA 能力提上去，这些彼此关联的基础能力得一起抓。

通用框架 uni-robot-agent，兼容的都有哪些？

除了直接调用工具，uni-robot-agent 还支持 Code as Policy、Hybrid 模式（VLM 与 VLA/WAM 协作）和 Clean Mode（只留基础工具）。几种方案都能放在同一个框架里接受测试。

Code as Policy 是让模型自己写代码来操控机器人。模型在程序里完成计算、调用动作，再根据执行反馈决定要不要接着往下走。

团队用 Qwen 比较了代码控制与直接工具调用两种做法，覆盖 RoboDojo 的五个能力维度。RoboDojo 的 252 次评测中，Qwen 拿到 25.60 分。跟直接工具调用的结果比，代码控制在精细操作维度得分更高，有 17.40 分，不过整体表现还是差一截。

框架也支持 Hybrid 模式，让 VLM 和 VLA 搭伙完成任务。VLM 管理解指令、分析场景、组织任务，VLA 根据观测生成动作片段，执行反馈再回头喂给后续判断。

在 Panda 机械臂配 Allegro 灵巧手、宇树 Go2 四足机器人、宇树 G1 人形机器人、R1Pro 轮式机器人等平台的仿真场景里，团队展示了这种协作，并接入 π₀.₅、GR00T、NaVILA 等动作模型，覆盖灵巧操作、人形机器人操作与移动导航。

VLM 和 VLA 借助 uni-robot-agent 在不同环境下协作：https://mp.weixin.qq.com/s/_CWa2_CbkfSKD9jSe7l11A

模型能力越强，眼下靠工具封装的那些计算和操作逻辑，将来可以慢慢交给模型自己，Harness 也有望跟着变薄。为了探这条路，uni-robot-agent 拿出的 Clean Mode 只保留 move、hold、finish、capture_scene 四个基础工具，让模型靠观察、计算和组合动作把任务做完。

在带相机标定的设置下，Clean Mode 里的 Qwen 和 Astra 分别保住了完整工具配置 90.4% 和 90.5% 的得分，平均 token 用量则少了 35.7% 和 78.8%。跟历史上的完整配置一比，工具和上下文精简之后，模型还能维持大部分任务表现，这为把 Harness 做薄、提升 token efficiency 提供了初步证据。

Qwen、Astra 在 clean mode 下的 token 消耗与得分对比。

这套框架能适配的真实机器人还在增加。

ARX One、松灵 Piper-X 等真机已经接入。底层适配器负责抹平不同硬件之间的控制差别，模型照旧通过统一接口看环境、发动作，再凭反馈决定下一步怎么做。智元 G2 和宇树 G1 也在接入当中。

ARX One、松灵 Piper-X 的真机接入

接入代码和部署说明同样放了出来。开发者可以在对应硬件上跑 uni-robot-agent，换掉模型，试自己的任务。

结语

机器人智能眼下走到了一个岔路口。

专用策略那条老路跟硬件绑得很死，铺开的成本高，泛化和长程任务都是难题；uni-robot-agent 走的是另一条道——让通用模型直接通过统一接口去操控机器人，扩展的思路明显不一样。

作为 OpenRUA 项目推出的首个开源成果，uni-robot-agent 背后是一批来自顶尖高校和前沿实验室的研究人员，背景横跨具身智能与语言模型，想给能在物理世界里行动的 Agent 搭一套开放基础设施。

团队主页：https://openrua.ai/

这么看，uni-robot-agent 提供的是一套机器人操作框架，但它还说明了一件事：只要信息组织得当、工具反馈可靠，开放权重模型在仿真和真机上一样能拿到有竞争力的成绩。

这还只是开头。真正的考验在于能不能拿交互数据不断更新模型。基础设施已经由 uni-robot-agent 铺好，后面的训练和演化才刚起步。

参考链接：

https://www.anthropic.com/research/project-pilot

https://www.anthropic.com/research/claude-plays-robotics

https://x.com/FredaDuan/status/2116727410972590380