清华伯克利开源uni-robot-agent：Qwen操控机器人花费仅Astra的1/20

同样的操作跑下来，Qwen的花费只有Astra的1/20。

清华大学与加州大学伯克利分校近日联合提出并开源了具身智能体uni-robot-agent，这是一套面向训练搭建、跨环境统一的harness。机器人前瞻11月3日报道了这则消息。

在这个基础上，Qwen3.8-Flash-Next直接操控机器人，在RoboDojo上拿到31.39分。GPT-6 Astra公开的成绩是28.97分，前者已经超过后者，而成本仅为Astra的1/20。

论文的通讯作者为丁宁、Pieter Abbeel、刘知远和徐梦迪。

论文链接：https://huggingface.co/papers/2611.01560

博客链接：https://openrua.ai/uni-robot-agent

代码链接：https://github.com/Open-RUA/uni-robot-agent

项目主页：https://uni-robot-agent.com

文档链接：https://uni-robot-agent.com/docs

Astra之后，具身智能体还能往哪走？

RoboDojo基准共含42个任务，覆盖泛化、精确操作、长程执行、记忆和开放词汇指令跟随。GPT-6 Astra在这个基准上已经展现出零样本操作能力：遇到陌生任务，模型先观察场景，再写代码、调用机器人工具，然后依据执行反馈调整下一步。原本用来解决数字世界问题的本事，开始往真实的抓取、移动和操作上延伸。

不过，要把这条路线从演示推进到可持续的研究，还有三道门槛要过。

头一道是成本。机器人操作得持续观察、不断纠错，多视角图像和交互历史被反复送进模型，一个任务可能涉及几十甚至上百次调用。少量演示还扛得住，一旦扩展到大规模实验和数据采集，成本就成了实打实的限制。

第二道是自主性。模型权重不开源，研究者只能通过API使用现成能力，既没法部署到自己的硬件上，也无法针对机器人交互去优化模型、缓存和推理过程。实验能跑多快、做多大，很大程度上要看外部服务的脸色。

第三道是学习闭环。机器人每次尝试都在产生经验，可这些轨迹没法直接拿来更新闭源模型的权重。

于是，Astra展示出的能力也带出了下一个问题：开放权重模型能不能同样有效地使用机器人，让研究者既跑得起来也训得起来，让今天的交互变成明天的能力？uni-robot-agent正是朝这个方向迈出的一步。

uni-robot-agent的设计选择：

跨环境统一与模块化

机器人Agent的基本流程其实不复杂：读任务、看图像、调用工具、观察结果，再决定下一步。做什么由模型决定，这些决定怎么真正落到物理世界，则靠harness。可看似简单的交互流程背后，牵扯着不同机器人的能力差异、工具接口、执行反馈和异常处理等一堆问题。让Agent操作机器人不难，难的是搭出一套统一、易用、可泛化的harness，让不同模型都能以一致的方式和不同机器人打交道。

uni-robot-agent团队的做法可以概括成四条。

第一，跨环境统一。uni-robot-agent从设计之初就是为训练准备的，本身就是为agentic training打造的底座，评测只是其中一部分。感知、运动、技能、episode控制四类工具在仿真和真机里共用一套定义，环境之间的差异交给各自的适配器处理。这样一来，不同环境里学到的能力可以互相迁移，工程上也只需维护一套工具。

第二，模块化。整个框架更像一盒乐高：Agent运行时、上下文策略、感知后端、动作模型、环境适配器，个个都能单独开关、单独替换。基于这个设计，研究者既能更好地做二次开发，也能更好地做消融实验，验证各个组件对具身Agent到底有多重要。

第三，对齐真实世界。团队把Agent能拿到的信息严格限定在真机也能拿到的范围内：本体感知、机器人描述文件、固定相机的RGB及标定参数、任务指令。仿真器里的精确深度、物体CAD模型、隐藏标注一概不给，任务执行过程中的分数也不回传给模型。技能同样是通用的，不为某个基准任务定制。资源上没有hack，信息上也没有hack。

第四，并行加速。耗时的物理动作可以丢到后台，工具立刻返回一个任务句柄，模型接着去准备不依赖这一步结果的事情。共用同一资源的动作按先进先出排队，计划变了还能撤销尚未开始的动作。机械臂在动的时候，模型已经在想下一步。

uni-robot-agent实测：仿真与真机结果

团队在仿真环境和真机上分别做了评测，为的是检验这套harness的泛化能力。

仿真环境里，Qwen3.8-Flash-Next配uni-robot-agent拿到31.39分。baseline中GaP为21.01分，astra加roboprobe是28.97分，都被这一组合甩在身后，开源模型完成具身任务的能力由此得到验证。DeepSeek-V4.1-Flash meanwhile取得27.11分，GPT-6 Astra则拿到51.90分。这组对比也说明，uni-robot-agent并非只对Qwen做专门优化，它能泛化到任意模型。

真机部分，团队在双臂夹爪平台上搭了Real Eval评测，共19个任务，分属空间理解、物体泛化、指令遵循、组合泛化和未见任务五个维度，每个维度20分。Qwen一条评测任务的真机数据都没见过，仍拿到53.50分，高于在该环境下微调过的π0.5的47.75。Astra在这套harness下更是冲到80.50分。

平行夹爪之外，这套harness也能用在别处。团队把它接到Franka机械臂与Sharpa灵巧手上，只对灵巧手相关工具做了简单扩展，uni-robot-agent+Astra就完成了抓取小鸟玩偶、按下绿色按钮、把苹果放进盘子等灵巧操作。

设计取舍与能力边界：

模型需要什么，又不依赖什么？

没有提供深度，模型还能找到物体吗？

认出图像中的物体是一回事，知道机器人该往哪走是另一回事。要把视觉理解和物理动作接起来，就得先建立图像坐标与机器人坐标之间的对应关系。

uni-robot-agent的做法是把相机内外参交给模型，由它来完成这种对应。这些参数靠实际相机与机器人标定即可获得，既不用读取仿真器里的深度信息，也不依赖为特定任务编写的定位捷径，真机环境下同样容易拿到。模型可以借这些信息通过三角标定建立空间坐标，只是和深度标定相比，它得结合不同视角与几何关系去推断。

那么，定位若能更直接，效果会提升多少？反过来，连标定信息都不给，模型又能做到什么程度？

团队设了三种条件做比较：深度加相机标定、只给相机标定、仅给RGB图像。

有深度时，工具能结合相机内外参把目标像素直接换算成三维坐标。去掉深度后，Astra的得分从55.83变成55.04，几乎没受影响；Qwen则从35.89掉到31.39。此时模型得在不同视角间找对应点，靠三角测量恢复目标位置。这一差距说明，Astra更擅长利用已知的相机几何做空间定位，Qwen在跨视角对应和几何推断上还有欠缺，更依赖直接给出的深度信息。

再把相机内外参也拿掉，考验就换了性质：不再是“利用已知几何定位”，而是“自行推断视觉观察与物理动作之间的空间关系”。模型不光要判断物体在哪，还得理解图像里的方向和距离对应机器人怎样的移动。这一设置下，Qwen得分跌至9.13，Astra仍有31.29。模型自身的空间推理能力在此体现得更直接，也说明标定信息对当前开源模型有多重要：它在视觉与动作之间搭了一座桥，帮空间能力还不够的模型完成有效操作。

没有技能库，性能会不会明显下降？

技能库能复用操作经验，可它也容易让人生出疑问：系统是不是提前为每道题备好了解法？

为此，团队把Qwen对机器人技能库的访问和技能写入能力一并关掉，只保留任务说明、环境描述与基础机器人工具。技能移除后，得分从31.39变为30.31，保留96.6%；成功率只差0.42个百分点。

这不等于技能模块没有价值。它为经验复用和后续扩展留了接口。当前结果说明的是：uni-robot-agent的整体表现，并没有过度依赖技能库提供的任务知识。

两组实验指向同一套设计思路：把有助于推理的信息给到模型，让工具可靠地执行动作、返回有效反馈，具体问题交给模型自己解决。相机标定和机器人本体描述帮模型建立空间关系，可靠的运动工具与执行反馈则支撑它行动、检查和纠错。这也是uni-robot-agent想为开源模型搭起的基础。

拿到开源模型上跑出的亮眼分数之后，团队没有停手。他们接着追问：开源模型到底要练出哪些本事，才能在具身任务里站住脚？

分数之外：

开源模型该训练出什么样的能力

团队把Qwen、GPT、DeepSeek等不同系列、不同代际、不同规模的模型放到RoboDojo上评测，想弄清完成具身任务需要哪些能力。结果出现一个反差：Qwen3.8-27B已经能拿下部分任务，参数量更大的Qwen3.7 Plus这次评测却没能成功完成任务。

代际之间也有类似情况。GPT-5.6 Sol已经表现出一定的机器人操作能力，一些更新的模型反而难以完成任务。光看参数量和发布时间，都解释不了模型在机器人任务上的表现。

团队又去查模型的交互轨迹。一条看似简单的指令，落到机器人任务里会被拆成一连串考验：看清场景、找到目标、算出动作，再判断这个动作在物理世界行不行得通。哪一环出了错，后面的操作都可能偏掉。失败主要落在四个方面：

第一是看懂场景。把数字“0”认成“9”，或者把倒扣的杯子当成正放，操作从一开始就会走错方向。在较早的Qwen Flash和Plus模型里，这类没被纠正的视觉错误出现在约12.2%–23.8%的试验中。

第二是找准位置。认出物体还不够，还得确定它在哪。模型要在不同视角下找到同一个物理特征，才能借相机几何恢复空间位置。即便是这项表现最好的GPT-6.1 Sol，相关调用里仍有31.5%因对应点不一致、重投影误差过大而标定失败。

第三是算对几何。从图像到机器人动作，中间要过坐标变换、姿态计算和代码执行。较早的Qwen Flash和Plus模型在47.3%–81.8%的几何计算中出错，Qwen3.8-Flash这一比例降到8.2%，DeepSeek只有1.5%。

第四是理解怎样操作才合理。位置算对了，抓取也未必成功。手腕朝向合不合适、夹爪能不能接近目标、双臂怎么配合，都要模型读懂动作的物理含义。

除了掰开轨迹看，这些能力能不能从通用模型评测里看出点苗头？团队拿六个模型的RoboDojo表现，与具身推理、多模态理解、视觉定位和代码生成基准做对比，四类指标都呈正相关，其中具身推理和多模态理解的关联更强。

这还不足以证明某项能力直接带来了多少提升，但给后续训练指了条明路：想提升机器人能力，除了学动作本身，还可以有针对性地训练模型怎么观察、定位、计算和判断。机器人交互中留下的失败轨迹，也就成了定位短板、构造训练任务的依据。

开源模型的具身操作能力为何重要

开源模型也能把机器人操作做好了。以前提起RUA，大家想到的往往是能力最强的那些闭源前沿模型。现在，一个参数规模更小、使用成本更低、还能本地部署的开源模型，已经在不少有挑战的操作任务上拿出不错的表现。RUA研究不必再困在少数闭源模型里，更多团队可以基于开源模型搭自己的系统、做实验、探新方向。

研究成本也降到了更容易接受的水平。42局的成本分析中，Qwen每局估算API成本为1.09美元，Astra则是21.29美元。跑完252局完整评测，前者不到300美元，后者超过5000美元。

更让人期待的是，模型能在真实交互里不断攒经验。权重开放后，研究者既可以把模型放在本地部署，少依赖外部API，也能拿机器人交互中积累的轨迹继续训练。机器人每一次尝试、成功和失败，都可能变成下一轮训练的数据，反过来把模型能力往上推。这样一来，Robot Agent就有机会转起一个持续改进的循环：与机器人交互、积累经验、训练模型，再把训练后的模型放回机器人上接着试。这也是开放权重留下的更长远的研究空间。

这套框架的参照对象，团队选的是编码Agent领域的mini-swe-agent。他们要做的，是一个足够简单、通用，任何人都能拿来上手修改的起点。接口统一之后，再加上结构化的记录方式，不同环境里积累的交互经验就能按同一种格式归集起来。目前的实现已经能导出Codex的交互轨迹，而这些轨迹，恰好是SFT和强化学习所需的原料。

拆掉“只有闭源模型玩得起”那道门槛，是uni-robot-agent最大的意义。基于uni-robot-agent，让机器人经验通过训练持续回流、形成学习闭环的路，还有很大探索空间，值得期待。

结语：开源具身智能体，迈向持续学习

这次研究表明，开源通用大模型已经具备一定的机器人操作能力，在统一框架支持下，也能以更低成本完成复杂任务，为具身智能提供了新的技术选择。

不过，uni-robot-agent更大的价值不在单次评测成绩，而在于为开源具身智能体的训练与迭代打下了底子。往后能不能用真实交互数据持续提升模型能力，并做到跨本体、跨场景的稳定泛化，是这条路线发展的关键。