MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人
逼近GPT-6Astra!韩松团队让Qwen3.8-27B在5090上操作机械...
Fable 和
GPT-6 Astra 先后发布之后,具身智能行业被狠狠推了一把,甚至冒出一种说法:通用大模型能把机器人的所有事都包了。
开发者一窝蜂把这两个模型装进机器人,拿它们去啃各种复杂任务。可越往下试,模型体积过大的麻烦就越清楚:推理花费高,响应速度跟不上实时控制,端侧的算力、功耗和散热又都卡着脖子。这些模型本事再大,也很难直接上机器干活。
如何让通用大模型能够让机器人用得起、跑得动,成了新的难题。
但这一切都将开始改变。MIT 韩松团队公布了机器人后训练项目 PEAR (Post-training Engine for Agentic Robotics),把一个 27B 参数的千问模型接上一台真实的双臂机器人。
实机演示有两段。研究者递上一张梵高的《星空》,它用夹爪在白板上描出了线稿。另一段里,桌上放着碘水、酚酞、乙醇三瓶试剂,问它怎样判断溶液是不是碱性,它选了酚酞滴进去,溶液随即变粉。
PEAR 的底座是开源的 Qwen3.8-27B,训练时不用一帧人类遥操演示,也不用一条真机数据,强化学习全在仿真环境里完成。训完直接搬到一台它从没见过的双臂 YAM 真机上,30 次测试过了 18 次,而训练前是 0 次。它的通用性更强,按指令办事的能力也压过 π0.5。在 LIBERO 模式下,它的成绩差不多能和 Astra Max 打平。
放到 RTX 5090 上跑,速度能到 220 tok/s 以上,本地跑完全没问题。
另外,在 AIME、GPQA、LiveCodeBench 等九项通用 benchmark 上,它的分数跟 Qwen3.8-27B 相比几乎没有变化,数学、编程这些通用能力并没有丢。代码放在 GitHub 上:https://github.com/mit-han-lab/pear
-
论文链接:https://mit-han-lab.github.io/pear-blog/paper.pdf
-
模型权重链接:https://huggingface.co/collections/mit-han-lab/pear
-
博客链接:https://mit-han-lab.github.io/pear-blog/
用电脑的方式,其实也就是用机械臂的方式。这个思路挺巧:机械臂的操作跟电脑操作本来就相似,差别只在二维和三维。
智能体的 Computer Use 是怎么干的?先看一张截图,在思维链里判断「保存按钮在右上角」,输出 click (812, 431),再由操作系统挪动鼠标。
PEAR 对机械臂做的是一回事。每回合它拿到三路摄像头画面和机械臂当前的关节状态,在思维链里分析「夹爪在橡皮正上方,把手指降到橡皮两侧」,再吐出一段 JSON,里面是末端执行器下一个目标位姿(x、y、z、roll、pitch、yaw)。逆运动学据此算出关节角,底层控制器把机械臂驱动到位。这一回合的结果连同新拍到的画面一起回填进上下文,下一回合接着来。
上图为计算机操作智能体,下方三帧连起来的是机器人操作智能体最后一轮又一轮去拾取橡皮擦的全过程,用作对照。
每一轮它都盯着摄像头画面和机械臂状态,先在思维链里过一遍,再给出末端执行器下一步该去的位姿;接着逆运动学算法和机械臂控制器把动作落实下去,这一轮的记录同样塞进上下文,下一轮决策接着用。
整个流程里找不到感知模块、抓取规划器和技能库的影子。物体在哪儿、路径怎么走、上一步偏了多少,全凭模型自己从相机画面里判断出来。训练方案名叫 Robot-Use RL,思路跟前沿模型学着用电脑是一回事。
具身上逼近 GPT-6 Astra 的小模型
机器人操控领域有个老牌 benchmark 叫 LIBERO,分成 Goal、Spatial、Object、Long 四个子套件,评测 episode 一共 2000 个。
零样本状态下 Qwen3.8-27B 只有 1.6%,做完 RL 训练的 PEAR 升到 74.4%。同一场里的闭源旗舰成绩是:GPT-6 Astra medium 档 49.3%,max 档 76.2%;GPT-6.1 Sol medium 档 48.1%,max 档 80.6%。PEAR 跑的是 xhigh 档。
左图给出的是 LIBERO 任务成功率,右图记录的是 RL 训练过程中每一步采样轨迹(rollout)的成功率。
在 LIBERO 原版上,π0.5 拿到 96.9%,PEAR 是 74.4%,差距摆在那儿。不过研究者又加了 LIBERO-Plus 和 LIBERO-Pro 两个扰动版本,局面马上不一样了。
两种策略都在 LIBERO 上训练,图中是模型在 LIBERO 及两个扰动版本上的任务成功率(%)。
LIBERO-Plus 动的主要是观测条件——相机角度、光照、背景、传感器噪声,两个模型的跌幅差不多;LIBERO-Pro 则直接改掉任务目标和物体布局。两种关键扰动看下来:
-
场景、物体、初始状态都原样保留,只把指令换掉。训练时说的是「把碗放到盘子上」,评测时改问「把碗放到炉灶上」。结果π0.5从96.9%直落到0.75%,丢了96.2分;PEAR则从74.4%退到57.4%,少了17分。另一种做法是指令不动、把物体位置对调,同一句话要走的路完全不同。这一回π0.5掉到20.8%,失分76.1;PEAR落在57.5%,减了16.9分。
剩下的两种扰动是改写指令措辞和替换物体外观,π0.5在这两项上依旧占优——原因也简单,正确轨迹本身没变。它记住的是训练时见过的动作套路,套路还能用就拿高分,用不上就彻底崩。PEAR走的是另一条路:基础模型的指令理解与视觉感知被保留下来,RL教会它看着眼前画面和指令重新算出位姿。说到底,一个在模仿,一个在推理,任务条件一动,差距就拉开了。
纯仿真训练
PEAR的整个训练过程都在仿真里跑,真实机器人的数据一点没接触。
迁移测试分三个维度来做。
第一个维度是新任务。模型先在LIBERO-Goal、Spatial、Object上训练,再到LIBERO-Long上零样本测试,拿到39.0%,底座只有0.4%。在一个长程任务套件上,它从几乎不会做,一下跳到接近四成。
第二个维度同时换了机器人和仿真器。RoboDojo是套完全不同的仿真环境,机械臂也从LIBERO的单臂Franka改成双臂ARX。PEAR只在LIBERO上练过,RoboDojo和ARX都没碰,直接上general_pickup就拿到39.9%,底座为10.7%,提升接近四倍。
第三个维度换了benchmark。RoboLab-120是另一个仿真评测平台,含120个桌面任务、三个难度级别,每项任务评测10次。在LIBERO + RoboDojo上训练过的PEAR跑出37.3%,底座是5.4%。RoboLab排行榜上通才机器人策略的成绩可以对照:NVIDIA Cosmos3-Nano-Policy 36.8%、π0.5 28.0%、DreamZero 25.7%、GR00T N1.6 7.2%。PEAR与Cosmos3基本持平,比另外三家都高。
真机环节,研究者把在 LIBERO 和 RoboDojo 上都训练过的模型搬上了一台双臂 YAM。这台机器人在训练中根本没出现过——仿真器、机械臂型号、物理环境,对它来说全是新的。测试一共 30 次,分成两组:Align blocks 组用三角尺把三个积木摆成一条直线,5 个场景各做 2 次,合计 10 次;General pickup 组则抓取绳子、螺丝、遥控器、毛绒乌龟、网球、订书机、洗洁精、喷雾罐、气泵、刷子这 10 种物体,每种 2 次,共 20 次。
结果差距不小。底座模型 Qwen3.8-27B 在真机上直接挂零,0/30。只在 LIBERO 上训过的那个中间检查点拿到 7/30。完整版则做到了 18/30,成功率 60%。
那通用能力还保得住吗?毕竟模型是通过强化学习学会操控机器人的,原先的推理、编程、视觉本事还在不在,需要单独验证。
PEAR 和基础模型在同一批问题上的对比如下。圆点代表得分变化,线段是配对比较的 95% 置信区间。
评测给出的答案是比较稳:AIME 2026 数学竞赛测试得分 98.5,GPQA Diamond 科学知识测试 89.7,LiveCodeBench 代码能力测试 88.4。视觉类基准上,它和基础模型的差距都在 2 分以内。
也就是说,同一个模型眼下既做推理、写代码、答图像题,也能上手操作真实的机器人。
一张 RTX 5090 能跑到 220 token/s。
机械臂每一步动作前都得先跑一遍思维链,响应节奏快不快,直接由解码速度说了算。
推理这套栈由两部分组成:权重采用 NVFP4 量化(NVIDIA ModelOpt),drafter 则来自 Inco AI 的 DFlash2,平均接受长度 3.2 token。放到不同硬件上,解码速度如下:
-
Apple M5 Max 用 Inco Splash 引擎,跑到 52 tok/s;单张 RTX 5090 加 megakernel,是 221 tok/s;单张 GB300 同样用 megakernel,达到 747 tok/s。
拿 GB300 来说,xhigh 档思考一回合约 4.3 秒,low 档约 1.1 秒。训练阶段只用了 xhigh 档,到推理时 effort 依然可以调。low 档的思考 token 约 0.86k(xhigh 约 3.23k),LIBERO 成功率随之从 74.4% 降到 21.9%——思考量少多少,成功率基本就跌多少。
一个 27B 的机器人模型带着思维链,在单张消费级 GPU 上就能实时带动机械臂。这件事的实际价值,恐怕还大过 60% 的真机成功率本身。
PEAR 跑通了一条有看头的技术路线:基础模型的推理能力够强之后,仿真环境里的强化学习就有机会教会它操纵真实机械臂。这样一来,复杂的感知管线不用另建,技能库不用另搭,大量遥操作数据也可以省掉。
还有一层意义:PEAR 既展示了通用模型做具身操作的潜力,也把实现这种能力所需的模型规模和算力门槛往下压了一截。
以前行业习惯把更强的机器人智能押在更大的模型、更多的数据、更贵的算力上。PEAR 给出了另一种答案:机器人不一定非得配一个专门训练的庞大「大脑」,相对轻量的通用模型,也有可能拿到够用的操作能力。
当然,要应对复杂、开放的真实物理环境,路还长。但 PEAR 至少让行业看到,通往通用机器人智能的路未必只有一条,也未必那么烧钱。
更多细节可查阅原论文。