MIT韩松团队让Qwen3.8-27B操控机械臂,真实任务成功率60%
机器人前瞻(公众号:robot_pro) 作者 | 刘俐杉 编辑 | 许丽思 机器人前瞻11月16日报道,近日,MIT韩松团队提出了一种名为Robot-Use RL的机....
机器人前瞻公众号近日发布消息,作者刘俐杉,编辑许丽思。
11月16日,机器人前瞻报道称,MIT韩松团队公开了一项机器人强化学习方法,名字叫Robot-Use RL。
这套方法把强化学习用在仿真环境里的机器人任务上:模型一边执行任务,一边依据完成情况拿到反馈。
团队以
Qwen3.8-27B为基础展开训练。
在仿真环境中,模型的任务成功率从1.6%升到74.4%,已经逼近开启最高推理强度时的水平。
放到真实双臂机器人上,训练后的模型任务成功率达到60%;训练之前,基础模型的成功率是0%。
团队还观察到,模型在仿真里学到的本事能迁移出去——换到新机器人、真实物理环境,甚至训练中没见过的任务指令,都能用。
在熟悉的场景里,即便任务指令变了,模型成功率仍有57.4%,而对照情况下只有0.75%。
基本操作之外,模型原本的通用推理、代码编写和视觉理解能力,也没出现明显退化。
给模型一张梵高的《星月夜》,它就能指挥机械臂在白板上勾出这幅画的简单线条;换成化学实验,要挑一种试剂来检验溶液是不是碱性,它从几种试剂里选中了酚酞,并靠颜色变化判断出溶液呈碱性。
运行效率方面,使用Robot-Use RL的模型表现也一并公布。
论文第一作者Jiaming Tang是麻省理工学院电子工程与计算机科学系的博士研究生,导师为韩松,研究方向是大型基础模型的高效算法与系统。
Jiaming Tang本科就读于上海交通大学计算机科学专业(ACM 荣誉班),大三期间还担任过相关职务。
目前模型、代码和整套训练基础设施都已公开。
- 技术博客:https://mit-han-lab.github.io/pear-blog/#ref-isola
- Github:https://github.com/mit-han-lab/pear
- 模型权重:https://huggingface.co/collections/mit-han-lab/pear
一、不用人工示范数据,模型靠强化学习自己练
和传统机器人控制方案不一样,这个模型操控机器人时不需要额外的任务执行框架。
每一轮操作中,模型先拿到摄像头画面和机械臂状态,用思维链做推理,再以文本形式给出机械臂下一个目标位姿。
逆运动学算法负责算出关节角度,机械臂控制器据此把机械臂送到指定位置。
举个例子,机器人要拿起桌上的橡皮擦:先靠摄像头找到橡皮擦在哪,再确定机械臂当前状态、该往哪儿移动。
▲ 机器人操作智能体连续执行最后三轮操作,最终拾起一个橡皮擦。图上方展示了计算机操作智能体,作为对比。
机械臂动完之后,模型会重新看画面,判断有没有抓成功,再决定下一步怎么做。
所以这些事都得模型自己扛:从摄像头画面里认出物体,想清楚怎么靠近、怎么操作,动作没按预期走时还得及时发现问题。
全程没有别的模块插手。
它不借助额外的视觉感知工具、抓取规划器或运动规划器,也没用预先设计好的技能库。
模型会把此前每一轮操作的记录留在上下文里。自己看到过什么、已经做过哪些动作,它都记得住,下一步怎么走就依据这些信息来规划。
这些能力全靠任务成败来学。研究团队在仿真环境的机器人任务上做强化学习训练,给这套方法起了个名字叫Robot-Use RL。
二、LIBERO任务成功率从1.6%升至74.4%,比肩Astra
以往的机器人模仿学习,往往要靠大量人工示范数据。这次研究团队没走这条路,他们让模型直接在仿真环境里执行任务。
在Goal、Spatial 和 Object 三个测试子集上,基础模型2%。这意味着,几乎每次训练尝试(。不过经过148个训练步骤后,模型在这三个测试子集上的训练成功率还是升到了约70%。
研究团队在这一阶段没有将。原因有两点:基础模型几乎完不成LIBERO-Long里的任务,强化学习很难拿到有效反馈;另外,把它留作未参与训练的测试集,评估模型的迁移能力会更清楚。
结果显示,到第148个训练步骤时,模型还没接受过任何LIBERO-Long训练,成功率就已经有39.0%,而基础模型只有0.4%。
此时,模型在整个LIBERO基准测试中的成功率已经达到64.0%。
从第149个训练步骤起,研究团队把四个测试子集全部投入训练。之后成功率继续往上走:第184步69.5%,第225步74.4%,每次提升都在5个百分点左右。
▲左图展示 LIBERO 基准测试的成功率。右图展示强化学习训练过程中,每个训练步骤对应的任务成功率。
这些结果说明,哪怕基础模型一开始的任务成功率很低,只靠强化学习也能把它拉到较高水平。
这项研究里,模型的任务成功率从1.6%提升到了74.4%。这个成绩已经接近GPT-6.1 Sol在最高推理强度下的76.2%,与GPT-6 Astra的80.6%也相差不远。
三、面对全新任务指令,模型成功率57.4%,π0.5仅为0.75%
模型只在LIBERO上训练过,但学到的本事并不只限于训练任务。测试场景或任务一变,它仍然比较稳,训练中没见过的指令也能执行。
这些能力还能迁移到新的基准测试、新的机器人以及真实物理环境中。
研究团队用LIBERO-Plus来测模型的鲁棒性。这两个基准测试都会对LIBERO中的任务做不同形式的扰动,而这些变化都没出现在两个模型的训练数据里。
LIBERO-Plus主要改的是模型的观察条件,比如摄像头视角、光照、背景和传感器噪声。
LIBERO-Pro把任务目标和物体摆放也一并改掉。
LIBERO-Plus测试里,两个模型的成绩都往下掉,幅度差不多:π0.5降了11.2个百分点,研究团队的模型降了12.2个百分点。
[[保留1]]
到了LIBERO-Pro,研究团队的模型还是只掉约12个百分点,π0.5的成功率却掉了43.6个百分点。
结果就是,π0.5原先在LIBERO上领先研究团队模型22.5个百分点,换到LIBERO-Pro上反倒落后8.8个百分点。
研究团队的模型能在LIBERO-Pro上超过π0.5,关键在于它能应付机器人实际操作目标被改掉这类扰动。
这部分包含两类测法:一是改任务要求,二是改物体位置。
第一种做法是保留训练时的场景和初始状态,只给机器人下一条新指令,让它去做另一件事。
π0.5的成功率从LIBERO上的96.9%掉到0.75%,少了96.2个百分点。
研究团队的模型则从74.4%降到57.4%,只掉了17.0个百分点。
[[保留2]]
看得出来,π0.5还是会在原场景里执行训练时学过的任务,研究团队的模型能按新指令把操作做出来。
另一类测法反过来:物体位置变了,任务指令不变。
机器人要完成的还是同一项任务,只是物体挪了地方,运动轨迹得跟着改。
这一项里,π0.5的成功率掉了76.1个百分点,最后是20.8%;研究团队的模型只掉16.9个百分点,最终为57.5%。
说白了,π0.5在训练时学到的动作方式还能用得上时,表现不错;一旦任务要求它换一套动作,成绩就明显下滑。
研究团队的模型在各类扰动下成功率下降1至17个百分点,但依然能按指令完成任务。
研究团队认为,这背后是模仿示范数据与理解任务再做推理的差别。
他们的模型保住了基础模型理解语言指令和场景的能力,强化学习则进一步教模型依据理解到的信息去行动。
四、零样本迁移至真实机器人,模型任务成功率达60%
除了在LIBERO上训练和测试,研究团队还把模型放进其他仿真环境和真实世界的机器人上跑了一遍。
结果显示,模型学到的技能还能迁移到完全不同的仿真环境和机器人上。
首先是
它使用双臂
研究团队的模型只在LIBERO上训练过,在RoboDojo的通用物体抓取任务中却拿到39.9%的成功率,接近基础模型10.7%的四倍。
积木对齐任务中,该模型成功率达到17.0%,基础模型为13.0%。
模型迁移能力也做了测试。
可见,模型在LIBERO里学到的东西,既不依赖该仿真环境,也没被其中所用的机械臂限制住。
研究团队另外还用了第三个仿真基准。
RoboLab-120搭载的正是这一基准。
1200轮测试下来,团队模型的成功率为37.3%,基础模型仅有5.4%。
RoboLab-120的1200轮测试结果见上图。
这一数字与36.8%大体相当,同时高于π0.5的28.0%、25.7%和7.2%。
仿真训练完成后,团队把模型搬到了真实双臂机器人上。
流程是先用LIBERO的最终训练模型,再拿到RoboDojo里做强化学习,全程依旧在仿真环境中进行。
训练推进115步之后,通用物体抓取和积木对齐两项任务的训练成功率由约25%升到约70%。
两项任务训练成功率的走势见上图。
到了RoboDojo的评估环节,最终模型在通用物体抓取上拿到71.2%的成功率,积木对齐任务则为78.8%。
训练之前,这两项的成功率分别是39.9%和17.0%。
整个训练没有碰过任何真实机器人数据,模型在真实双臂YAM机器人上的任务成功率仍有60%,基础模型则是0%。
即便是只在LIBERO上训出来的最终模型,此前既没见过这些测试任务,也没接触过这款机器人,任务成功率依然有23%。
真实机器人测试中,所有模型都采用xhigh(最高推理强度)设置,结果见上图。
抓物体、排积木之外,团队还设置了一些要靠知识储备和推理才能完成的真实机器人任务。
图10展示了真实机器人上的推理任务。
比如递一张《星月夜》给模型,它就能在白板上画出这幅画的简笔线条版。
化学实验里,团队让模型判断某溶液是不是碱性。
面对碘、乙醇等试剂,模型挑中了酚酞——酚酞遇碱性溶液会变粉红。加进去之后,溶液果然变成了粉红色。
这类任务考验的是世界知识和推理能力,而这些能力源自它的基础模型。
做这类任务时,团队会在提示词里写清机器人的结构、能力以及具体任务要求。
研究中还有一个发现:即便在机器人任务上做强化学习,模型原有的推理、代码和视觉能力也没有被破坏。
团队拿同样的问题,在9项基准测试里对训练后的模型和基础模型做了配对比较。9项测试下来,没有测到模型性能出现下滑。
效率方面,训练用的是最高推理强度,推理加速则靠NVFP4权重和DFlash2投机解码器(Drafter)。
在Inco的Splash推理引擎上,M5 Max芯片的解码速度是每秒52 Token;配合团队自己开发的221 Token,单张GB300 GPU上能跑到每秒747 Token。
按每秒747 Token算,最高推理强度下跑完一轮思考平均约4.3秒,低推理强度下约1.1秒。
换句话说,推理强度怎么设,直接关系到任务成功率和执行速度之间怎么平衡。
这次用的是Inco原始的DFlash2检查点,平均Token接受长度为3.2个。团队判断,若能针对自家模型专门训一个投机解码器,Token接受长度还有提升空间,解码速度也能跟着快起来。
结语:模型泛化能力亮眼,但执行速度仍是考验
整项研究的思路,是把通用推理模型和机器人操作接到一起,让模型靠强化学习根据任务结果调整操作方式,而不是依赖人工示范数据来学。
模型在仿真环境里学到的东西,还能迁移到新的机器人、真实的物理环境,以及训练时压根没见过的任务指令上。
原有的通用推理、代码编写和视觉理解能力,也没受到明显影响。
不过团队自己也点了当前方法的短板。
一是训练规模有限,后续训练只在RoboDojo的两个任务上做过;加上缺少高质量的分布内数据,监督微调也没用上。
二是机器人干活还是偏慢,每个动作执行前都要花较长时间推理,对机器人本体信息和提示词依赖较强,模型自身能力也有一定局限。