MIT韩松团队让Qwen3.8-27B操控机械臂,真实任务成功率60%

资讯 腾讯网 作者:机器人前瞻 全文 5277 字 · 约 14 分钟读完 配图 1 张 分类Qwen3.8-27BQwen3机器人

机器人前瞻(公众号:robot_pro) 作者 | 刘俐杉 编辑 | 许丽思 机器人前瞻11月16日报道,近日,MIT韩松团队提出了一种名为Robot-Use RL的机....

所属频道 机器人与具身智能

机器人前瞻公众号近日发布消息,作者刘俐杉,编辑许丽思。

11月16日,机器人前瞻报道称,MIT韩松团队公开了一项机器人强化学习方法,名字叫Robot-Use RL。

这套方法把强化学习用在仿真环境里的机器人任务上:模型一边执行任务,一边依据完成情况拿到反馈。

团队以Qwen3.8-27B为基础展开训练。

在仿真环境中,模型的任务成功率从1.6%升到74.4%,已经逼近开启最高推理强度时的水平。

放到真实双臂机器人上,训练后的模型任务成功率达到60%;训练之前,基础模型的成功率是0%。

团队还观察到,模型在仿真里学到的本事能迁移出去——换到新机器人、真实物理环境,甚至训练中没见过的任务指令,都能用。

在熟悉的场景里,即便任务指令变了,模型成功率仍有57.4%,而对照情况下只有0.75%。

基本操作之外,模型原本的通用推理、代码编写和视觉理解能力,也没出现明显退化。

给模型一张梵高的《星月夜》,它就能指挥机械臂在白板上勾出这幅画的简单线条;换成化学实验,要挑一种试剂来检验溶液是不是碱性,它从几种试剂里选中了酚酞,并靠颜色变化判断出溶液呈碱性。

运行效率方面,使用Robot-Use RL的模型表现也一并公布。

论文第一作者Jiaming Tang是麻省理工学院电子工程与计算机科学系的博士研究生,导师为韩松,研究方向是大型基础模型的高效算法与系统。

Jiaming Tang本科就读于上海交通大学计算机科学专业(ACM 荣誉班),大三期间还担任过相关职务。

目前模型、代码和整套训练基础设施都已公开。

  • 技术博客:https://mit-han-lab.github.io/pear-blog/#ref-isola
  • Github:https://github.com/mit-han-lab/pear
  • 模型权重:https://huggingface.co/collections/mit-han-lab/pear

一、不用人工示范数据,模型靠强化学习自己练

和传统机器人控制方案不一样,这个模型操控机器人时不需要额外的任务执行框架。

每一轮操作中,模型先拿到摄像头画面和机械臂状态,用思维链做推理,再以文本形式给出机械臂下一个目标位姿。

逆运动学算法负责算出关节角度,机械臂控制器据此把机械臂送到指定位置。

举个例子,机器人要拿起桌上的橡皮擦:先靠摄像头找到橡皮擦在哪,再确定机械臂当前状态、该往哪儿移动。

▲ 机器人操作智能体连续执行最后三轮操作,最终拾起一个橡皮擦。图上方展示了计算机操作智能体,作为对比。

机械臂动完之后,模型会重新看画面,判断有没有抓成功,再决定下一步怎么做。

所以这些事都得模型自己扛:从摄像头画面里认出物体,想清楚怎么靠近、怎么操作,动作没按预期走时还得及时发现问题。

全程没有别的模块插手。

它不借助额外的视觉感知工具、抓取规划器或运动规划器,也没用预先设计好的技能库。

模型会把此前每一轮操作的记录留在上下文里。自己看到过什么、已经做过哪些动作,它都记得住,下一步怎么走就依据这些信息来规划。

这些能力全靠任务成败来学。研究团队在仿真环境的机器人任务上做强化学习训练,给这套方法起了个名字叫Robot-Use RL。

二、LIBERO任务成功率从1.6%升至74.4%,比肩Astra

以往的机器人模仿学习,往往要靠大量人工示范数据。这次研究团队没走这条路,他们让模型直接在仿真环境里执行任务。

在Goal、Spatial 和 Object 三个测试子集上,基础模型2%。这意味着,几乎每次训练尝试(。不过经过148个训练步骤后,模型在这三个测试子集上的训练成功率还是升到了约70%。

研究团队在这一阶段没有将。原因有两点:基础模型几乎完不成LIBERO-Long里的任务,强化学习很难拿到有效反馈;另外,把它留作未参与训练的测试集,评估模型的迁移能力会更清楚。

结果显示,到第148个训练步骤时,模型还没接受过任何LIBERO-Long训练,成功率就已经有39.0%,而基础模型只有0.4%。

此时,模型在整个LIBERO基准测试中的成功率已经达到64.0%。

从第149个训练步骤起,研究团队把四个测试子集全部投入训练。之后成功率继续往上走:第184步69.5%,第225步74.4%,每次提升都在5个百分点左右。

▲左图展示 LIBERO 基准测试的成功率。右图展示强化学习训练过程中,每个训练步骤对应的任务成功率。

这些结果说明,哪怕基础模型一开始的任务成功率很低,只靠强化学习也能把它拉到较高水平。

这项研究里,模型的任务成功率从1.6%提升到了74.4%。这个成绩已经接近GPT-6.1 Sol在最高推理强度下的76.2%,与GPT-6 Astra的80.6%也相差不远。

三、面对全新任务指令,模型成功率57.4%,π0.5仅为0.75%

模型只在LIBERO上训练过,但学到的本事并不只限于训练任务。测试场景或任务一变,它仍然比较稳,训练中没见过的指令也能执行。

这些能力还能迁移到新的基准测试、新的机器人以及真实物理环境中。

研究团队用LIBERO-Plus来测模型的鲁棒性。这两个基准测试都会对LIBERO中的任务做不同形式的扰动,而这些变化都没出现在两个模型的训练数据里。

LIBERO-Plus主要改的是模型的观察条件,比如摄像头视角、光照、背景和传感器噪声。

LIBERO-Pro把任务目标和物体摆放也一并改掉。

LIBERO-Plus测试里,两个模型的成绩都往下掉,幅度差不多:π0.5降了11.2个百分点,研究团队的模型降了12.2个百分点。

[[保留1]]

到了LIBERO-Pro,研究团队的模型还是只掉约12个百分点,π0.5的成功率却掉了43.6个百分点。

结果就是,π0.5原先在LIBERO上领先研究团队模型22.5个百分点,换到LIBERO-Pro上反倒落后8.8个百分点。

研究团队的模型能在LIBERO-Pro上超过π0.5,关键在于它能应付机器人实际操作目标被改掉这类扰动。

这部分包含两类测法:一是改任务要求,二是改物体位置。

第一种做法是保留训练时的场景和初始状态,只给机器人下一条新指令,让它去做另一件事。

π0.5的成功率从LIBERO上的96.9%掉到0.75%,少了96.2个百分点。

研究团队的模型则从74.4%降到57.4%,只掉了17.0个百分点。

[[保留2]]

看得出来,π0.5还是会在原场景里执行训练时学过的任务,研究团队的模型能按新指令把操作做出来。

另一类测法反过来:物体位置变了,任务指令不变。

机器人要完成的还是同一项任务,只是物体挪了地方,运动轨迹得跟着改。

这一项里,π0.5的成功率掉了76.1个百分点,最后是20.8%;研究团队的模型只掉16.9个百分点,最终为57.5%。

说白了,π0.5在训练时学到的动作方式还能用得上时,表现不错;一旦任务要求它换一套动作,成绩就明显下滑。

研究团队的模型在各类扰动下成功率下降1至17个百分点,但依然能按指令完成任务。

研究团队认为,这背后是模仿示范数据与理解任务再做推理的差别。

他们的模型保住了基础模型理解语言指令和场景的能力,强化学习则进一步教模型依据理解到的信息去行动。

四、零样本迁移至真实机器人,模型任务成功率达60%

除了在LIBERO上训练和测试,研究团队还把模型放进其他仿真环境和真实世界的机器人上跑了一遍。

结果显示,模型学到的技能还能迁移到完全不同的仿真环境和机器人上。

首先是

它使用双臂

研究团队的模型只在LIBERO上训练过,在RoboDojo的通用物体抓取任务中却拿到39.9%的成功率,接近基础模型10.7%的四倍。

积木对齐任务中,该模型成功率达到17.0%,基础模型为13.0%。

模型迁移能力也做了测试。

可见,模型在LIBERO里学到的东西,既不依赖该仿真环境,也没被其中所用的机械臂限制住。

研究团队另外还用了第三个仿真基准。

RoboLab-120搭载的正是这一基准。

1200轮测试下来,团队模型的成功率为37.3%,基础模型仅有5.4%。

RoboLab-120的1200轮测试结果见上图。

这一数字与36.8%大体相当,同时高于π0.5的28.0%、25.7%和7.2%。

仿真训练完成后,团队把模型搬到了真实双臂机器人上。

流程是先用LIBERO的最终训练模型,再拿到RoboDojo里做强化学习,全程依旧在仿真环境中进行。

训练推进115步之后,通用物体抓取和积木对齐两项任务的训练成功率由约25%升到约70%。

两项任务训练成功率的走势见上图。

到了RoboDojo的评估环节,最终模型在通用物体抓取上拿到71.2%的成功率,积木对齐任务则为78.8%。

训练之前,这两项的成功率分别是39.9%和17.0%。

整个训练没有碰过任何真实机器人数据,模型在真实双臂YAM机器人上的任务成功率仍有60%,基础模型则是0%。

即便是只在LIBERO上训出来的最终模型,此前既没见过这些测试任务,也没接触过这款机器人,任务成功率依然有23%。

真实机器人测试中,所有模型都采用xhigh(最高推理强度)设置,结果见上图。

抓物体、排积木之外,团队还设置了一些要靠知识储备和推理才能完成的真实机器人任务。

图10展示了真实机器人上的推理任务。

比如递一张《星月夜》给模型,它就能在白板上画出这幅画的简笔线条版。

化学实验里,团队让模型判断某溶液是不是碱性。

面对碘、乙醇等试剂,模型挑中了酚酞——酚酞遇碱性溶液会变粉红。加进去之后,溶液果然变成了粉红色。

这类任务考验的是世界知识和推理能力,而这些能力源自它的基础模型。

做这类任务时,团队会在提示词里写清机器人的结构、能力以及具体任务要求。

研究中还有一个发现:即便在机器人任务上做强化学习,模型原有的推理、代码和视觉能力也没有被破坏。

团队拿同样的问题,在9项基准测试里对训练后的模型和基础模型做了配对比较。9项测试下来,没有测到模型性能出现下滑。

效率方面,训练用的是最高推理强度,推理加速则靠NVFP4权重和DFlash2投机解码器(Drafter)。

在Inco的Splash推理引擎上,M5 Max芯片的解码速度是每秒52 Token;配合团队自己开发的221 Token,单张GB300 GPU上能跑到每秒747 Token。

按每秒747 Token算,最高推理强度下跑完一轮思考平均约4.3秒,低推理强度下约1.1秒。

换句话说,推理强度怎么设,直接关系到任务成功率和执行速度之间怎么平衡。

这次用的是Inco原始的DFlash2检查点,平均Token接受长度为3.2个。团队判断,若能针对自家模型专门训一个投机解码器,Token接受长度还有提升空间,解码速度也能跟着快起来。

结语:模型泛化能力亮眼,但执行速度仍是考验

整项研究的思路,是把通用推理模型和机器人操作接到一起,让模型靠强化学习根据任务结果调整操作方式,而不是依赖人工示范数据来学。

模型在仿真环境里学到的东西,还能迁移到新的机器人、真实的物理环境,以及训练时压根没见过的任务指令上。

原有的通用推理、代码编写和视觉理解能力,也没受到明显影响。

不过团队自己也点了当前方法的短板。

一是训练规模有限,后续训练只在RoboDojo的两个任务上做过;加上缺少高质量的分布内数据,监督微调也没用上。

二是机器人干活还是偏慢,每个动作执行前都要花较长时间推理,对机器人本体信息和提示词依赖较强,模型自身能力也有一定局限。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  2. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  3. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
  4. 英伟达GR00T 2开源在即:机器人能预判后果了?

    出品|虎嗅科技组作者|易玉琴编辑|苗正卿头图|GR00T 2上周,大家都忙着吃黄仁勋的“大瓜”,以至于很多人都错过了英伟达的一次重要技术更新。就在黄仁勋辞职的三天前,11月9日,英伟达在美国奥斯汀的机器人学习大会CoRL上,发布了新一代机器人基础模型GR00T 2。在这次发布中,英伟达机器人研究负责人Jim Fan先是

    来源 腾讯网
  5. 机器人记忆该不该有时钟?纽约大学上海分校团队提出TFP

    泡茶的时候,你把茶包放进水里,然后呢?如果你是一个只会"看图识字"的机器人,这一刻你会很困惑。茶包刚放进去的画面,和泡了三十秒之后的画面,可能几乎一模一样,水还是那杯水,茶包还是那个茶包,颜色变化微乎其微。但正确的动作完全不同:刚放进去要等待,泡够时间了要立刻拿起来。问题是,机器人怎么知道"现在该拿了...

    来源 腾讯网
  6. 王兴兴谈2026年:机器人AI突破在即,量产与算力挑战待解

    南方财经 21世纪经济报道记者 郑青亭 深圳报道11月17日,2026年APEC工商领导人峰会在深圳举行。宇树科技创始人王兴兴在会上表示,最近几年国内乃至全球机器人行业都非常热,原因是纯语言或文字的AI模型在个人生活和工作中的价值越来越大,大家希望借助AI让机器人真正干活。但他也坦言,目前挑战也不小。他认为,当下最棘手

    来源 腾讯网
  7. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  8. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  9. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  10. 众筹超500万美元,全球首款多地形跟拍机器人Beni线下首发

    2026 年 11 月 14 日,深圳湾文化广场北馆INNO100 全球创新旗舰店,Kickstarter为其平台上的众筹爆款新品——妙动科技打造的多地形跟拍机器人Beni,举办“首硬礼”中国线下首发活动。即日起用户可在该线下门店现场体验并直接购买Beni跟拍机器人,标准套装4999元、探索套装5799元。 此前,Be

    来源 AI 行业观察
  11. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  12. SpaceX星舰第15飞:飞船筷子夹成功,意味着什么

    11月14日,SpaceX星舰第15次试验飞行完成历史性突破。星舰上级飞船在完成约22.5小时太空飞行、14圈绕地后重返大气层,被得克萨斯州星港发射塔“筷子”机械臂精准捕获,这是全球航天史上首次实现从轨道返回的飞船由发射塔实施空中回收。不过,原计划同时回收的超重型助推器因发动机提前关机、制导系统判断姿态不符而自动中止.

    来源 腾讯网
  13. 机器人产业升温:南方电网联手宇树,京东工业上线零部件采购平台

    * 行业动态 机器人行业日报(11.14) : 机器人产业升温 机器人产业升温,多企业与机构合作布局,市场规模预计2025年达9150亿元。南方电网与宇树科技签署战略合作,特斯拉人形机器人预计2027年底交付。全球具身智能企业超400家,中国占比半数。京东工业发布机器人零部件采购平台,沈阳市举办融资需求对接会。2026

    来源 腾讯网
  14. 脑机接口走向日常:从瘫痪患者操控机械臂到普通人用得起吗?

    如果有一天,你只要想一想,就能让机械臂递来一杯水,或让屏幕自己打出一行字,你会觉得这是科幻吗?这正是脑机接口正在尝试的事。通俗地讲,它就像是在大脑和机器之间搭起一座桥梁:大脑活动时会产生微弱信号,设备把这些信号读出来,再“翻译”成机器能懂的命令。于是,人不用动手、不用开口,也能操控外部设备。这项技术...

    来源 腾讯网
  15. 退货仓里的机器人:从搬箱子到直接分拣衣服

    双11结束了,退货仓里的忙碌才刚刚开始。过去,自动化设备已经接手了不少工作。如今,双臂机器人又开始直接抓取、识别和分拣退回来的商品。一场围绕退货处理的人机分工变化,正在仓库里发生。

    来源 AI 行业观察
  16. 杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界

    ▲从一只瓷杯到可复用的数据资产——编译发生在每一次操作之后。 桌上摆着几只茶杯。采集者戴上头戴设备,把杯子逐一拿起、移开,再放回原位。设备记录了连续视频和惯性测量单元(IMU)数据。看上去,动作已经被完整保存。可一旦任务结束,这段经验通常也就结束了。它没有自然地变成下一次可以调用的能力。 但在杨哲轩看来,问题恰恰在这里

    来源 AI 行业观察
  17. 菜鸟AI接管国际物流全链路,海外仓机器人上岗迎大促

    【环球网科技综合报道】年末大促季来临,国际物流进入履约高峰。记者获悉,菜鸟正加速推进AI与具身智能在国际物流全链路的规模化应用,以AI决策、机器人执行协同发力,提升全球大促物流保障能力。在跨境履约层面,AI已成为全局调度的重要中枢。AI实时分析全网货量、产能、舱位及末端承接能力,提前识别运力缺口,动态调度航...

    来源 腾讯网
向下滚动自动加载更多