MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人

资讯 AI 行业观察 全文 4359 字 · 约 11 分钟读完 配图 14 张 分类GPTQwen3.8-27BOpenAI

逼近GPT-6Astra!韩松团队让Qwen3.8-27B在5090上操作机械...

所属频道 大厂动态ChatGPT 与 GPT
MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 1)
[正文] 机器之心编辑部

Fable 和 GPT-6 Astra 先后发布之后,具身智能行业被狠狠推了一把,甚至冒出一种说法:通用大模型能把机器人的所有事都包了。


开发者一窝蜂把这两个模型装进机器人,拿它们去啃各种复杂任务。可越往下试,模型体积过大的麻烦就越清楚:推理花费高,响应速度跟不上实时控制,端侧的算力、功耗和散热又都卡着脖子。这些模型本事再大,也很难直接上机器干活。


如何让通用大模型能够让机器人用得起、跑得动,成了新的难题。


但这一切都将开始改变。MIT 韩松团队公布了机器人后训练项目 PEAR (Post-training Engine for Agentic Robotics),把一个 27B 参数的千问模型接上一台真实的双臂机器人。


实机演示有两段。研究者递上一张梵高的《星空》,它用夹爪在白板上描出了线稿。另一段里,桌上放着碘水、酚酞、乙醇三瓶试剂,问它怎样判断溶液是不是碱性,它选了酚酞滴进去,溶液随即变粉。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 2)


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 3)


PEAR 的底座是开源的 Qwen3.8-27B,训练时不用一帧人类遥操演示,也不用一条真机数据,强化学习全在仿真环境里完成。训完直接搬到一台它从没见过的双臂 YAM 真机上,30 次测试过了 18 次,而训练前是 0 次。它的通用性更强,按指令办事的能力也压过 π0.5。在 LIBERO 模式下,它的成绩差不多能和 Astra Max 打平。


放到 RTX 5090 上跑,速度能到 220 tok/s 以上,本地跑完全没问题。


另外,在 AIME、GPQA、LiveCodeBench 等九项通用 benchmark 上,它的分数跟 Qwen3.8-27B 相比几乎没有变化,数学、编程这些通用能力并没有丢。代码放在 GitHub 上:https://github.com/mit-han-lab/pear


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 4)


  • 论文链接:https://mit-han-lab.github.io/pear-blog/paper.pdf

  • 模型权重链接:https://huggingface.co/collections/mit-han-lab/pear

  • 博客链接:https://mit-han-lab.github.io/pear-blog/


用电脑的方式,其实也就是用机械臂的方式。这个思路挺巧:机械臂的操作跟电脑操作本来就相似,差别只在二维和三维。



智能体的 Computer Use 是怎么干的?先看一张截图,在思维链里判断「保存按钮在右上角」,输出 click (812, 431),再由操作系统挪动鼠标。


PEAR 对机械臂做的是一回事。每回合它拿到三路摄像头画面和机械臂当前的关节状态,在思维链里分析「夹爪在橡皮正上方,把手指降到橡皮两侧」,再吐出一段 JSON,里面是末端执行器下一个目标位姿(x、y、z、roll、pitch、yaw)。逆运动学据此算出关节角,底层控制器把机械臂驱动到位。这一回合的结果连同新拍到的画面一起回填进上下文,下一回合接着来。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 5)

上图为计算机操作智能体,下方三帧连起来的是机器人操作智能体最后一轮又一轮去拾取橡皮擦的全过程,用作对照。


每一轮它都盯着摄像头画面和机械臂状态,先在思维链里过一遍,再给出末端执行器下一步该去的位姿;接着逆运动学算法和机械臂控制器把动作落实下去,这一轮的记录同样塞进上下文,下一轮决策接着用。


整个流程里找不到感知模块、抓取规划器和技能库的影子。物体在哪儿、路径怎么走、上一步偏了多少,全凭模型自己从相机画面里判断出来。训练方案名叫 Robot-Use RL,思路跟前沿模型学着用电脑是一回事。


具身上逼近 GPT-6 Astra 的小模型


机器人操控领域有个老牌 benchmark 叫 LIBERO,分成 Goal、Spatial、Object、Long 四个子套件,评测 episode 一共 2000 个。


零样本状态下 Qwen3.8-27B 只有 1.6%,做完 RL 训练的 PEAR 升到 74.4%。同一场里的闭源旗舰成绩是:GPT-6 Astra medium 档 49.3%,max 档 76.2%;GPT-6.1 Sol medium 档 48.1%,max 档 80.6%。PEAR 跑的是 xhigh 档。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 6)

左图给出的是 LIBERO 任务成功率,右图记录的是 RL 训练过程中每一步采样轨迹(rollout)的成功率。


在 LIBERO 原版上,π0.5 拿到 96.9%,PEAR 是 74.4%,差距摆在那儿。不过研究者又加了 LIBERO-Plus 和 LIBERO-Pro 两个扰动版本,局面马上不一样了。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 7)

两种策略都在 LIBERO 上训练,图中是模型在 LIBERO 及两个扰动版本上的任务成功率(%)。


LIBERO-Plus 动的主要是观测条件——相机角度、光照、背景、传感器噪声,两个模型的跌幅差不多;LIBERO-Pro 则直接改掉任务目标和物体布局。两种关键扰动看下来:


  • 场景、物体、初始状态都原样保留,只把指令换掉。训练时说的是「把碗放到盘子上」,评测时改问「把碗放到炉灶上」。结果π0.5从96.9%直落到0.75%,丢了96.2分;PEAR则从74.4%退到57.4%,少了17分。另一种做法是指令不动、把物体位置对调,同一句话要走的路完全不同。这一回π0.5掉到20.8%,失分76.1;PEAR落在57.5%,减了16.9分。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 8)


剩下的两种扰动是改写指令措辞和替换物体外观,π0.5在这两项上依旧占优——原因也简单,正确轨迹本身没变。它记住的是训练时见过的动作套路,套路还能用就拿高分,用不上就彻底崩。PEAR走的是另一条路:基础模型的指令理解与视觉感知被保留下来,RL教会它看着眼前画面和指令重新算出位姿。说到底,一个在模仿,一个在推理,任务条件一动,差距就拉开了。


纯仿真训练


PEAR的整个训练过程都在仿真里跑,真实机器人的数据一点没接触。

迁移测试分三个维度来做。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 9)


第一个维度是新任务。模型先在LIBERO-Goal、Spatial、Object上训练,再到LIBERO-Long上零样本测试,拿到39.0%,底座只有0.4%。在一个长程任务套件上,它从几乎不会做,一下跳到接近四成。


第二个维度同时换了机器人和仿真器。RoboDojo是套完全不同的仿真环境,机械臂也从LIBERO的单臂Franka改成双臂ARX。PEAR只在LIBERO上练过,RoboDojo和ARX都没碰,直接上general_pickup就拿到39.9%,底座为10.7%,提升接近四倍。


第三个维度换了benchmark。RoboLab-120是另一个仿真评测平台,含120个桌面任务、三个难度级别,每项任务评测10次。在LIBERO + RoboDojo上训练过的PEAR跑出37.3%,底座是5.4%。RoboLab排行榜上通才机器人策略的成绩可以对照:NVIDIA Cosmos3-Nano-Policy 36.8%、π0.5 28.0%、DreamZero 25.7%、GR00T N1.6 7.2%。PEAR与Cosmos3基本持平,比另外三家都高。


真机环节,研究者把在 LIBERO 和 RoboDojo 上都训练过的模型搬上了一台双臂 YAM。这台机器人在训练中根本没出现过——仿真器、机械臂型号、物理环境,对它来说全是新的。测试一共 30 次,分成两组:Align blocks 组用三角尺把三个积木摆成一条直线,5 个场景各做 2 次,合计 10 次;General pickup 组则抓取绳子、螺丝、遥控器、毛绒乌龟、网球、订书机、洗洁精、喷雾罐、气泵、刷子这 10 种物体,每种 2 次,共 20 次。



MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 10)


结果差距不小。底座模型 Qwen3.8-27B 在真机上直接挂零,0/30。只在 LIBERO 上训过的那个中间检查点拿到 7/30。完整版则做到了 18/30,成功率 60%。


那通用能力还保得住吗?毕竟模型是通过强化学习学会操控机器人的,原先的推理、编程、视觉本事还在不在,需要单独验证。



MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 11)

PEAR 和基础模型在同一批问题上的对比如下。圆点代表得分变化,线段是配对比较的 95% 置信区间。


评测给出的答案是比较稳:AIME 2026 数学竞赛测试得分 98.5,GPQA Diamond 科学知识测试 89.7,LiveCodeBench 代码能力测试 88.4。视觉类基准上,它和基础模型的差距都在 2 分以内。


也就是说,同一个模型眼下既做推理、写代码、答图像题,也能上手操作真实的机器人。


一张 RTX 5090 能跑到 220 token/s。


机械臂每一步动作前都得先跑一遍思维链,响应节奏快不快,直接由解码速度说了算。


推理这套栈由两部分组成:权重采用 NVFP4 量化(NVIDIA ModelOpt),drafter 则来自 Inco AI 的 DFlash2,平均接受长度 3.2 token。放到不同硬件上,解码速度如下:


  • Apple M5 Max 用 Inco Splash 引擎,跑到 52 tok/s;单张 RTX 5090 加 megakernel,是 221 tok/s;单张 GB300 同样用 megakernel,达到 747 tok/s。


拿 GB300 来说,xhigh 档思考一回合约 4.3 秒,low 档约 1.1 秒。训练阶段只用了 xhigh 档,到推理时 effort 依然可以调。low 档的思考 token 约 0.86k(xhigh 约 3.23k),LIBERO 成功率随之从 74.4% 降到 21.9%——思考量少多少,成功率基本就跌多少。


MIT韩松团队推PEAR:Qwen3.8-27B在5090上操控双臂机器人(配图 12)


一个 27B 的机器人模型带着思维链,在单张消费级 GPU 上就能实时带动机械臂。这件事的实际价值,恐怕还大过 60% 的真机成功率本身。


PEAR 跑通了一条有看头的技术路线:基础模型的推理能力够强之后,仿真环境里的强化学习就有机会教会它操纵真实机械臂。这样一来,复杂的感知管线不用另建,技能库不用另搭,大量遥操作数据也可以省掉。


还有一层意义:PEAR 既展示了通用模型做具身操作的潜力,也把实现这种能力所需的模型规模和算力门槛往下压了一截。


以前行业习惯把更强的机器人智能押在更大的模型、更多的数据、更贵的算力上。PEAR 给出了另一种答案:机器人不一定非得配一个专门训练的庞大「大脑」,相对轻量的通用模型,也有可能拿到够用的操作能力。


当然,要应对复杂、开放的真实物理环境,路还长。但 PEAR 至少让行业看到,通往通用机器人智能的路未必只有一条,也未必那么烧钱。


更多细节可查阅原论文。


图片



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI再撤机器人团队:通用模型接管,2027年演示不变

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 行业观察
  2. OpenAI解散机器人团队:GPT-6 Astra直接控机器人,六年三调架构

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 科技快讯
  3. qwen3-max数据边界仅1.36分,WDCD五场景横评全員最低分

    WDCD v3.1试点数据显示,数据边界场景全体得分最低,qwen3-max仅1.36/4;业务规则区分度最大,gpt-6.1-sol 3.88/4与gemini-2.5-pro 2.23/4差距达1.65分。工程规范最高分达4分,五个场景中偏科现象普遍,qwen3-max场景差距2.04分。

    来源 AI 科技快讯
  4. OpenAI撤机器人团队:GPT-6 Astra可直接操控机器人干活

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 OpenAI解散了独立机器人团队,把研究人员打散调往其他部门,因为GPT-6 Astra等通用大模型已经能直接控制机器人干活了。OpenAI已经证实了这次重组。这次调整发生在不久前。就在本周,顶级机器人学术会议CoRL在奥斯汀举行,OpenAI此前已经预订了20

    来源 腾讯网
  5. OpenAI撤掉机器人团队:GPT-6 Astra能直接控机器人,成功率66.3%

    专门为机器人开发的模型,开始在机器人任务上输给通用模型。英伟达 10 月公布的一项仿真测试显示,通用模型 GPT-6 Astra 直接生成机器人动作,成功率达到 66.3%;使用智能体系统后,成功率进一步升至 74.8%,远超专用机器人模型的表现。理解场景、判断下一步、根据执行结果纠错,这些过去需要机器人研究者专门处理

    来源 腾讯网
  6. OpenAI撤掉机器人团队:GPT-6 Astra能直接管机器人,专用模型还香吗

    OpenAI称,公司研究人员原本认为,推进机器人技术的最佳方式是建立在Sora等模型的研究成果之上,但此后发现GPT-6 Astra等通用前沿模型已经展现出直接应用于机器人领域的能力,这促使公司解散独立机器人团队,将相关研究人员转移至更广泛的通用AI模型研发团队。

    来源 华尔街见闻
  7. MiniMax,狂卷字节、OpenAI

    AI生图赛道,最近打得火热。 11月10日晚,MiniMax发布并开放H3-Image模型权重,打出了“又快又便宜”的牌。官方称,它10秒就能生成一张1600万像素的高清图片,价格只有同档位主流工具的50%-70%。 在它之前,OpenAI和字节刚刚交完作业。 11月5日,OpenAI推出Images 2.6GPT I

    来源 AI 行业观察
  8. 无界前沿开源Fx-Bio-1031:生信盲测超GPT-6与Opus-5

    无界前沿正式开源生物信息大模型Fx-Bio-1031。该模型采用125B参数MoE架构,支持本地私有化部署,确保数据不出域。在Anthropic发布的BioMysteryBench困难子集测试中,Fx-Bio-1031取得70.59%的Pass@5成绩,显著高于GPT-6-Astra和Claude Opus-5。模型具

    来源 AI 应用前沿
  9. 前 OpenAI 研究员克里斯蒂亚诺:在世人群最可能死于 AI 失控

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认

    来源 AI 行业观察
  10. 为什么说Gemini才是目前最被低估的真神?

    有很多宣传自己多模态的模型,其实并没有听觉,比如GPT-6、Claude 5.5,你让他们听声音时,他们可能会回得有模有样,但实则把音频偷偷交给其他工具处理,模型本身听不见声音。

    来源 凤凰科技
  11. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  12. OpenAI为ChatGPT上线Wallet:AI可代用户下单结账

    OpenAI为ChatGPT推出全新Wallet功能,允许AI代理代表用户浏览商品、加入购物车并完成结账,首批面向美国Pro订阅用户限量开放。这意味着对话式AI正从“给建议”迈向“替你做”,同时也把支付授权、交易安全与电商流量分配等难题一并摆上台面。

    来源 AI 科技快讯
  13. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  14. OpenAI解散独立机器人团队:具身智能并入通用模型体系

    11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础模型框架下统一解决。截至发稿,OpenAI官方尚未确认并披露相关细节。 这并非OpenAI首次调整机器人路线。2019年,其机械手解魔方项目Dactyl曾引发广

    来源 AI 开发者社区
  15. OpenAI考试AI越界:5个Agent拿到内部系统最高权限

    OpenAI大概没想到,一场7月份就结束的考试,到了11月,居然还能查出新的作弊花样。11月10日,OpenAI公布了一份新的调查报告。今年7月,公司安排一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,结果五个考生越过考场边界,拿到了OpenAI内部研究系统部分工作负载的最高权限。它们有的修好了坏掉的

    来源 腾讯网
  16. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
向下滚动自动加载更多