GreenWAM:一套模型管20种机器人,Sber新研究把动作空间拧成79槽

资讯 腾讯网 作者:腾讯网 全文 6310 字 · 约 16 分钟读完 分类机器人世界模型

你有没有想过一个问题:如果你买了一台机器人,想让它学会叠衣服,它需要知道什么?大多数人的第一反应是,它需要会动手,会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你,光会动手不够。它还得知道,如果我这样动手,接下来会发生什么。衣服会不会滑下去,手会不会碰到桌角,叠好的角会不会歪。这其实是两件事...

所属频道 模型发布机器人与具身智能

假如你入手一台机器人,想让它学会叠衣服,它得先掌握些什么?

多数人先想到的是动手能力:抓、放、转腕子。可真正做过机器人研究的人会讲,光有这些远远不够。它还必须在动手之前就知道,这么动下去会发生什么——衣服会不会往下滑,手会不会撞上桌角,叠出来的角会不会偏。

说到底这是两件事:一是判断世界会怎么变,二是决定自己该怎么动。很长时间里,这两件事各练各的、各评各的。做世界模型的人盯着预测准不准,做策略的人盯着任务成不成。Sber机器人中心那篇叫GreenWAM的论文,抛出的问题不小:同一个模型能不能把这两件事一起干了,还要塞得进20种外形完全不同的机器人身体?

能。但得先解决一件听着琐碎、实则卡住整个行业的麻烦:各家的机器人"身体语言"彼此不通。

机器人世界的巴别塔

机器人不就是关节加电机吗,差异能有多大?实际情况是,每家厂商记录动作的方式都不一样。

关节角度有人记,末端执行器的空间坐标有人记,夹爪开合百分比有人记,每根手指的弯曲角度也有人记。同样是"左手肘往上抬",在A机器人的数据里也许是第4个数字变大,到B机器人那里就变成第11个数字变小。

世界基础模型*:一类通过海量视频学习"世界如何演变"的AI模型,能预测场景在物理规律下接下来会变成什么样子。

想让一个模型控制多种机器人,常见做法是给每类机器人的每种身体部位各配一套"翻译器",论文里叫动作投影。英伟达此前发布的Cosmos 3 Edge走的就是这条路:学了六种机器人的动作,可其中81%的数据来自同一个数据集AgiBot World,动作还被简化成末端执行器位移加一个夹爪开合数值。

好比去了六个说方言的村子,其中一个村子人多势众,你学到的话大半是那村的方言,换个村子就基本听不懂。学到的内容还被压成"大概往哪挪一挪、手张开还是合上"这类粗糙描述,手指怎么弯,系统根本讲不出来。

GreenWAM换了思路:先立一套通用的解剖学坐标系。来的是哪种机器人先不管,第一步是把它的关节动作翻进一套共享的79个"槽位"——腿部12个,身体23个(基座姿态、躯干、头部),手臂18个,手部26个(夹爪开合加上每根手指)。

一套通用坐标系统,由79个固定槽位构成,就是所谓的共享解剖学动作空间:机械臂夹爪的张开与闭合、人形机器人的手指关节,全被映射进含义一致的槽位中——比方说,第47号槽位对应的始终是“右手肘”。

关键设计在这儿:每个机器人配一个专属编解码器,负责把自家原始关节数据做选取、重排、符号和零点调整,再塞进这79个槽位。塞完之后,所有机器人共用同一套输入输出投影层,没有任何一个机器人保有自己的动作参数。

这就像联合国开会,各国同传把本国语言译成英语,译完大家在同一频道上用英语讨论,谁也没法用本国话走后门插一句。不这么干会怎样?你会拿到20套互不相通的翻译系统,一个机器人学会的叠衣服经验,完全传不到另一个机器人身上——它们说的压根不是同一种语言。

论文还提了个细节:这套系统覆盖20个机器人家族,占比最大的单一家族也只占15%的训练小时数;Cosmos 3 Edge里最大的单一数据源却占到81%。这个对比挺能说明问题——训练数据要是被一个"方言村"把持,模型学到的所谓"通用能力",不过是披了层外衣的偏科。

一个大脑,七种思考模式

语言统一了还不够,模型得知道拿这些数据怎么练。

GreenWAM让同一套生成器权重同时学七种任务模式。可以想成一个学生同时备考七门不同却相关的科目:文字生成视频、图片生成视频、带历史记忆的图片生成视频、正向动力学预测(给动作猜画面)、带历史记忆的正向动力学、逆向动力学(给画面猜动作),以及最核心的世界-动作联合建模。

世界-动作模型(WAM)*:这种联合建模方式,把未来视频画面与机器人动作状态偏移量放在一起预测;给定当前的观测画面和机器人姿态,它给出的是随后一小段时间里画面与动作的变化走向。

七种模式并非平均分配训练资源。四分之三的样本拿去学"预测视频"相关任务,剩下四分之一专门练"从视频推断动作"和"世界-动作联合预测"。这么分有原因:只练动作预测,模型会变成光会机械执行、看不懂画面的"肌肉记忆型"机器人,场景一旦出现意料之外的变化,它压根不知道发生了什么。反过来,混进大量纯视频预测任务,模型就被逼着去理解"手伸过去,杯子会被碰倒"这类因果,这也正是后面不少实验结果的关键伏笔。

论文的控制实验里有个发现值得琢磨。训练策略时留一部分视觉预测任务(哪怕只占5%的样本),而不是完全只练动作预测,干净场景下的任务成功率几乎没变;但到了场景被随机打乱(背景换了、灯光变了、桌子高度变了)的测试里,成功率直接高出8个百分点。

这差别有点像厨师只背菜谱和真看菜谱做菜。只练动作预测的模型,等于死记"第三步往左转15度",场景一变就发懵;保住视觉预测能力的模型,好比厨师真懂了"火太大油会溅",场景变了照样知道怎么调,因为它理解世界怎么运转,而不是只记住了一串动作。

论文又做了个验证挺有意思:把策略自己预测的画面解码出来,看它到底在"想象"什么。结果在场景干净、没见过的变化下,哪怕任务最后失败,模型想象的画面和实际执行结果也惊人地一致——它清楚积木会堆错顺序,只是仍然选错了动作。可场景被随机改过之后,13个失败案例里有13个是模型自己的想象先偏离了现实,它可能把一个干扰物当成目标去抓,而想象里抓的也确实就是那个干扰物。

这个结论多少有点反直觉:机器人失败,未必是动作执行得差,问题可能出在它一开始就没看准。保留视觉预测任务之所以在随机场景下能带来明显提升,原因也在这里——训练信号落下的位置,恰好就是错误真正冒出来的地方。

只有一颗统一的大脑还不够。怎么让这颗大脑长出一套能上手干活的策略,本身也是道技术难题。论文的思路是,把生成器里跟动作有关的那部分单独拆出来,做成一个动作专家网络。

刚拆出来的时候,这个专家和生成器一模一样,参数没有任何差别。此后的训练里,两套网络各自独立演化,但每一层都靠共享的注意力机制互通信息。

动作专家*:策略适配阶段从生成器复制而来、专管动作预测的独立网络模块。初始状态与生成器完全相同,随着训练推进才逐渐和视频生成部分拉开差异。

为什么不一开始就用两个独立初始化的网络,或者让动作和视频干脆共用一套参数?实验给了答案。同样的训练预算下,从GreenWAM出发训出的策略,在RoboTwin基准上的平均成功率比从没做过机器人专项训练的Cosmos 3 Edge出发高出5.4个百分点;再加上动作专家这个设计,差距拉大到8.4个百分点。这种优势开局就存在,训练500步时差距还不到1%,到3000步已扩大到5.4%。说到底,这是初始化方式本身带来的红利,不是训到后期才冒出来的玄学。

好比两个实习生进同一家餐厅学做菜。一个此前在各种风格的餐厅都打过杂,另一个只在一家连锁快餐店干过。培训时长一样,前者上手更快,因为他脑子里已经装着一套厨房通用逻辑,只需针对这家店微调。反过来,要是让两人从零开始各自摸索,也就是不给复制继承、随机初始化动作专家,验证集上的损失函数数值看着差不多,实际操作的成率差距却依旧在。损失函数这类数字指标,并不能完整反映策略在真实环境里手稳不稳。

一个模型,两种角色可以互相成就。这篇论文反复验证的其实就是这件事:把世界模型做好和把策略做好并不彼此独立,两者会相互抬升。

论文安排了三组对照实验。第一组看机器人专项训练的影响,即后续适配用GreenWAM而不是它的父模型Cosmos 3 Edge。结果是,无论当世界模型还是当策略,专项训练过的版本都更占优。做世界模型时,它在WorldArena基准上生成的第一段画面峰值信噪比提高1.1分贝,轨迹准确度从44.4升到47.4;做策略时,它预测的画面与真实执行结果更贴近,成功率也随之更高。

峰值信噪比(PSNR)*:用来衡量生成图像与真实图像差异程度的技术指标,数值越高说明生成结果越接近真实,常用单位是分贝。

第二组实验专门考察保留世界模型模式,前面提过,随机场景下成功率提升8个百分点。第三组考察动作专家的拆分设计,前面也提过,带来3.3个百分点的提升。

三组实验摆在一起,指向同一个道理:一个模型如果只盯着最终那个具体任务去优化,遇到没见过的情况往往很脆弱。反过来,始终保留理解世界如何运作这层更底层的能力,哪怕只给它很少一部分训练资源,最终任务的表现反而更稳。

这有点像学开车。只在固定路线上练过倒车入库的人,换个停车场可能就发懵;真正理解车身转向原理、轮胎摩擦力怎么起作用的人,到了任何陌生场地都能现场推算出方向盘该怎么打。GreenWAM的设计,某种程度上就是在逼机器人策略去理解原理,而不是背熟套路。

设计思路说了这么多,真实世界里的成绩单到底如何?论文给出的数字相当扎实。

作为世界模型,在WorldArena 1.0这个公开基准上,GreenWAM的轨迹准确度56.0分、深度准确度98.2分、三维准确度93.4分,三项都是对比模型里的最高分,超过Motubrain和FlowWAM-FiveAges这些专做世界-动作建模的竞品。在计入运动量作弊上限的综合评分EWMScore上,它拿到63.31分,高于两个主要竞品的63.16和62.99。

有个细节值得多说一句。WorldArena的评分体系里有几项指标专门衡量画面动态程度,研究者却发现,不少参赛模型为了在这几项上刷高分,故意让生成的视频动得比真实记录还夸张,有的甚至动了四到八倍。这就像作文要求800字,有人硬写3000字显得内容丰富,其实已经跑题。WorldArena后来专门加了运动量封顶规则。GreenWAM生成的动作本来就没超标,几乎不受影响,分数只掉0.05分;排名靠前的模型则普遍要掉6到11分。

作为策略,在RoboTwin 2.0这个50任务的双臂机器人基准上,GreenWAM干净场景成功率87%、随机场景48.1%,平均67.54%,排在公开排行榜前列。CALVIN基准测试机器人能否连续完成一串语言指令而不中断,它平均完成4.64条指令,高于FLOWER的4.53。LIBERO-plus专门测鲁棒性,摄像头角度、桌子背景、光照都被随机扰动,GreenWAM在这里拿到86.8%的零样本成功率,是对比方法中最高的。

更有说服力的是真机测试。研究者把GreenWAM适配到一台名叫Green的真实人形机器人上,让它做把瓶子和瓶盖装进袋子再提起来这类打包任务。在没见过的场景配置下,GreenWAM的指令完成率达到84%,高于从Cosmos 3 Edge适配的策略(80%)和从π0.5适配的策略(76%)。

要让系统跑在机器人自身的计算单元上、不必依赖昂贵显卡,研究者又做了一轮蒸馏,把原本要多步去噪采样的流程压成一步。蒸馏后的策略每秒可完成28.3次调用,比未优化版本快12.3倍;真机测试中,它对π0.5的优势也还在。

蒸馏*:把一个计算量大、推理慢的"老师模型"的本领,教给结构更简单、推理更快的"学生模型",目的是尽量不损效果,同时大幅提速。

这组数字背后有一套工程思路:好的研究不光要证明"能做到",还得证明"能很快做到"。再聪明的大脑,塞进机器人身体里,反应一慢也用不起来。

写在后面

读这篇论文时,让我停下来想了很久的,是那组关于"机器人想象力"的实验。

研究者让策略在执行动作的同时,把内部预测的画面解码出来,再与实际发生的画面比对。结果显示,在熟悉场景下失败的案例中,模型其实"看懂"了自己会搞砸——它预判积木会堆错顺序,积木也确实堆错了顺序。动作选错了,但对后果的预判是准的。

这挺颠覆我原先对"机器人犯错"的想象。我一直以为机器人出错,多半是"没看清"或者"算错了该往哪动";但这个实验说明,至少有一部分错误,是机器人明知会搞砸,仍然执行了错误的动作。听起来有点像人的某些行为:明知熬夜刷手机第二天会很困,还是忍不住刷了。知道后果,和能据此纠正行为,中间隔着一条不小的鸿沟。

还有一处细节值得看:表格里"重新分配训练数据配额"这一项。Worker/ARX5 家族合计只占全部数据 4.8% 的小时数,采样权重却被研究者抬到 12%。原因在于,它是论文重点部署的两个目标之一。换句话说,系统呈现出的"公平"来自人为设定的倾斜,并非数据自然分布所致。这也说明,打着"通用模型"旗号的东西,背后常常是研究者对哪些场景更要紧的判断;这类判断应当被摆到明面上,而不是让"通用"两个字把它遮过去。

论文最后也坦率承认了局限:策略对任务几何形状的变化依然敏感,比如桌子高度变了3厘米,成功率就会明显下降。原因在于,他们用来让画面更丰富多样的增强手段,只改变了观测画面本身,并没有真正让机器人见过"桌子变高之后手臂该怎么调整轨迹"这类新的运动模式。这份坦诚的局限说明,要让机器人真正具备应对物理世界变化的能力,恐怕还有很长的路要走。

机器人明明能预判自己的动作会失败,最后还是把那个错动作做了出来——这该算感知出了岔子,还是决策环节的问题?还是说,这两件事原本就切不开?

Q&A

Q1:GreenWAM是什么?

A:GreenWAM是Sber机器人中心提出的机器人世界基础模型,基于Cosmos 3 Edge改造而来。它通过一套共享的79槽位解剖学动作空间,统一描述了20种不同机器人家族的身体结构,既能预测场景如何随动作变化,又能直接驱动机器人完成实际任务。

Q2:GreenWAM和之前的Cosmos 3 Edge相比有什么不同?

A:Cosmos 3 Edge 训练时只接触了 6 种机器人,81% 的数据出自同一个数据集,动作被简化为末端执行器位移加夹爪开合。GreenWAM 则涵盖 20 个机器人家族,占比最大的单一家族也只有 15%,它用统一关节坐标替代了原先粗放的末端执行器投影,手指这类精细关节动作同样能表达出来。

Q3:GreenWAM在真实机器人上表现如何?

A:在真实人形机器人Green上完成打包任务时,GreenWAM在没见过的场景配置下指令完成率达84%,高于从Cosmos 3 Edge适配的策略(80%)和从π0.5适配的策略(76%);蒸馏后的加速版本在保持优势的同时,推理速度提升了12.3倍。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI解散机器人团队:英伟达与华为云下周动向,高手盯哪些主线

    每经记者:吴永久 每经编辑:闫峰峰受到英伟达CEO辞职消息刺激,本周五,韩国股指杀跌,A股也受此影响,当日下午光模块、PCB等AI硬件股跌幅居前,资金流向银行、大消费、公用事业等红利资产。从周末的消息面来看,“OpenAI解散独立机器人团队”这个消息受到市场关注。在下周,英伟达将发布财报,华为云将发布具身世界模型。..

    来源 腾讯网
  2. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  3. 李飞飞世界模型Atlas开放:一句话生成3D山城

    之前凭借「一张图片生成整个 3D 世界」刷屏的李飞飞世界模型,现在终于向所有人开放了。就在今天,由「AI 教母」李飞飞创办的 World Labs 正式开放世界模型 Atlas,同步上线网页应用和开发者 API,新用户注册即送 10000 积分。体验地址:atlas.worldlabs.ai现在,我们也能亲自体验这项曾

    来源 腾讯网
  4. 均胜电子交付高算力背包:机器人业务何时放量?

    (本文作者为 不慌实验室,钛媒体经授权发布)文 | 不慌实验室,作者|潘妍,编辑|魏樊曦随着机器人任务复杂度上升,终端机身空间越来越不够用,算力与电池的安置便成为结构性约束。于是,一个可外挂的“背包”成了供应链里的新选项。11月10日,均胜电子(600699.SH)旗下宁波超平面机器人科技公司(简称:超平面科技)正..

    来源 腾讯网
  5. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  6. 李沐出任硅谷初创Aimotion联创兼CTO,主攻产业级世界模型

    作者|蒸蒸邮箱|zz@pingwest.com近日,总部位于硅谷的 Aimotion 宣布,知名 AI 科学家李沐出任公司联合创始人兼 CTO,主导下一代产业级 AI 技术体系建设。李沐将继续担任 Boson AI 联合创始人兼 CTO,双方将联合攻关产业级世界模型与商业 AI Agent 技术。在硅谷,顶尖 AI 科

    来源 腾讯网
  7. SpaceX星舰第15次试飞:首次用“筷子”夹住飞船,双回收只成一半

    美国太空探索技术公司重型运载火箭“星舰”的第二级飞船当地时间11月14日返回地球,并由发射塔机械臂“捕获”回收,完成第15次试飞。这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键一步,也让大众再次聚焦,在航天技术持续突破下,人类距离真正的星际旅行还有多远?美“星舰...

    来源 腾讯网
  8. 苹果人形机器人HALO:背Mac mini跑千问,300小时仿真数据练出91分

    颤抖吧,机器人!苹果终于要来凑热闹了。 苹果最近…布了一项名为HALO的人形机器人研究。演示视频里,一台人形机器人在陌生房间里上蹿下钻,钻桌子、挪箱子样样都行;还能趁卧室门没关严,侧着身子挤进去,最后找把椅子坐下,相当行云流水。 HALO项目官网 并且,这次是全程离线,没有遥控操作,更没有云端连接,比之前那些还依赖遥控

    来源 AI 行业观察
  9. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  10. 蹲守北京黑客松现场:机器人主持婚礼、变脸,60支极客小队连夜攒局手搓Demo

    智东西(公众号:zhidxcom)作者 | 程茜编辑 | 漠影60支队伍、40+小时,一场充满想象力的极客盛宴在中关村上演。现场围观机器人主持婚礼、表演变脸;戴上眼镜能实时识别飞鸟,也可以用AI眼镜辅助听障群体教学实操;各类Agent即将奔赴外贸、教育场景落地试用。这些脑洞十足又紧贴真实场景需求的作品,都来自刚刚收官的

    来源 腾讯网
  11. 李沐出任Aimotion联合创始人兼CTO,联手打造产业级世界模型

    2026年的AI圈,世界模型毫无疑问是最火热却也最混沌的概念之一。杨立昆、李飞飞等学界泰斗纷纷下场,具身智能、机器人公司悉数跟进,仿佛世界模型的终点,注定是模拟物理规律、驱动实体机械。 但一个问题是,除了物理世界,商业规则、用户决策、业务因果这些构成消费闭环的商业世界,难道不是更需要一套专属的世界模型吗? 同样陷入尴尬

    来源 AI 行业观察
  12. OpenAI撤销Robotics团队:成立仅166天,19个岗位成往事

    出品|虎嗅科技组作者|宋思杭编辑|苗正卿头图|AI生成166天前,Sam Altman 宣布成立 OpenAI Robotics,并一口气放出 19 个岗位,这在当时一度被外界称之为“人形机器人的 ChatGPT 时刻”。而就在最近,OpenAI把这个刚刚成立不久的机器人团队撤销了。据Fortune报道,这个成立仅半年

    来源 腾讯网
  13. 蔚建科技完成超亿元融资:建筑机器人三年订单复合增长超100%

    图源/企业 本文约2700字,建议阅读7分钟 作者丨欧雪 编辑丨原斯来 硬氪获悉,建筑机器人公司上海蔚建科技有限公司(下称“蔚建科技”)已于近期完成第五轮融资,融资金额超亿元人民币,投资方为财通资本。本轮资金将主要用于生产制造、海外市场开拓、产品和具身智能技术持续研发投入。 蔚建科技成立于2020年6月,是全球建筑机器

    来源 AI 行业观察
  14. SpaceX星舰首次被机械臂空中接住,数万亿估值叙事添关键一环

    SpaceX首次用发射塔机械臂在空中接住星舰飞船,创造航天史上轨道返回飞船塔架回收先例。Bernstein分析师认为此举是支撑SpaceX数万亿美元估值的关键一步——完全复用将大幅压低入轨成本,直接提升星链部署效率与商业天花板。摩根士丹利警示市场低估了此次任务价值,将显著降低商业复用与AI太空算力扩张的执行风险。

    来源 华尔街见闻
  15. 星舰第15次试飞:一级临阵改道落海,飞船明晨挑战塔接

    北京时间今天(11月14日)清晨6时54分左右,一枚20多层楼高的火箭从天而降。它在美国得克萨斯州海边放慢速度,几乎悬停在半空。 而在岸上,一座高塔上伸出两条机械臂,原本已经做好了准备,打算把它夹住。 只是火箭最后没有飞向发射塔,而是在墨西哥湾的海面上完成了减速和悬停。随后,发动机关机,自毁装置启动,火箭在落向海面的瞬

    来源 AI 行业观察
  16. 深圳擦窗机器人闯APEC:从两周报关到两三天

    中新社深圳11月13日电 题:深圳一台擦窗机器人的APEC“朋友圈” 中新社记者 蔡敏婕 深圳一间样品展示室内,一款擦窗机器人正贴着玻璃平稳移动——喷水、往复擦拭、边角清洁,一气呵成。 “这是我们最新迭代的产品。”深圳市鸿绪锦科技有限公司创始人高彬近日接受中新社记者采访时表示,在亚太区域持续推进标准与合格评定合...

    来源 腾讯网
向下滚动自动加载更多