GreenWAM:一套模型管20种机器人,Sber新研究把动作空间拧成79槽
你有没有想过一个问题:如果你买了一台机器人,想让它学会叠衣服,它需要知道什么?大多数人的第一反应是,它需要会动手,会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你,光会动手不够。它还得知道,如果我这样动手,接下来会发生什么。衣服会不会滑下去,手会不会碰到桌角,叠好的角会不会歪。这其实是两件事...
假如你入手一台机器人,想让它学会叠衣服,它得先掌握些什么?
多数人先想到的是动手能力:抓、放、转腕子。可真正做过机器人研究的人会讲,光有这些远远不够。它还必须在动手之前就知道,这么动下去会发生什么——衣服会不会往下滑,手会不会撞上桌角,叠出来的角会不会偏。
说到底这是两件事:一是判断世界会怎么变,二是决定自己该怎么动。很长时间里,这两件事各练各的、各评各的。做世界模型的人盯着预测准不准,做策略的人盯着任务成不成。Sber机器人中心那篇叫GreenWAM的论文,抛出的问题不小:同一个模型能不能把这两件事一起干了,还要塞得进20种外形完全不同的机器人身体?
能。但得先解决一件听着琐碎、实则卡住整个行业的麻烦:各家的机器人"身体语言"彼此不通。
机器人世界的巴别塔
机器人不就是关节加电机吗,差异能有多大?实际情况是,每家厂商记录动作的方式都不一样。
关节角度有人记,末端执行器的空间坐标有人记,夹爪开合百分比有人记,每根手指的弯曲角度也有人记。同样是"左手肘往上抬",在A机器人的数据里也许是第4个数字变大,到B机器人那里就变成第11个数字变小。
世界基础模型*:一类通过海量视频学习"世界如何演变"的AI模型,能预测场景在物理规律下接下来会变成什么样子。
想让一个模型控制多种机器人,常见做法是给每类机器人的每种身体部位各配一套"翻译器",论文里叫动作投影。英伟达此前发布的Cosmos 3 Edge走的就是这条路:学了六种机器人的动作,可其中81%的数据来自同一个数据集AgiBot World,动作还被简化成末端执行器位移加一个夹爪开合数值。
好比去了六个说方言的村子,其中一个村子人多势众,你学到的话大半是那村的方言,换个村子就基本听不懂。学到的内容还被压成"大概往哪挪一挪、手张开还是合上"这类粗糙描述,手指怎么弯,系统根本讲不出来。
GreenWAM换了思路:先立一套通用的解剖学坐标系。来的是哪种机器人先不管,第一步是把它的关节动作翻进一套共享的79个"槽位"——腿部12个,身体23个(基座姿态、躯干、头部),手臂18个,手部26个(夹爪开合加上每根手指)。
一套通用坐标系统,由79个固定槽位构成,就是所谓的共享解剖学动作空间:机械臂夹爪的张开与闭合、人形机器人的手指关节,全被映射进含义一致的槽位中——比方说,第47号槽位对应的始终是“右手肘”。
关键设计在这儿:每个机器人配一个专属编解码器,负责把自家原始关节数据做选取、重排、符号和零点调整,再塞进这79个槽位。塞完之后,所有机器人共用同一套输入输出投影层,没有任何一个机器人保有自己的动作参数。
这就像联合国开会,各国同传把本国语言译成英语,译完大家在同一频道上用英语讨论,谁也没法用本国话走后门插一句。不这么干会怎样?你会拿到20套互不相通的翻译系统,一个机器人学会的叠衣服经验,完全传不到另一个机器人身上——它们说的压根不是同一种语言。
论文还提了个细节:这套系统覆盖20个机器人家族,占比最大的单一家族也只占15%的训练小时数;Cosmos 3 Edge里最大的单一数据源却占到81%。这个对比挺能说明问题——训练数据要是被一个"方言村"把持,模型学到的所谓"通用能力",不过是披了层外衣的偏科。
一个大脑,七种思考模式
语言统一了还不够,模型得知道拿这些数据怎么练。
GreenWAM让同一套生成器权重同时学七种任务模式。可以想成一个学生同时备考七门不同却相关的科目:文字生成视频、图片生成视频、带历史记忆的图片生成视频、正向动力学预测(给动作猜画面)、带历史记忆的正向动力学、逆向动力学(给画面猜动作),以及最核心的世界-动作联合建模。
世界-动作模型(WAM)*:这种联合建模方式,把未来视频画面与机器人动作状态偏移量放在一起预测;给定当前的观测画面和机器人姿态,它给出的是随后一小段时间里画面与动作的变化走向。
七种模式并非平均分配训练资源。四分之三的样本拿去学"预测视频"相关任务,剩下四分之一专门练"从视频推断动作"和"世界-动作联合预测"。这么分有原因:只练动作预测,模型会变成光会机械执行、看不懂画面的"肌肉记忆型"机器人,场景一旦出现意料之外的变化,它压根不知道发生了什么。反过来,混进大量纯视频预测任务,模型就被逼着去理解"手伸过去,杯子会被碰倒"这类因果,这也正是后面不少实验结果的关键伏笔。
论文的控制实验里有个发现值得琢磨。训练策略时留一部分视觉预测任务(哪怕只占5%的样本),而不是完全只练动作预测,干净场景下的任务成功率几乎没变;但到了场景被随机打乱(背景换了、灯光变了、桌子高度变了)的测试里,成功率直接高出8个百分点。
这差别有点像厨师只背菜谱和真看菜谱做菜。只练动作预测的模型,等于死记"第三步往左转15度",场景一变就发懵;保住视觉预测能力的模型,好比厨师真懂了"火太大油会溅",场景变了照样知道怎么调,因为它理解世界怎么运转,而不是只记住了一串动作。
论文又做了个验证挺有意思:把策略自己预测的画面解码出来,看它到底在"想象"什么。结果在场景干净、没见过的变化下,哪怕任务最后失败,模型想象的画面和实际执行结果也惊人地一致——它清楚积木会堆错顺序,只是仍然选错了动作。可场景被随机改过之后,13个失败案例里有13个是模型自己的想象先偏离了现实,它可能把一个干扰物当成目标去抓,而想象里抓的也确实就是那个干扰物。
这个结论多少有点反直觉:机器人失败,未必是动作执行得差,问题可能出在它一开始就没看准。保留视觉预测任务之所以在随机场景下能带来明显提升,原因也在这里——训练信号落下的位置,恰好就是错误真正冒出来的地方。
只有一颗统一的大脑还不够。怎么让这颗大脑长出一套能上手干活的策略,本身也是道技术难题。论文的思路是,把生成器里跟动作有关的那部分单独拆出来,做成一个动作专家网络。
刚拆出来的时候,这个专家和生成器一模一样,参数没有任何差别。此后的训练里,两套网络各自独立演化,但每一层都靠共享的注意力机制互通信息。
动作专家*:策略适配阶段从生成器复制而来、专管动作预测的独立网络模块。初始状态与生成器完全相同,随着训练推进才逐渐和视频生成部分拉开差异。
为什么不一开始就用两个独立初始化的网络,或者让动作和视频干脆共用一套参数?实验给了答案。同样的训练预算下,从GreenWAM出发训出的策略,在RoboTwin基准上的平均成功率比从没做过机器人专项训练的Cosmos 3 Edge出发高出5.4个百分点;再加上动作专家这个设计,差距拉大到8.4个百分点。这种优势开局就存在,训练500步时差距还不到1%,到3000步已扩大到5.4%。说到底,这是初始化方式本身带来的红利,不是训到后期才冒出来的玄学。
好比两个实习生进同一家餐厅学做菜。一个此前在各种风格的餐厅都打过杂,另一个只在一家连锁快餐店干过。培训时长一样,前者上手更快,因为他脑子里已经装着一套厨房通用逻辑,只需针对这家店微调。反过来,要是让两人从零开始各自摸索,也就是不给复制继承、随机初始化动作专家,验证集上的损失函数数值看着差不多,实际操作的成率差距却依旧在。损失函数这类数字指标,并不能完整反映策略在真实环境里手稳不稳。
一个模型,两种角色可以互相成就。这篇论文反复验证的其实就是这件事:把世界模型做好和把策略做好并不彼此独立,两者会相互抬升。
论文安排了三组对照实验。第一组看机器人专项训练的影响,即后续适配用GreenWAM而不是它的父模型Cosmos 3 Edge。结果是,无论当世界模型还是当策略,专项训练过的版本都更占优。做世界模型时,它在WorldArena基准上生成的第一段画面峰值信噪比提高1.1分贝,轨迹准确度从44.4升到47.4;做策略时,它预测的画面与真实执行结果更贴近,成功率也随之更高。
峰值信噪比(PSNR)*:用来衡量生成图像与真实图像差异程度的技术指标,数值越高说明生成结果越接近真实,常用单位是分贝。
第二组实验专门考察保留世界模型模式,前面提过,随机场景下成功率提升8个百分点。第三组考察动作专家的拆分设计,前面也提过,带来3.3个百分点的提升。
三组实验摆在一起,指向同一个道理:一个模型如果只盯着最终那个具体任务去优化,遇到没见过的情况往往很脆弱。反过来,始终保留理解世界如何运作这层更底层的能力,哪怕只给它很少一部分训练资源,最终任务的表现反而更稳。
这有点像学开车。只在固定路线上练过倒车入库的人,换个停车场可能就发懵;真正理解车身转向原理、轮胎摩擦力怎么起作用的人,到了任何陌生场地都能现场推算出方向盘该怎么打。GreenWAM的设计,某种程度上就是在逼机器人策略去理解原理,而不是背熟套路。
设计思路说了这么多,真实世界里的成绩单到底如何?论文给出的数字相当扎实。
作为世界模型,在WorldArena 1.0这个公开基准上,GreenWAM的轨迹准确度56.0分、深度准确度98.2分、三维准确度93.4分,三项都是对比模型里的最高分,超过Motubrain和FlowWAM-FiveAges这些专做世界-动作建模的竞品。在计入运动量作弊上限的综合评分EWMScore上,它拿到63.31分,高于两个主要竞品的63.16和62.99。
有个细节值得多说一句。WorldArena的评分体系里有几项指标专门衡量画面动态程度,研究者却发现,不少参赛模型为了在这几项上刷高分,故意让生成的视频动得比真实记录还夸张,有的甚至动了四到八倍。这就像作文要求800字,有人硬写3000字显得内容丰富,其实已经跑题。WorldArena后来专门加了运动量封顶规则。GreenWAM生成的动作本来就没超标,几乎不受影响,分数只掉0.05分;排名靠前的模型则普遍要掉6到11分。
作为策略,在RoboTwin 2.0这个50任务的双臂机器人基准上,GreenWAM干净场景成功率87%、随机场景48.1%,平均67.54%,排在公开排行榜前列。CALVIN基准测试机器人能否连续完成一串语言指令而不中断,它平均完成4.64条指令,高于FLOWER的4.53。LIBERO-plus专门测鲁棒性,摄像头角度、桌子背景、光照都被随机扰动,GreenWAM在这里拿到86.8%的零样本成功率,是对比方法中最高的。
更有说服力的是真机测试。研究者把GreenWAM适配到一台名叫Green的真实人形机器人上,让它做把瓶子和瓶盖装进袋子再提起来这类打包任务。在没见过的场景配置下,GreenWAM的指令完成率达到84%,高于从Cosmos 3 Edge适配的策略(80%)和从π0.5适配的策略(76%)。
要让系统跑在机器人自身的计算单元上、不必依赖昂贵显卡,研究者又做了一轮蒸馏,把原本要多步去噪采样的流程压成一步。蒸馏后的策略每秒可完成28.3次调用,比未优化版本快12.3倍;真机测试中,它对π0.5的优势也还在。
蒸馏*:把一个计算量大、推理慢的"老师模型"的本领,教给结构更简单、推理更快的"学生模型",目的是尽量不损效果,同时大幅提速。
这组数字背后有一套工程思路:好的研究不光要证明"能做到",还得证明"能很快做到"。再聪明的大脑,塞进机器人身体里,反应一慢也用不起来。
写在后面
读这篇论文时,让我停下来想了很久的,是那组关于"机器人想象力"的实验。
研究者让策略在执行动作的同时,把内部预测的画面解码出来,再与实际发生的画面比对。结果显示,在熟悉场景下失败的案例中,模型其实"看懂"了自己会搞砸——它预判积木会堆错顺序,积木也确实堆错了顺序。动作选错了,但对后果的预判是准的。
这挺颠覆我原先对"机器人犯错"的想象。我一直以为机器人出错,多半是"没看清"或者"算错了该往哪动";但这个实验说明,至少有一部分错误,是机器人明知会搞砸,仍然执行了错误的动作。听起来有点像人的某些行为:明知熬夜刷手机第二天会很困,还是忍不住刷了。知道后果,和能据此纠正行为,中间隔着一条不小的鸿沟。
还有一处细节值得看:表格里"重新分配训练数据配额"这一项。Worker/ARX5 家族合计只占全部数据 4.8% 的小时数,采样权重却被研究者抬到 12%。原因在于,它是论文重点部署的两个目标之一。换句话说,系统呈现出的"公平"来自人为设定的倾斜,并非数据自然分布所致。这也说明,打着"通用模型"旗号的东西,背后常常是研究者对哪些场景更要紧的判断;这类判断应当被摆到明面上,而不是让"通用"两个字把它遮过去。
论文最后也坦率承认了局限:策略对任务几何形状的变化依然敏感,比如桌子高度变了3厘米,成功率就会明显下降。原因在于,他们用来让画面更丰富多样的增强手段,只改变了观测画面本身,并没有真正让机器人见过"桌子变高之后手臂该怎么调整轨迹"这类新的运动模式。这份坦诚的局限说明,要让机器人真正具备应对物理世界变化的能力,恐怕还有很长的路要走。
机器人明明能预判自己的动作会失败,最后还是把那个错动作做了出来——这该算感知出了岔子,还是决策环节的问题?还是说,这两件事原本就切不开?
Q&A
Q1:GreenWAM是什么?
A:GreenWAM是Sber机器人中心提出的机器人世界基础模型,基于Cosmos 3 Edge改造而来。它通过一套共享的79槽位解剖学动作空间,统一描述了20种不同机器人家族的身体结构,既能预测场景如何随动作变化,又能直接驱动机器人完成实际任务。
Q2:GreenWAM和之前的Cosmos 3 Edge相比有什么不同?
A:Cosmos 3 Edge 训练时只接触了 6 种机器人,81% 的数据出自同一个数据集,动作被简化为末端执行器位移加夹爪开合。GreenWAM 则涵盖 20 个机器人家族,占比最大的单一家族也只有 15%,它用统一关节坐标替代了原先粗放的末端执行器投影,手指这类精细关节动作同样能表达出来。
Q3:GreenWAM在真实机器人上表现如何?
A:在真实人形机器人Green上完成打包任务时,GreenWAM在没见过的场景配置下指令完成率达84%,高于从Cosmos 3 Edge适配的策略(80%)和从π0.5适配的策略(76%);蒸馏后的加速版本在保持优势的同时,推理速度提升了12.3倍。