CloudRobo-WM1.2双榜登顶:华为云将开源模型权重与后训练代码
国产算力的成熟,把具身竞争维度从「芯片有多强」,拉入了一个比拼训练效率、数据规模、部署成本和场景落地速度的多维战场。
国产算力走向成熟,具身赛道的较量已经不只看芯片强弱,训练效率、数据规模、部署成本、场景落地速度都成了比拼的维度。
田晏林 发自 凹非寺
华为云要开源的具身世界模型,一出手就是两个榜单的第一。
更关键的是,它跑在国产昇腾算力上。
11月16日,华为云发布昇腾原生具身世界模型CloudRobo-WM1.2。
RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测里,它的平均成功率均位列第一。
华为云打算在11月30日把该模型的权重、推理代码和后训练代码开放出来。
连后训练代码都一并开源,这一步走得够狠。
别的机器人团队想让模型学个新任务,不必从头搭训练链路,拿到现成代码,接上自家数据就能上手调试验证。
而且华为云这回没停在「把模型搬到昇腾芯片上跑通」,而是从模型架构、训练框架到核心算子、推理部署,针对具身模型的特点做了软硬件协同优化。
世界模型预训练、强化学习,再到机器人上手干活,整条链路被华为云串了起来。
「昇腾原生」的核心含义正在于此。
国产算力,也能把具身世界模型训到双榜第一
首次亮相,华为云具身世界模型CloudRobo-WM1.2就交出了两份亮眼成绩。
RoboTwin 2.0上跑出88.98%,LIBERO-Pro 2.0上跑出81.73%,两个榜单都拿了第一。
该模型在昇腾算力上训练,训练框架、关键算子、推理部署同样围绕昇腾做了优化。
所谓「昇腾原生」,讲的就是这套做法。
仿真榜单成绩好看,真机场景也经得住考验。
第三方独立测试中,5种机器人本体上阵,考了13项操作任务。转旋钮、双臂连续交接、玩具入篮这些活儿都包括在内,模型的平均成功率比第二名高出23个百分点。
有个小细节挺有意思:机器人把插头插进去后意外滑脱,CloudRobo-WM1.2能根据新观测到的画面动态调整动作,重新尝试插接。
这说明它记住的不只是固定的动作轨迹,还具备对物理交互结果的预判能力。
不过听完华为云在最近那场具身世界模型CloudRobo发布会上的介绍,它拿下SOTA表现倒也不让人觉得意外了。
先说第一点,CloudRobo-WM1.2在「让机器人更懂物理世界」这件事上花了不少功夫。
杯子长什么样、摆在哪儿,常规模型能认出来。可它学到的多半只是某个特定视角下的外观特征。
一旦进入物理交互环节,普通模型就很难给出准确预判:机器人往前一推,杯子是滑走还是翻倒?碰上遮挡、视角切换、物体动态运动,误差只会更扎眼。
华为云拿出的办法是PPA(Perceive-Predict-Act)多模态世界表征架构。感知、预测、动作被放进同一阶段联合训练,RGB视频、DINO语义特征、深度和三维点云几类信号同步接入。针对的正是上面那个问题。
这么训下来,机器人不只认得杯子是什么、在哪儿,还能读懂它的空间结构和运动状态,并对动作会带来什么物理后果做出预判。
像「杯子被推一下之后会怎么动」这类复杂的物理问题,模型也能应对。
模型可学的信息一多,麻烦就来了:具身数据里的动作标注、深度、相机视角经常凑不齐。缺了一项,剩下的还能不能拿来训?
能!
华为云在预训练阶段引入多粒度监督掩码,把缺失或无效的部分从损失计算中划掉,哪部分信息可靠就学哪部分。
这好比做一道综合大题,某小问的条件残缺、读不通,不会因此把整道题扔掉,而是拿其他清晰可用的条件接着往下推。
它的实际意义不在于「容忍脏数据」。关键在于让大量不够完美的异构数据能进入训练,不至于因为局部信息缺失就把整条样本丢弃。
真机采集数据的成本在500元~1000元/时,存量有效数据只有百万小时级别,而头部厂商判断的需求是亿小时级。
供需差摆在这儿,数据利用效率本身就成了工程竞争力。
让机器人有更强的动手能力,华为云还实现了两处突破。
其一是场景理解与动作生成双路径协同,即DualAct架构。
一条路是action expert动作专家分支,直接生成动作,速度更快,适合对响应速度要求高的任务;
还有一条路线建立在世界模型骨干 world generator 之上,它在读懂场景的同时还能预判后续状态,因而精度更胜一筹,精细、复杂且牵涉物理变化的任务更适合交给它。
两条路用同一套动作目标训练,专家的大小还能按任务调整,速度和精度可以兼顾。
其二是本体语义保真跨具身运动建模,要解的是一套模型适配多形态机器人的难题。
单臂、双臂、轮式机器人,结构各不相同,好比不同车型,操控逻辑各有区别;可同类任务背后,动作意图是共通的。
华为云这套技术,相当于给机器人装了个「翻译器」。
模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。
对物体和场景的理解可以一起学;具体怎么动,则按机器人各自的结构特征自主适配。
据华为云披露,训练数据现已扩到2.75万小时,接入20个数据源、33种本体。
做具身模型还有一条共识:「想得准」和「动作出得快」挺难兼顾。
华为云怎么处理这个矛盾?
推理方案被切成四个「套餐」:World/Expert Action、Joint/Action-only,四种弹性推理模式能按需搭配。
说白了,既可以只吐动作,也能一边出动作一边做预测;还能点名让动作专家来干,或者交给世界骨干完成。
研发调试看重精度,落地部署看重速度,两头都顾得上。研发团队照算力和时延的要求自由拼装,跟点菜差不多,丰俭由人。
最重的那一档,算力消耗大约是最轻一档的11倍。
按任务挑着算,正是CloudRobo-WM1.2在设计模型时省算力的路子。
但要把长视频、深度和动作一块儿训进去,还得让模型上了真机就及时给出动作,昇腾靠什么接住这些活儿?
「昇腾原生」,原生在哪儿?
华为云先动的是显存。
以7B参数的世界动作模型来算一笔账。
单是模型参数、梯度加上优化器状态,就占掉约112GB显存!
长视频带来的那部分额外开销,还没算在内。
具身世界模型吃算力,胃口不是一般大。视频、深度、三维点云、动作序列,样样都得处理,算力和显存需求都远超普通大模型。
上了真机,又是另一笔账。机器人等着下一步指令,模型得及时把动作给出来,推理开销同样要压住。
这笔开销牵扯的是整套训练系统。
几张卡怎么分工,大数据怎么送进去,训练框架和算子如何在卡上跑起来,多分支梯度怎么归约,attention选择性重算等等,都得围着昇腾这套硬件一起调。
这就叫「昇腾原生」。
一张工作台摆不下,那就几张台子一起上。
华为云把数据处理和模型计算拆开,前者交给鲲鹏,后者由昇腾NPU承担。
多张昇腾卡经超节点高速互联,长视频序列能拆开来算,模型参数也可以分开存。
部分中间结果留到用时再算一遍,多花几步计算,换来显存上的空间。
台子摆开了,下一批数据还得及时送到。
两路各4Mbps的视频,录满8000小时,光压缩后的视频就有约28.8TB。
训练时还要一遍遍读、解码、抽帧,再把画面对上同一时刻的机器人轨迹。
华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整操作建索引。
一段动作被检索出来,与之相关的数据也会一并取出。常用数据预先缓存,下一批要用的数据提前读取。卡上还在算当前这批,后一批数据已经提前装载,算力不会空转。
后厨备菜也是这个道理:热门菜品先备好料,下一单还没到,食材已经提前解冻。
数据准备好之后,训练框架还得把计算任务分配均匀。视频、点云和动作占用的显存各不相同,一批样本切分不当,就会出现一张卡已经塞满、另一张卡还闲着的情况。
华为云在框架里单独设置了重计算机制,再配合长序列和模型并行,让各张卡的负载更均衡。几张卡之间需要交换结果时,也可以趁数据还在传输,先把本地能算的部分做掉。
强化学习环节同样会卡在算力等待上。
模型算出动作,仿真环境里的机器人照着执行,再把新画面和结果回传,训练才能继续往下走。
华为云与清华大学于超团队合作,把开源具身强化学习框架RLinf接入了昇腾,其中一项改动很有意思。
在LIBERO的一组测试中,模型一次输出10步动作,到第10步才需要读取新画面,前9步的画面就不必逐帧渲染。物理仿真按步推进,奖励照常计算,动作规划周期内的渲染开销因此降了下来。
昇腾卡上也有可省的计算。
华为云团队把归一化、旋转位置编码这类反复执行的运算,接到了昇腾NPU的融合算子上。
原本要分几次完成的计算,有一部分能在卡上合并执行。指令下发次数少了,中间数据的搬运也少了几趟。
据华为云透露,适配之后,相关推理效率和训练吞吐提升了约2至3倍。
拆开RLinf公布的测试数据看,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升了186%至240%。
一整轮强化学习究竟能快多少,还要把仿真、通信和参数更新都计入。
上述能力都落在了CloudRobo上,这是华为云的具身智能开发和运行平台。
△AI生成
数据采集困难时,可以现在仿真环境里合成一批数据,再放到昇腾上做预训练、强化学习和评测。
上真机之后,前面提到的四种推理模式就能派上用场。调试阶段把未来画面和动作一起算出来,现场作业时则只算下一段动作。
动作算出来,还得及时送到机器人端。
华为云通过R2C(Robot to Cloud)接入不同类型的机器人。现场画面和状态可以上传,模型算出的动作也能回传。
需要近距离无线通信的场景,还能结合星闪来降低传输时延。
遇到新的工况,团队会把采集到的作业数据带回CloudRobo,排查模型在哪一步出错,再补训、评测,把更新后的模型重新部署回去。
模型能训出来,也能上真机了。可到了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?
这些问题,天天和设备打交道的人心里最清楚。
接下来要把伙伴拉进来。
要把一道工序完整教给机器人,单靠一方谁也办不到。
制造企业熟悉生产,可采数据、训模型得有人搭把手;做模型的进了厂,同样要补现场数据、摸清工艺。
本体厂商的任务,是把模型装到自家机器人上,一边运行一边调。
华为云的想法,是把这几拨人聚到CloudRobo上共同做项目。
平台备好了API、SDK、CLI和插件接口,数据接入、模型训练、仿真测试、真机运行各有通道。
各家的模型、数据采集工具、训练框架,都可以接进来。
CloudRobo-WM1.2也将进入平台,权重、推理代码和后训练代码计划11月30日开放。
产品做出来,销路怎么解决?
华为云「行业AI梦工厂」的具身智能专区依托昇腾云与CloudRobo,伙伴可以在这里发布数据集、模型、工具链和方案。
以仿真引擎为例,华为云与伙伴共同打磨,成熟的能力既能集成进CloudRobo,也能放到云商店出售。
华为云具身智能产品线总裁、具身智能Lab主任吴小东给了一句准话:同等条件下,华为云会优先推荐伙伴的模型和方案。
具身智能正处在走向产业化的关键窗口期,昇腾云已经是国产云阵营里事实上的算力底座和生态入口。
具身智能专区6月上线至今,已与230多家企业及高校合作,聚拢超1.65万名开发者,积累1500多项行业资产。
眼下国内每10家具身智能企业,大约有8家选了华为昇腾云。
在国内具身智能市场位居第一梯队的华为昇腾云,也完成了对国内重点高校的大范围覆盖。
浙大、上海交大等高校已与华为云深度合作,用昇腾算力、仿真平台和开源代码一起训模型、搭数据集、做评测,还共建课程与实训基地。
产品落地方面,产业端也在加快节奏:联合福龙马做无人环卫,不光一起定义产品,营销和上市也搭手推进;配网带电作业机器人则是和亿嘉和共同发布的,已在配网高危作业里规模商用;矿山场景的落地,则与山河智能联手推进……
CloudRobo的触角已伸向20多个行业,覆盖工业制造、城市服务、应急救援,以及生活服务、医疗康养、教育实训。
One more thing
全球AI的较量,正从单块芯片的性能转向整套系统的能力。
放到具身智能上,电要供得上,机器人干活的数据要收得回、用得上,机器交到客户手里后,进了新场景还得能接着改。
国内有电力基建和「东数西算」托底,国产算力训练具身模型日趋成熟,接下来拼的是谁训得更快、能用的数据更多、部署成本更低、落地更迅速。
单项技术跑在前面固然重要,把各环节串起来的工程能力与产业配套同样不能缺。
用昇腾原生训练的CloudRobo-WM1.2,在两项国际基准上都排第一,确实提气。
对做具身智能的厂商来说,训练环节至少不再只能押注英伟达一家。