华为云昇腾原生具身世界模型双榜第一,11月30日开放权重与代码
田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 华为云要开源具身世界模型了,一开就是双榜第一! 关键是,这个模型用的还是国产昇腾算力。 11月16日,....
田晏林在凹非寺撰文,量子位公众号(QbitAI)发布。
华为云要开源具身世界模型了,一开就是双榜第一;关键是,这个模型用的还是国产昇腾算力。
11月16日,华为云发布了昇腾原生,在具身智能评测中,它的平均成功率都排第一。
华为云计划在11月30日,开放该模型权重、推理代码和
好么,连
其他做机器人的团队如果要让这个模型学会一项新任务,不必从头搭建整套训练流程——代码是现成的,接入自己的数据,就能直接调试和验证。华为云这次做的事不止于「把模型搬到昇腾芯片上跑起来」:从模型架构、训练框架,到核心算子、推理部署,都针对具身模型自身的特点做了软硬件协同优化。
从世界模型预训练、强化学习,到机器人上手干活,华为云把这整条链路接了起来。
这正是「
国产算力,具身世界模型也能训到双榜第一
首次亮相,华为云具身世界模型在RoboTwin 2.0上,分别跑出88.98%和81.73%,双双拿下第一。
这款模型在昇腾算力上训练,并且其训练框架、关键算子、推理部署,也都围绕昇腾做了优化;「昇腾原生」,说的就是这套做法。
仿真榜单上的分数很漂亮,真机场景也扛得住检验。第三方独立测试里,5种机器人本体参与,共考核13项操作任务,包括转旋钮、双臂连续交接、玩具入篮等,模型的平均成功率比第二名高出23个百分点。
有个小细节挺有意思:机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。这意味着,它记住的不只是固定动作轨迹,其还具备对物理交互结果的预判能力。
不过,听了华为云在最近举办的具身世界模型CloudRobo发布会上的介绍,我又感觉它能取得SOTA表现,不算意外了。
首先,CloudRobo-WM1.2在「让机器人更懂物理世界」这件事上,下了一些功夫。
普通模型认得出杯子,也能定位它在空间中的位置,但学到的多半只是某个特定视角下的外观特征。碰到物理交互就不一样了:机器人往前推杯子,杯子是滑出去还是翻倒?这类问题普通模型很难给出准确预判。如果还有物体遮挡、视角变化、物体处于动态运动,误差会更突出。
华为云采用针对的就是这个问题,它把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、
这样一来,杯子是什么、放在哪里,机器人能判断;它的空间结构、此刻怎么动,以及动作做完会带来哪些物理后果,机器人同样能给出判断。
像「杯子被推一下之后会往哪儿动」这类物理问题,处理起来也不费劲。
可模型能拿到的信息越多,具身数据里动作标注、深度、相机视角这几样偏偏常常缺斤少两。缺了一种,其余的信息还能不能接着训?
能!
华为云的做法是:预训练阶段哪部分信息靠得住,就让模型从哪部分学。
好比一张综合卷子,某道小题的条件缺了、读不通,没人会因此把整张卷子扔掉,而是拿其余清楚可用的条件往下推。
它的价值不在「能忍脏数据」,而在于让大批不够完美的异构数据真正进入训练,不必因为某一处信息缺失就把整条样本作废。
真机采集数据的成本在500元~1000元/时,现有可用数据只有百万小时量级;头部厂商判断的需求却是亿小时级。
供需差摆在这儿,数据用得快不快、省不省,本身就是工程上的竞争力。
在「让机器人动手能力更强」这件事上,华为云还拿下了两处突破。
其一是场景理解与动作生成两条路径协同,具体来说:
一条是
另一条则建立在世界模型骨干之上。
两条路还共用同一套动作目标来训练,专家规模能随任务调整,速度和精度可以兼顾。
其二是本体语义保真跨具身运动建模,针对的是一套模型适配多种形态机器人的难题。
各家的机器人本体差别很大:单臂、双臂、轮式结构互不相同,如同不同车型,操控逻辑各有各的套路;但同类任务底下,动作意图是相通的。
华为云这套技术,等于给机器人配了个「翻译器」。
模型分别保留机器人96维、人类运动168维的原生状态表征,再用本体标记把各自的运动接口区分开。
对物体和场景的理解可以放在一起学;至于该怎么动,则按机器人自身的结构特征自主适配。
华为云披露,训练数据目前已扩至2.75万小时,接入20个数据源、33种本体。
做具身模型还有一层共识:「想得准」和「动作出得快」,两头很难同时顾上。
华为云怎么应对?
它在推理方案上摆了四个「套餐」——World/Expert Action,Joint/Action-only,四种弹性推理模式可按需搭配。
也就是说,可以单出动作,也可以动作加预测一起出;还能指定交给动作专家办,或者由世界骨干来完成。
研发调试看重精度,实际部署看重速度,两种诉求都能接住。团队依照算力和时延要求自由组合,像点菜一样,丰俭由人。
最重的那一档,计算量约是最轻一档的11倍。
模型设计上,CloudRobo-WM1.2省算力的思路是按任务挑着算。
不过,长视频、深度和动作要一起训进去,模型到了真机上还得及时出动作,这些活儿昇腾是怎么接住的?
所谓「昇腾原生」,原生在哪儿?
华为云先动的是显存。
以7B参数的世界动作模型为例算一笔账。
模型参数、梯度、优化器状态这几项加起来,显存就要占掉约112GB!
这还没把长视频带来的额外开销算进去。
具身世界模型吃算力的程度不一般。视频、深度、三维点云、动作序列,模型全都要处理,算力和显存的需求都远超普通大模型。
真机上又是另一笔账:机器人等着下一步指令,模型得及时把动作给出来,推理开销同样要压住。
这笔开销牵涉的是整套训练系统。
几张卡之间怎么分工,大数据怎么送过去,训练框架和算子怎么在卡上跑起来,多分支梯度如何归约,
这些合起来,就是「昇腾原生」。
一张工作台摊不开,那就几张台子一起干。
华为云把数据处理和模型计算拆开,前者可以交给
多张昇腾卡通过
还有些中间结果,可以等用到时再算一遍,多花几步计算,换出显存空间。
桌子摆开了,下一批数据还得及时送到。
两路各4Mbps的视频,录8000小时,光压缩后的视频就有约28.8TB。
训练过程中还要反复读取、解码、抽帧,再把画面对上同一时刻的机器人轨迹。
华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整的操作建索引。
搜到一段动作,相关数据就能一起取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上,算力不至于空等。
这有点像餐馆后厨:热门菜提前备料,下一单还没来,食材已经先解冻了。
数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。
华为云在框架中把重计算单独拎出来,再叠上长序列与模型并行,让各张卡的压力摊得更平均。卡与卡之间需要互通结果时,也能赶在数据还没到之前,先把手上能算的那部分做掉。
强化学习这一环,卡住的地方同样是等算力。
动作由模型算出,仿真环境里的机器人照着执行,随后把新画面和结果回传,训练才继续往下走。
华为云联合清华大学于超团队,把开源的具身强化学习框架
在LIBERO的一组测试中,模型一次输出10步动作,直到第10步才需要读取新画面,前9步的画面因此不必逐帧渲染。物理仿真仍一步一步推进,奖励也照常计算,动作规划周期内的渲染开销就这样降了下来。
昇腾卡上同样有可省的计算。
归一化、旋转位置编码这类要反复执行的运算,被华为云团队接到了昇腾NPU的
过去分几次完成的计算,有一部分能在卡上合并处理。指令下发的次数少了,中间数据搬运的趟数也少了。
华为云透露,完成适配后,相关推理效率与训练吞吐提升约2至3倍。
分开来看RLinf公布的测试,
至于一整轮强化学习能提速多少,还要把仿真、通信和参数更新一并计入。
这些能力被接入CloudRobo,即华为云的具身智能开发与运行平台。
△AI生成
数据采集困难时,可以先在仿真环境中合成一批,再到昇腾上完成预训练、强化学习与评测。
部署到真机后,前面提到的四种推理模式都能派上用场:调试阶段把未来画面和动作一并算出,现场作业时只计算下一段动作。
动作算出之后,还得及时送达机器人端。
华为云用
若需要近距离无线通信,还可结合
遇到新工况,团队会把采集到的作业数据带回CloudRobo,定位模型在哪一步出错,再补充训练、评测,并将更新后的模型重新部署。
模型能训出来,也能上真机,接下来问题就落到现场:进了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?
这些判断,天天和设备打交道的人最清楚。
要把伙伴拉进来
不过,真要把一道工序教给机器人,没有谁能一手包办。
做模型的进厂,需要补现场数据、学工艺;制造企业懂生产,也得有人帮忙采数据、训模型。
本体厂商则要把模型接到自家机器人上,边运行边调整。
华为云想做的,是把这几拨人聚到CloudRobo上共同推进项目。
数据如何接入、模型如何训练、仿真如何测试、真机如何运行,平台都留了API、SDK、CLI和插件接口。
别家的模型、数据采集工具、训练框架,都可以接进这个平台使用。
CloudRobo-WM1.2同样会入驻平台,权重、推理代码和后训练代码计划在11月30日对外开放。
产品做完了,销路怎么解决?
按照华为云的说法,伙伴可以依托昇腾云和CloudRobo,在平台上发布数据集、模型、工具链以及方案。
以仿真引擎为例,华为云会与伙伴共同打磨,成型的能力既能集成进CloudRobo,也能放到云商店上售卖。
华为云具身智能产品线总裁、具身智能Lab主任吴小东给出了明确表态:条件相同的情况下,华为云会优先推荐伙伴的模型和方案。
具身智能正处在迈向产业化的关键窗口期,昇腾云已经是国产云阵营里事实上的算力底座和生态入口。
该专区6月上线,至今已与230多家企业及高校建立合作,聚集了超过1.65万名开发者,沉淀下1500多项行业资产。
眼下国内具身智能企业里,每10家可能有8家选择了华为昇腾云。
在国内具身智能市场位居第一梯队的同时,华为昇腾云也实现了对国内重点高校的大范围覆盖。
浙大、上海交大等高校均已与华为云展开深度合作。各方用昇腾算力、仿真平台和开源代码共同训练模型、搭建数据集、开展评测,还一起建设课程和实训基地。
产业侧的落地同样在加快:联手福龙马做无人环卫,共同定义产品,也一起做营销、推上市;与亿嘉和联合发布配网带电作业机器人,在配网高危作业中实现规模化商用;同山河智能联合推动矿山场景落地……
工业制造、城市服务、应急救援,再到生活服务、医疗康养、教育实训,CloudRobo已经覆盖20多个行业。
One more thing
全球AI的较量,重心正从单块芯片的性能转向整套系统的能力。
具体到具身智能,电要供得上,机器人干活产生的数据要收得回、用得好,机器还得交到客户手中,进入新场景后能继续调整。
国内有电力基建和「
单项技术跑在前面固然重要,把各环节串起来的工程能力与产业配套同样关键。
用昇腾原生训练的CloudRobo-WM1.2,在两项国际基准上均排名第一,确实让人振奋。
至少对具身智能厂商来说,训练侧终于不再只有英伟达一条路可选。