华为云CloudRobo:具身智能怎么从实验室走进工厂
一批卡可以轮流服务多家公司,一次适配也能让更多团队受益。算力不必家家从头买,工程上的坑也不用家家重新踩。
一组卡能轮着给好几家公司用,做一次适配,受益的团队也不止一家。算力用不着每家都从头买,工程上踩过的坑,也不必各家再踩一遍。
田晏林 发自 凹非寺
量子位 | 公众号 QbitAI
机器人待在实验室里,能把活儿干成;进了工厂,还能不能天天都这么干?换一台机器人,先前练出来的本事又还剩几分?
只把模型训聪明远远不够,它身后的算力、仿真、真机适配,哪一样都得跟得上。
11月16日,华为云把昇腾原生的具身世界模型CloudRobo-WM1.2摆到了台前。
这个模型从仿真训练一路管到适配各种机器人,它牵出来的,是整串具身智能的工程难题。
两天之后,华为云在上海张罗了一场「行业AI梦工厂·具身智能高层论坛」,那些平时藏在幕后的工程活儿,被搬到了台前。
面向Agentic计算的算力基础设施、一站式具身智能开发平台CloudRobo,再加上机器人自适应智能、高空带电作业这些产业实践——机器人从实验室挪到真实现场,中间要跨几道坎,这场论坛大致都讲到了。
会上还落了一份备忘录:华为云与福建小状智能打算把CloudRobo和昇腾算力引进高校实训,让学生自己动手做机器人开发。
模型发布也好,产业实践、高校实训也好,事情看着各不相干,可底下压着同一个判断:具身智能的研发,有些环节真犯不上每家公司都从头来一遍。
华为云的做法,是先把算力、存储、网络和底层适配这些重活接过来,再由CloudRobo把数据、训练、仿真到真机部署串成一条线。
各行业的具体需求怎么办?拉上懂技术、也懂现场的伙伴一块儿啃。跑通的工具和方法,尽量攒下来给下一个项目用。
可要想让后头的工程少折腾,头一道关得先迈过去。
不少机器人公司模型还没开训,先被算力买多少、钱怎么花愁住了。
算力底座,先得撑得起具身智能的野心
AI的竞争从模型烧到了应用,可算力这张入场券,始终得攥在手里。
不过同是做AI,不同项目对算力的胃口差得远。
普通问答简单:你问一句,大模型答一句,这一轮就算完。
换成Agent,事情就没这么轻松了。
它得先拆任务、查资料、调工具,拿到结果还要接着琢磨;中间哪一步走偏,说不定整轮都得推倒重来。
华为昇腾芯片产品管理专家钱鑫源给了组数据:近两年Token消耗涨了约1400倍,而Agent任务的Token消耗量,是普通问答的100至1000倍。
到了具身智能这儿,算力还得再往上加码。
拿教机器人抓杯子来说。
机械臂伸过去、抓住、再提起来,几秒钟的事。可放到仿真训练里,杯子有没有抓牢?中途会不会掉?
仿真软件先得把结果算出来,训练程序才能照着反馈去调模型;视频、关节位置、动作记录这些数据,也要一批批送进去。仿真结果没出来,训练就只能干等;数据跟不上,卡也只好闲着。
真让一家具身智能公司自己去搭集群,光买多少卡就够让人头疼。按日常需求买,训练和仿真撞到一起,实验就得排队;按最忙的时候买,平时闲着的设备照样要运维。
卡买回来还不算完,网络要配、存储要接、任务要安排。这摊子事,华为云打算揽过去。
硬件采购、系统适配、长期运维,都由云端统一兜着。具身团队要集中训模型,就调一批昇腾算力;想多跑几组仿真,再按任务调整资源。
模型迭代到哪一步,算力就跟着变到哪一步。不必为了最忙的那几天,先把整套设备买下来。
△AI生成
卡调来了,还得让它真忙起来。尤其具身智能这类任务,既要处理长视频,又要兼顾动作等多种数据。
训练长视频时,计算单元得反复从显存里读数据,再把中间结果写回去。显存带宽管的就是数据搬得快不快。发动机马力再大,油管供不上油,算力也只能干等着。
昇腾芯片从950系列往后,一边提计算能力,一边给数据传输提速。按规划,960DT的显存带宽最高能到9.6TB/s!
单卡跑顺了,多张卡一起上,新麻烦又来了。假如一段长视频拆给好几张卡处理,别的卡都还游刃有余,偏偏有一张先把显存撑爆了。得,大家只能跟着干瞪眼。
华为云做了长序列并行,尽量把不同模态的显存负载摊匀,还提前把下一批训练数据取过来,减少等待。
对具身智能工程师来说,这些优化挺实在。训练少等一会儿,实验就能多跑一轮。谁不想早点看到结果,少熬几个大夜啊!!!
还有些麻烦,甚至出在模型开训之前。新模型碰到框架里没有现成实现的算子,工程师还得开发、移植,再测性能。
华为云计划让专项团队和具身伙伴一起做昇腾云适配,把这类算子调好。
前面团队摔过跤的地方,后来者就有机会绕开。
这笔买卖对云厂商的吸引力,其实也在这里。
一批卡轮流给好几家公司用,一次适配能让更多团队沾光。算力不用每家从零买,工程上的雷也不用每家重新排一遍。
可训练集群里跑得再溜,机器人离真正上岗还差一步。
模型训完只是前半程,接下来得让它在现实环境里把活儿干利索。
从模型到真机,CloudRobo打通工程化链路
仿真环境里抓取动作明明做对了,一上真机,手伸出去,位置就歪了。
几乎每家具身智能公司都会撞上这种情况。
仿真分数看着挺高,到了现场却突然出问题。工程师只能回头排查,到底是哪一环掉了链子。
华为云CloudRobo瞄准的,正是这些麻烦。
数据处理、模型训练、仿真验证,再到真机部署,它把这几步串成了一条线。
机器人活儿干不好,毛病可能藏在任何一个环节。回回从头查、从头改,谁也扛不住。
就说数据,采集手段各家不同,换一台设备,格式可能就对不上。
CloudRobo借助R2C协议和SDK把机器人接入统一起来,不同来源的数据进同一套管线处理,支持PB级多模态数据管理和快速索引。
换一种采集方式,不用把整条流程推倒,只要针对新本体调整映射。
眼下平台已攒下超过100万条导航轨迹、5万多条操作轨迹,数据处理算子有50多种。
数据捋顺了,就该开训模型。
训练、推理、后训练和评测,CloudRobo把它们放进同一个开发环境,还聚了30多款第三方模型、30多项评测指标,以及20多项具身开发专业Skills。
计划11月30日正式开源的昇腾原生具身世界模型CloudRobo-WM1.2,也会作为模型资源进到平台上。
具身团队不必样样从零搭起,可以先拿现成模型试水,再照着自家机器人和任务做调整。
模型有了,还得弄清楚它到底顶不顶用。
比方说,机器人抓杯子的成功率忽然往下掉。是数据出了岔子,还是新模型的策略不灵?
工程师可以在原来的评测环境里,分别动数据和模型,看看到底是谁的问题。
模型调顺了,也别急着往真机上搬。
CloudRobo能读取描述机器人结构的URDF文件,机械臂可以先在虚拟环境里跑起来。
同一个杯子,挪个位置、换个朝向,再抓一遍。
真机上反复试错,设备会磨损,还有安全风险;仿真里先把容易失败的场景筛出来,再补数据回去训练。
可虚拟世界里再熟练,最终还是要过真机这一关。
这一步交给CloudRobo运行管理平台。
它的任务是连通云端模型与现场机器人:长程规划、后续训练放到云上,边缘侧管多机调度,实时控制和安全机制则尽量留在机器人本体附近。
遇到异常,现场先处置;出错前后的画面、动作轨迹这些信息都会记录在案,工程师回头查问题、调模型时能派上用场。
搞过AI开发的人可能会想:数据管理、训练、评测,这些早就不新鲜了吧?
机器人却不一样。模型跑完只是开头,后面还接着一个真实的物理世界。
仿真里学会的动作,真机上能不能重现?现场出了状况,怎么更快把新数据喂回训练?
CloudRobo要做的,就是让这条链路尽量少断。
模型更新一版,原有的数据管线、评测环境照旧能用;换一台机器人,整套开发流程也不用推倒重来。
真实场景里表现怎么样?上海交大团队讲了他们的经历。
上海交大开了具身智能微专业。学生如果每组都得自己找机器人、搭仿真、接数据,一门课下来光折腾工具就够呛。
华为云训练营里,30名具身智能微专业学生用CloudRobo从仿真一路做到真机,还对比学习了Diffusion、ACT和Pi0.5等模型。
后来有学员组队参加首届CloudRobo具身智能大赛,拿了个第二名。
对高校而言,学生搭环境的时间省下来了,能更快上手真实的机器人任务。
企业研发也是同样的道理。
到了产业现场,接缝只会更多。换一家工厂、换一条产线,设备、作业流程、安全要求都可能变。
华为云组队,让更多机器人上岗
有些难题,确实需要懂行业的人一起上手。
亿嘉和就是例子,它的机器人已经上了高空带电作业现场。旗下Z100累计交付超过400台,每年累计作业超过8万次。
双方合作开发的Z200Pro,计划让机器人自己判断更多现场环境、规划部分运动,少依赖人工遥操作。
亿嘉和披露,新方案作业时长可控制在30分钟以内,效率提升约30%,部分数据还有待真实现场验证。
现场还有多位生态伙伴讲了和华为云合作的最新进展。国地中心常务副总经理刘宇飞说,国地中心正依托昇腾云建异构机器人虚实融合训练场,把真实采集和仿真合成的数据打通,探索数据集开放与统一评测,让更多机器人拿到训练资源。
大晓机器人副总裁周泉介绍,大晓在零售、安防、酒店等场景已经走完从0到1的落地,和昇腾云在框架适配、算子开发、训练调优上都有合作。下一步,大晓打算把动作和任务流程做成技能库和标准化交付方案,免得同类需求每回都从头折腾一遍。
杭州天宽具身产品总监杨光明说,公司正和华为云一起搭端云协同的巡检架构,用云上的算力优化多机器人调度;云精灵具身巡检方案则借着生态通道,继续往工业、园区场景铺开落地。
四个伙伴,切入的点并不一样:有人盯高风险作业,有人琢磨怎么批量交付,还有人专门补训练数据的缺口。可往底层看,数据处理、模型适配、仿真工具、训练调优这几件事,又有不少相通的地方。
华为云「行业AI梦工厂·具身智能专区」想干的,就是把这些散落的技术能力串起来,攒成更多企业用得上手的东西。底下是昇腾云出算力;再往上是CloudRobo平台,从数据管理、模型开发、仿真验证到真机部署、持续迭代,整条流程的开发运营支撑都归它管,创新和应用的門槛也就降了下来。
这套技术体系搭好之后,高校、开发者、模型公司、具身智能企业和行业客户,都能把各自拿手的本事带进来。高校研究出的算法,可以交到企业手里在真实任务中验证;工具公司打磨好的仿真工具,能进入更多机器人的开发流程;行业客户攒下的作业经验,也有机会变成模型训练和评测要用的数据。
前一家跑通的路子,后一家就有机会接着走。生态合作的价值,有一部分也在这里。
不过,伙伴辛辛苦苦做出来的东西,只塞进资产库里显然不够。华为云通过云商店等渠道,把伙伴的产品和联合方案推给更多客户。
一款仿真工具要是在多个项目里都用得上,开发团队才更有劲头持续维护。机器人企业也能少花时间重复开发,把精力留给自己的场景。
技术、工具、渠道之外,华为云还掏了真金白银,支持具身智能技术研发和行业方案落地。具身智能专项对单个伙伴最高支持200万元,AI行业解决方案专项对单个方案最高支持100万元。
专区上线5个月,目前已经和230多家企业及高校开展合作,积累1500多项技术资产。
具身智能这场仗打到今天,机器人从展台走进工厂,比的已经不只是把活儿干成一次,还得天天干得稳,换个场景也能把本事使出来。这背后,模型要训得起,真机要跑得稳,到了现场还得把成本算清楚,哪一关都不能掉链子。