华为云发布CloudRobo-WM1.2:具身智能开发能否少走弯路?
田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 机器人在实验室里把活儿干成了,到了工厂,还能天天这么干吗?换台机器人,之前练出来的本事又能剩下多少? 光把模型训....
田晏林从凹非寺发来消息,量子位公众号QbitAI同步刊出。
机器人搁实验室里能把活干成,挪到工厂还能天天这么干吗?换一台机器,原先练出来的本事又剩得下多少?
光把模型训聪明远远不够,算力、仿真、真机适配,哪一样都得跟得上。
11月16日,
华为云推出昇腾原生具身世界模型CloudRobo-WM1.2。
从仿真训练到适配各类机器人,这个模型背后牵出的是一整套具身智能工程难题。
两天之后,华为云在上海办起「行业AI梦工厂·具身智能高层论坛」,把那些藏在幕后的工程活搬到了台前。
从算力基础设施切入,做到一站式具身智能开发平台
现场还签下一份备忘录。华为云与福建小状智能打算联手,让学生上手做机器人开发。
模型发布、产业实践、高校实训,看着是几件不相干的事,底下的共识却一致:搞具身智能研发,有些活不必每家公司都从零干一遍。
华为云的做法,是先把算力、存储、网络和底层适配这些事揽过来,再
各行业的具体需求,就拉上懂技术、懂现场的伙伴一道解决。跑通的工具和方法,尽量留给下一个项目继续用。
不过,想让后面的工程少折腾,头一关得先过。
机器人公司模型还没开训,算力该买多少、钱该怎么花,已经够让人头疼。
算力底座,先得撑得住具身智能的野心
AI从卷模型卷到卷应用,算力始终是入场券。
可同样做AI,不同项目对算力的胃口差别真不小。
普通问答,你问一句,大模型答一句,这轮任务差不多就收尾了。
换成Agent,就没这么省事。
先拆任务、查资料、调工具,拿到结果还得接着琢磨。中间哪一步走岔了,说不定还得推倒重来。
华为昇腾芯片Agent任务的
到了具身智能这儿,算力还得继续加码。
比方说,教机器人抓杯子。
机械臂伸出去、握住、提起来,看着不过几秒钟的事。可在仿真训练里,杯子究竟抓稳没有?会不会半路滑掉?
训练程序要拿到仿真软件算完的结果,才能照着反馈去调模型。视频、关节位置、动作记录这些数据,同样得一批一批喂进去。
仿真那头结果没出来,训练这头就干等着。数据供不上,卡也只能晾在一边。
真要是一家具身智能公司自己去搭集群,单是买多少张卡这一件事,就够让人挠头。
按日常用量买,训练和仿真一撞车,实验就得排长队。按最忙那阵子买,平时空转的机器照样得养着、修着。
卡到手还不算完,网络要配、存储要接、任务要排。
这些活儿,华为云准备揽下来。
买硬件、适配系统、长期运维,都交给云端统一扛。
具身团队要集中训模型,就调一批昇腾算力过来;想多跑几组仿真,再按任务把资源调一调。
模型迭代到哪一步,算力就配到哪一步。犯不着为了最忙的那几天,先把整套设备买回家。
△AI生成
卡是调来了,可总得让它真跑起来才算数。
具身智能这活儿尤其如此,长视频要处理,动作等多种数据也不能落下。
跑长视频训练时,计算单元得一遍遍从显存里读数据,再把中间结果写回去。
显存带宽
昇腾芯片从950系列起,算力往上提的同时,数据传输也在提速。按规划,960DT
一张卡跑顺了,多卡一起上,新麻烦又冒出来。
比如一段长视频拆给几张卡分头处理,别的卡都还轻松,就有一张先把显存撑爆了。
结果,剩下的全得陪着停在那儿。
华为云做了
对具身智能的工程师来说,这些优化是实打实的。
训练少等一阵,实验就能多跑一轮。谁不想早点看到结果,少熬几个通宵呢!!!
还有一类麻烦,出在模型开训之前。
新模型撞上框架里没有现成实现的
华为云打算派专项团队,和具身伙伴一起做昇腾云适配,把这类
前一家踩过的坑,后面的团队就有机会绕开走。
对云厂商而言,这门生意有意思的地方也在这里。
一批卡能轮着服务好几家公司,一次适配也能让更多团队沾光。算力不用家家从头买,工程上的坑也不用家家重新踩一遍。
可训练集群里跑得再顺,机器人离真正上岗也还差一步。
模型训完只是过了第一关,接下来得让它在现实环境里把活干利索。
从模型到真机,CloudRobo把工程化链路接了起来
仿真里抓得好好的,一上真机,手伸出去就偏了。
这种场面,几乎每家做具身智能的公司都碰过。
仿真分数看着挺漂亮,到了现场却突然掉链子。问题出在哪一步,工程师只能回头一点点查。
华为云CloudRobo盯的就是这类麻烦。
数据处理、模型训练、仿真验证,再到真机部署,它把这几段接成了一条链。
机器人干不好活,毛病可能藏在任何一环。回回从头查、从头改,谁也扛不住。
先说数据。采集手段五花八门,换一台设备,数据格式可能就对不上。
CloudRobo的做法是把不同来源的数据放进同一套管线处理,支持管理和快速索引。
采集方式变了,不用把整套流程推倒重来,按新本体调整映射即可。
目前平台已积累超过100万条导航轨迹、5万多条操作轨迹,还有50多种数据处理
数据理顺之后,就该模型开训了。
训练、推理、后训练和评测,CloudRobo放在同一个开发环境里,还汇集了30多款第三方模型、30多项评测指标,以及20多项具身开发专业Skills。
计划于11月30日正式开源的昇腾原生具身世界模型CloudRobo-WM1.2,也会作为模型资源进入平台。
具身团队不必事事从零起步,可以先拿现成模型试水,再照自己的机器人和任务做调整。
模型有了,还得判断它到底好不好用。
举个例子,机器人抓杯子的成功率忽然往下掉。是数据出了毛病,还是新模型的策略不灵?
工程师能沿用原来的评测环境,把数据和模型分别调一调,看看到底是谁惹的祸。
模型调好也别急着往真机上搬。
CloudRobo支持导入描述机器人结构的,让自家机械臂先在虚拟世界里练练手。
还是那个杯子,换个位置、转个角度,再抓一遍。
真机试错要顾着设备损耗和安全,仿真里可以先挑出容易失败的场景,再生成数据补回训练。
可虚拟环境里练得再顺,终究要过真机这一关。
这时候就轮到CloudRobo运行管理平台接手了。
它干的是把云上模型和现场机器人对接的活。长程规划、后续训练可以放到云上跑,边缘侧扛起多机调度,实时控制和安全机制则尽量压在机器人本体附近。
一旦机器人出状况,由现场先行处置。出错前后的画面、动作轨迹这些信息都会留存下来,工程师可以据此查问题、调模型。
搞过AI开发的人大概会觉得:数据管理、训练、评测,这些套路不算新鲜吧?
机器人却是另一回事。模型跑完只是开头,后头还连着一个真实的物理世界。
仿真里学到的动作,放到真机上还能不能复现?现场出了岔子,怎么更快把新数据补进训练?
CloudRobo要做的,就是让这条链路尽量不掉链子。
模型升一版,原有的数据管线、评测环境照旧能用;换一台机器人,也不必把整套开发流程推倒重搭。
落到实际使用是什么效果?上海交大团队给出了自己的说法。
上海交大办起了具身智能微专业。学生如果每组都得先找机器人、搭仿真、接数据,一门课下来光摆弄工具就够呛。
华为云训练营里,30名具身智能微专业学生靠着CloudRobo,从仿真一路做到真机,还做了对比学习。
随后有学员组队报名首届CloudRobo具身智能大赛,拿下了第二名。
对高校而言,学生搭环境的时间省下来了,能更早接触真实的机器人任务。
企业研发也是同样的道理。
只是到了产业现场,接缝只会更多。换一家工厂、换一条产线,设备、作业流程、安全要求都可能变样。
华为云组队,让更多机器人上岗
有些难题,确实得靠懂行的人一起啃。
亿嘉和就是例子,已经把机器人送上了岗。
与华为云联合开发的Z200Pro,打算让机器人自己判断更多现场环境、规划部分运动,少依赖一些人工遥操作。
亿嘉和披露的数据显示,新方案作业时长能压到30分钟以内,效率提升约30%,部分数据还有待真实现场验证。
现场还有多位生态伙伴分享了各自与华为云的合作进展。
国地中心常务副总经理刘宇飞表示,国地中心正依托昇腾云共建。
大晓机器人副总裁周泉介绍,大晓已在零售、安防、酒店等场景完成从0到1落地,并与昇腾云在框架适配、
杭州天宽具身产品总监杨光明表示,目前正与华为云联合打造相关产品。
四家伙伴的切入角度并不一样:有的盯住高风险作业场景,有的在琢磨怎么实现批量交付,还有的专门补齐训练数据这块短板。
不过往底层看,数据处理、模型适配、仿真工具、训练调优这些环节,彼此之间有不少相通的地方。
华为云「
昇腾云处在最下面,承担算力供给;其上是CloudRobo平台,把数据管理、模型开发、仿真验证、真机部署到持续迭代的整条链路都覆盖起来,为开发运营提供全流程支撑,创新和应用的门槛随之降低。
依托这套技术体系,高校、开发者、模型公司、具身智能企业以及行业客户,都可以把各自擅长的能力带进来。
高校研究出的算法,能交给企业放到真实任务里验证;工具公司打磨好的仿真工具,可以进入更多机器人的开发流程;行业客户积累的作业经验,也有机会转化为模型训练和评测所需的数据。
前一家跑通的经验,下一家就有机会接着用,这也是生态合作的重要价值之一。
当然,伙伴辛辛苦苦做出来的东西,光放进资产库里可不够。
华为云借助云商店等渠道,把伙伴的产品和联合方案推向更多客户。
仿真工具得先在多个项目里真正跑起来,开发团队才有持续迭代的动力;机器人企业同样能省下重复开发的工夫,把资源投到自己的场景上。
技术、工具、渠道之外,华为云还拿出了真金白银,支持具身智能技术研发和行业方案落地。
具身智能专项
目前,专区上线5个月,已与230多家企业及高校开展合作,积累1500多项技术资产。
具身智能竞争到今天,机器人出了展台、进了工厂,比的已经不只是能不能把活干成一次,而是能不能天天干得稳、换个场景照样把本事使出来。
这背后,模型要训得起,真机要跑得稳,到了现场还得算清楚成本,哪一关都不能掉链子。