小米人形机器人获乌镇领先科技奖:进厂连干8小时,公寓跑完50项任务
克雷西 发自 凹非寺 量子位 | 公众号QbitAI 人形机器人这出大戏,演到今年开始换戏路了。 跑跳翻跟头的本事大家见得多了,今年大伙儿更关心的,是机器人能不能真刀真....
克雷西 发自 凹非寺 量子位 | 公众号QbitAI
人形机器人这出戏,今年换了个演法。
跑跳翻跟头那套本事,观众早就看熟了。今年大家盯的是另一件事:机器人能不能在具体工位上把活真干出来。
这几天的世界互联网大会乌镇峰会,给了一个挺直接的风向标。
含金量很高的领先科技奖,大会颁给了小米机器人团队的具身基座模型技术。
小米集团同时拿下杰出贡献奖(创新突破类)。
有意思的是,小米这支团队在各大晚会舞台上几乎见不着,炫技大片也拍得少,心思基本都花在一件事上——怎么把全尺寸人形机器人送进真实的生产车间。
这回在乌镇领奖,他们顺手放出了两组最新的现场打工实测。
一组在小米汽车工厂总装车间:两台全尺寸人形机器人守在流水线前连站8小时,搭伙把整班的中控台软盖板整整齐齐码进了料架。
中途碰上塑料件卡壳、吸盘打滑,机械臂自己倒腾两下,拔出来重插,全程没让旁边待命的人类安全员插过手。
【视频请到公众号查看】
小米员工所住的青年公寓里,还设了另一处试点。今年7月才发布的新一代具身基座大模型Xiaomi-Robotics-1,被研发团队直接搬进宿舍,开始试运营。
新模型控制下,机器人穿过影音室、娱乐室和图书室3个房间,拿扫把扫地、收桌上的脏纸巾和水杯、摆正沙发抱枕,一口气跑完50多项任务。
活干完它还不走,站在屋子中间环视一圈做全屋复检,确认没漏掉垃圾才出门。
【视频请到公众号查看】
流水线上站满8小时,不用工人救场
具身智能走到今天,大家认准的硬道理是拿真实场景牵着技术往前走:现场工位需要什么动作,算法就得跟着长出什么能耐。
小米把机器人做成人形,图的就是一个通用,让它的能力更丰富。
同一台机器,硬件一颗螺丝不用动,换个工位就能接着干活。
雷军今天在微博回答网友提问时也专门提了这茬。他的说法是,人形机器人硬件不用改动,可以适应更多不同的岗位和场景。
小米这次展示的“进厂打工”demo,就是一次试水。
小米汽车工厂的总装车间里,两台全尺寸人形机器人正站在中控台侧盖板排序工站前。
面前停着AGV小车送来的取料箱,身后立着多层金属料架。
机器人探出双臂,从料箱里抓起细长的黑色软质侧盖板,转身对准料架上的窄槽,稳稳插进去。
两台机器人以双机并行的模式,闷头把这套动作连着干了下来,中间除了充电,一直没停过。
这活儿要是落到人身上,早就腰酸背痛了。
小米的人形机器人进厂“实习”之后,这回第一次挑战8小时作业,把中控台软盖板的排序与配料任务从头到尾稳稳做完了整班。
一上班就是8小时,流水线上随时可能冒出来的意外,机器人都得接住。
中控台侧盖板是细长的软质塑料件,抓在手里易变形、易打滑,往料架窄槽里插时,公差稍有偏差就会卡住。
面对这种活儿,传统自动化机械臂显得很脆弱:盖板在半空一滑,或者插进卡槽时一别劲,系统立马报错停机,只能等安全员赶过来手动复位。
这次实测里,两台人形机器人只要察觉抓取落空或插放卡滞,机械臂会自己微调手腕角度,把卡住的盖板往外撤一截,再重新对准插好。
论沉得住气,它比人还强。
两台机器人之间也能互相搭把手。系统一旦发现物料掉落,旁边的轮式小机器人就放下手里的活,麻溜跑过来协同救场,把掉落的零件收拾掉。
旁边待命的安全员,愣是没找到伸手救场的机会。
配合不只发生在两台机器人之间,它们和车间里的其他设备同样能统筹协调。
两台机器人的调度系统,直接接入了车间的MES制造执行系统和AGV物流网络。
前方的AGV物料小车一到位,机器人便自动上前取料。
哪台机器人干到电量告警,就自己离开工位溜去充电桩回血,另一台同伴无缝顶上;等它充好电跑回来,再接着干剩下的活。
俩机器人各忙各的,半句废话没有。
产线上这套不掉链子的表现,是团队在车间里花了7个月一点点磨出来的。
今年3月刚进厂时,机器人只能在自攻螺母工位跟上76秒的产线节拍,连干3小时,双侧安装成功率90%。
到7月,螺母工位的成功率磨到了98%,比人工操作的合格率只差1%;团队还顺手解锁了中控台侧盖板排序和料箱折叠回收两个更复杂的工位,攻下了软质工件的长时作业。
几个月下来,工位上的活算是越摸越熟了。
到这次顶下完整的8小时,机器人已经在工业流水线上稳稳站满了一整个班次。
进宿舍连干32分钟,临走还回头查房
今年7月,小米发布了新一代具身基座大模型Xiaomi-Robotics-1。
这一回,研发团队把它用进了生活场景,测试地点选在小米青年公寓二层的公共活动区。
有一说一,看完这段视频,感觉小米这公寓环境还针不戳。
官方放出了一段32分钟一镜到底的实测画面。画面里,机器人推着全向移动底盘,在影音室、娱乐室和图书室3个房间之间来回穿梭,一口气把50多件零碎家务全干完了。
进影音室的第一步,它先把随身带的收纳筐放到彩色拼接沙发上,然后扭头把茶几和地面扫视了一圈。
进门先打量一圈,这属于眼里真有活的。
圆桌上散着些屑和碎纸,它左臂立刻伸出去拿白色簸箕,贴着桌面边缘,右臂抄起小扫把,几下就把碎屑扫进簸箕,再转身倒进桌底下的垃圾桶里。
两下收拾得干干净净,手脚比合租室友还麻利。
桌面垃圾清完,沙发上东倒西歪的抱枕它也没放过,伸手把靠枕扶正摆齐。接着桌上乱丢的纸巾盒、麦克风、水杯、杂志和车模被它挨个挑出来,该进收纳筐的进筐,该归位的归位。
屋里但凡有点歪七扭八,它是真看不下去。
过去那种常规的单一任务操作测试里,机械臂通常听一句口令动一下,抓完一次物体就停在原地发呆。
要让机器人自己把一整串家务连贯做下来,团队在Xiaomi-Robotics-1预训练模型之上搭了一套Agent系统。
这套算法把观察、干活和检查串在了一起。机器人进门后会先自己扫描全屋,判断哪块区域最乱、该先扫地还是先收杂物。
50多件零碎家务全部做完,它离开房间前会在屋子中间停住,环视一圈做全屋复检,自己确认桌面和沙发都收拾利索了,才算完工离场。
好家伙,临走还要杀个回马枪挑挑刺。
看它干得挺利索,其实生活里的这套杂活,比车间流水线上的工位可要难伺候得多。
房间里的东西没有固定规整的卡槽,抽纸盒软塌塌,马克杯光滑易脱手,连光线和摆放位置每天都不一样。
为了让VLA模型在杂乱环境里拿捏得准,团队针对公寓的日常运营需求梳理出20多种技能,让模型认全了1000多种常见日用品。
团队还专门采集了数百小时数据喂给模型,里面包含现场遥操、人为推搡干扰和接管回流,机械臂动作发抖的问题则用滤波算法消掉了。
青年公寓里塞进机器人,大模型就有了真刀真枪的试错场地。抓空了、撞上了,或者得靠人上手接管,这些现场动作都会被记下来,回头直接拿去喂大模型练本事。
自带工厂和数据,核心技术逐个突破
无论是在汽车车间连站8小时,还是去员工宿舍收拾32分钟杂物,小米给机器人安排的全是实打实的枯燥苦力活。
打立项头一天起,小米机器人团队就没往运动表演那条道上走,精力都压在真实场景上,目标是造出一台能真正下场干活、拿得出实际生产力的机器。
一旦奔着干活去,拼凑现成的散件就不够用了。
过去大半年里,具身智能涉及的核心技术栈,团队挨个自己啃了一遍。
今年2月,小米先开源了基座模型Xiaomi-Robotics-0;到了7月又接连掏出380亿参数的统一生成模型Xiaomi-Robotics-U0,以及拿下RoboCasa365和RoboDojo双榜第一的VLA模型Xiaomi-Robotics-1。
汽车产线最吃硬功夫,这里除了两台进厂作业的全尺寸人形本体,团队10月还公开了一款21自由度的仿生灵巧手;手指关节怎么弯、出多大力,都是拿汽车总装车间一线工人大量真实装配动作反推出来的。
为了训练这只灵巧手,小米从汽车工厂总装车间的16个典型工段里挑出1827个SOP——全部2579个SOP中的一部分——逐一做了完整的数据采集与分析验证。
大模型、数据生成工具,再到产线上的全尺寸本体和灵巧手,几块核心技术小米都自己下场做了一遍。
这套全栈家底搬进小米自有的真实场景后,借别人场地所比不了的优势立刻显了出来。
全球工业人形机器人玩家里,美国的Figure跑得相当快,其机器人在宝马汽车工厂做过大量实测,作业场景和小米很像。
不过在别人的屋檐下干活,总有一堵看不见的墙。
成熟车企对产线节拍和核心工艺守得极紧。宝马能把工位借给Figure测试机械臂,却很难向一家外部机器人公司彻底敞开自己的生产数据中台。
小米没这层顾虑,工厂本来就是自家的地盘。
小米放出的8小时实测长视频里,画面从10倍速一路快进到100倍速。两台机器人不知疲倦地分拣盖板之外,底下还藏着一个容易被忽略的细节。
机器人把料车上的零件挨个分拣进料箱,一批装满后不用人工扫码确认,也不用按键呼叫,底下的料车自己准时开走,空料车紧跟着稳稳补位。
什么时候来车、什么时候拉走,机器人的大脑和整车厂的底层生产系统是通着气的。
换到生活场景,这套拿现场数据练手的逻辑同样成立。
青年公寓里跑通的长程任务链,可以无缝复刻进真实家庭。多房间、日用品随处散落的非结构化空间,正是未来家用机器人绕不开的考场。
更大的想象空间还在后面:小米平台上目前连接着超过11亿台AIoT设备。
具身大模型一旦跟这套成熟的物联网体系打通,机器人进了千家万户就不必凡事亲力亲为,它能自然调动全屋的智能家电、传感器和照明系统配合,在物理世界里的操作半径会成倍拉长。
制造端也一样,汽车工厂只是小米智能制造版图的一角。
汽车总装车间之外,小米还有生产高精电子元器件的手机智能工厂和家电工厂,身后连着国内规模极其庞大的消费电子与制造产业链集群。
机器人若能在自家这套智能工厂里把每道工序彻底跑通,这份在极高要求下打磨出来的作业能力,未来完全可以走出小米自己的车间,帮产业链上下游的工厂一起做自动化与智能化转型。
从自建的智能工厂到自有的青年公寓,这种底层数据彻底打通的物理空间,省掉了跨公司对接时的层层设防。
流水线和房间里这两块试验田不设限制,大模型每天干活时攒下的每一条交互数据、踩过的每一个小坑,都会顺畅流回研发团队手里,用来喂出下一版更熟练的模型,串起“本体-数据-模型-场景”的完整回路。
把视野拉远,全球能同时把智能工厂、机器人和AI大模型跑在一个集团里的公司,屈指可数。
被提得最多的是马斯克:特斯拉有超级工厂和Optimus,xAI有大模型。
华尔街愿意给出万亿美元估值,很大一部分原因就在于看中了这三条线的有机结合。
可把这套筛选条件往外一搬,能凑齐的几乎没有。大多数玩家手里只有两张牌,第三张要么刚起步,要么得找外援。
小米恰好凑齐了自有智能工厂、自研大模型和自造机器人本体,三条线并行生长,数据互通。
从立项第一天起,小米就把目标定在“干活”上,核心技术上全部自己啃,再把成果丢进自家场景里真刀真枪地跑。这条路没有捷径,可一旦走通,别人想复制就难了。