清华联合无问芯穹、智元提出CEL:96台机器人验证群体学习
让机器人成为彼此的“老师”
让机器人彼此当“老师”,这是清华大学、无问芯穹与智元三方给出的新思路。
三方近日联合提出群体经验学习(Collective Experience Learning,CEL)这一新范式,并在由96台真实机器人构成的集群上做了规模化验证。按照这一思路,机器人不再只靠人类示范来学,还能从群体里其他机器人的成功做法中取经:某台机器人在任务中卡住时,可以去翻同伴以往的经验找解法,再据此调整自己的动作。经验共享、持续积累,整群机器人就能在反复实践中一起变强,这也为机器人自主进化与规模化应用提供了一条新的技术路线。
一、机器人互相当“老师”,规模化发展多了一条路
具身智能正从实验室走向真实世界,机器人要应对的环境越来越复杂。要干得好,关键在能不能持续攒下真实世界的经验。眼下通行的办法是人来“教”:操作员反复做示范给它看,或者等它做错了再上手纠正。
问题在于,机器人可以成百上千台地铺开部署,经验丰富的操作人员却不会跟着同步增加,没法陪着机器人一起“扩产”。这已经成了具身智能往前走的卡点之一。
CEL 换了个学习对象:主要不再靠人教,而是向“同伴”学。一台机器人在实践里试出来的成功做法,可以沉淀下来,供整个群体共享和复用。机器人不必一直等人来教,从群体不断累积的经验中就能自行学习、成长。
机器人数量越多,群体攒下的经验越厚;再借助一套统一的学习机制持续优化策略,能力就会越用越强,越干越聪明。
二、近百台机器人“组团学习”,任务成功率全部高过人类平均水平
真实场景的测验,进一步检验了 CEL 的学习效果。
实验覆盖家庭服务与工业生产两类场景,具体是插花、叠衣服、手机充电、凳子组装、手机包装五项任务。成绩很亮眼:两台未参与训练的机器人共做了600次测试,仅失败15次,总体成功率97.5%;五项任务的成功率,均高于6名人类操作员的平均水平。
手机包装属于需要连续完成多道步骤的工业任务。经过群体经验学习,机器人在这项任务上的成功率由79.2%升到98.3%,连续测试120次只失手2次。可见学到的策略在复杂任务上既管用,也够稳。
研究还发现一个“机器越多越强”的规模化规律:参与训练的机器人从16台增至96台,成功率由86.7%升至98.3%。换句话说,同样的实际训练时间下,参与训练的机器人规模越大,能攒下的真实经验越多,这些经验又持续转化为学习收益,让整个群体越来越聪明。
三、高容错系统托住算法创新,机器人持续学习的链路被打通
CEL 能够落地,靠的是系统与算法两头同时使劲。
系统一侧,团队以大规模强化学习训练开源框架 RLinf 为基础,搭出“容错异步训练系统(FATS)”,让近百台机器人可以持续、稳定地协同学习训练。真实机器人与计算资源被统一调度:机器人干完活就能立刻上传自己的操作经验,不必空等其他机器人,训练系统随时可以接着优化模型。网络抖动、设备掉线、硬件故障这些真实环境里的常见状况,系统也预先做了应对——部分设备“掉线”,整个集群仍能稳定运行。在96台机器人规模的系统测试中,集群累计采集9834轮执行经验,其间22台机器人共出现30次故障,但故障带来的机器人时间损失仅占全部运行机时的1.3%。系统扛得住百台规模的真实环境考验。
算法一侧,团队提出“失败引导的经验检索微调算法(FERT)”,帮机器人从任务成败中找准改进方向。现实难题是:一次机器人操作可能持续好几分钟、牵涉几千个动作步骤,最终反馈却常常只有“成功”或“失败”一句,信息量太小,看不出该改哪个动作。FERT 的办法是把两类经验都用上:从成功操作里学“该怎么做”,从失败操作里找“哪里没做对”。机器人一旦卡住,算法便去过往的成功经验中检索相似场景下的有效做法,让它重点照着学,能力就这样一点点改进。
四、产学研协同,摸索具身智能产业化的未来
具身智能要产业化,关键不只是让机器人“会做一件事”。清华大学、无问芯穹、智元此次联合推出的群体学习范式,给出的是一条从“单台机器人能力提升”走向“整个群体持续进化”的路径。
它的价值也不止于技术本身。
首先,它解开了一个长期卡住具身智能的障碍——“人不够用”。以往机器人能力提升,高度依赖经验丰富的操作人员持续示教、人工纠错;而人属于稀缺资源,永远追不上机器人批量部署的速度。群体学习让机器人互相学,局面就完全不同:机器人越多,经验积累越快,能力提升也越快,“人不够用”的瓶颈转为“机器人越多越强”的规模优势。
更难得的是,这次联合本身就是产学研协作的一次示范。清华大学处在学术前沿,无问芯穹深耕 AI 基础设施,智元手握整机与真实场景——三方各展所长,恰好补上了从“论文里的方法”到“产线上的能力”之间最难走的一段,让前沿算法不再停在论文里,而是一路跑进了真实世界。
这次验证的不只是一套算法,还有一条完整链路:真实场景产生经验,群体学习沉淀能力,规模化部署再反哺更多场景。链路一旦跑通,其他企业、其他场景都能直接借鉴,整个具身智能产业的成长路径也会清晰许多。
说到底,机器人不再只是各自干活的执行单元,而能互相学习、共同进步,规模化部署也就不再只是能力应用的终点,还有望成为能力持续进化的起点。这是机器人学习方式的一次转变,也是具身智能从技术验证走向产业落地的一次真正破局。