破壳机器人发布RoboAPI:一句指令,机械臂就能干没练过的活
刚刚,破壳机器人发布RoboAPI!具身模型也能「开箱即用」了
与不少具身模型只发 Demo 的做法不同,RoboAPI 面向真实物理世界,可公开访问,开箱即用,发布当天就向行业发出邀请:欢迎试用。
开发者把 RoboAPI 接入适配的机械臂后,不必采集数据,也不用训练模型。只需一句 prompt 下达指令,机械臂就能在陌生环境里完成此前没有专门训练过的任务,由此验证破壳模型的「零样本泛化」。
现阶段 RoboAPI 仅限非商业化应用,不向盈利性第三方提供产品或服务。开发者可借助 RoboAPI 的快速开始文档和开发者平台免费接入。
一、RoboAPI
让机器人模型「开箱即用」
RoboAPI 的开发起点,是行业里一个绕不开的难题:机器人模型的 demo 视频看着很惊艳,真正用起来却是另一回事。一所高校实验室若想用上开放的具身模型,得先采数据、微调模型,再验证效果、补采数据,几轮下来很可能耗掉一个月。
难点有两层。一层是构型差异——文字和图片有统一格式,机器人没有,不同机器人的结构、传感器和控制方式千差万别,改动任何一处,模型就可能「水土不服」。另一层是泛化本身:哪怕在同一台机器上,模型往往也只在训练过的物体和场景里表现稳定,换成没见过的环境和物体,就可能失手。
对照语言模型的发展路径,GPT-3 API 曾让开发者不必自己训练和部署语言模型,就能用上前沿基础模型。RoboAPI 想在物理世界做同样的事:它接收机器人的观测与状态,结合用户指令,近乎实时地预测并输出机器人接下来的动作。
二、Poke-Aurora
轻松调用的零样本泛化能力
撑起 RoboAPI 的,是破壳首个世界 - 动作模型 Poke-Aurora,它具备零样本泛化能力。世界 - 动作模型通过预测未来画面,学习物体运动与交互的规律,为操作经验跨物体、跨场景迁移打下基础。不过,世界建模的能力并不会自动变成可靠的动作能力,怎么让视频与动作的学习相互促进,仍是关键挑战。
破壳在 Poke-Aurora 里给出了「调制残差耦合」(Modulated Residual Coupling,MRC)机制。视频与动作原本各走各的计算路径,这套机制在保留两条路径的前提下,让二者之间长出可学习的交互。破壳的观察是,MRC 让视频预测和动作预测的学习方向更趋一致,模型对物体如何运动、如何交互的理解,也就更能落到动作生成上。
破壳今早发布的文章披露,他们自建了一套规模化评测体系。体系里有近 1000 个常见物体、近 1 万条不同指令,任务归为三类:物品转移与整理、姿态与形状对齐、环境交互与工具使用。
评测结果方面,Poke-Aurora 在这三类任务上的成功率依次是 86.0%、54.1% 和 87.7%。参与对比的 GPT6 Astra 和两款开源具身模型都没能超过它;两款开源具身模型在三类任务上的成功率均不足 35%。更多技术细节,按计划会在 Poke-Aurora 的技术报告中放出。
要让这套流程跑在不同机器人上,破壳在实现 RoboAPI 时对「构型」做了优化。他们从 UMI 得到启发,定下「腕部鱼眼相机 + 末端位姿控制」的构型:机械臂手腕上装一颗消费级鱼眼运动相机,观测和控制都围绕夹爪所在的末端展开。这样一来,搭建这套配置的门槛和成本都降了不少。
三、具身智能的「API 时刻」
让模型接受所有人检验
真实世界比评测复杂得多。在破壳看来,RoboAPI 最大的意义正在这里:一个前沿具身模型泛化能力如何,不该只由创造它的人说了算,而应随时交给任何外部用户,在真实环境中检验。
这也对上了具身行业里长期存在的一种错位。行业里,一部分人提供机器人和模型,另一部分人负责使用。前者长期拿演示视频示人,可视频里的表现和模型的实际能力常常对不上,使用者只能自己花大量工夫去调教。RoboAPI 想做的,是把模型的能力直接交到使用者手里,让它在不同的硬件、任务和环境中接受检验。
RoboAPI 目前已经在美国、新加坡等地的多家高校实验室完成内测,反馈不错。正式上线之后,会有更多开发者加入进来做测试。
自主,4 倍速
对开发者而言,机器人底层的控制已被 RoboAPI 封装起来。今天很少有人再去关心电机内部的控制算法,同样地,「机器人大脑」也变成了一项可以直接调用的能力。开发者不用从头重复研发,能把精力放在真实任务和应用上。用智能体把各种工具串成工作流的人越来越多,往后软件工程师同样可以靠 RoboAPI 操控机器人、搭出自己的工作流。
把模型做成 API,正成为具身智能公司的一个新方向。10 月中旬,美国一家机器人模型公司上线了 API 测试版:开发者上传自己的数据,在它托管的算力上微调模型,然后再调用。几天后,另一家美国初创公司发布的 API 则以零样本为主打,面向带夹爪的双臂机器人。几家公司路线各有取舍,方向却大体一致——让用户亲手去检验模型,而不是只看演示。通用大模型也在尝试直接控制机械臂,不过在本月发布的 AA-Robotics 评测中,它们的速度比人类慢约 100 倍。
许华哲是这家公司的创始人,他的判断是:泛化能力要真正成立,就得在不同机器人构型、任务和环境里接受更广泛的检验;机器人也得先在足够多的真实环境中经受住考验,将来才有可能进入家庭,应对更多样的环境。破壳机器人选定的方向是家庭机器人场景,而RoboAPI正是其迈向家庭的一步。