觅蜂科技发布20.7万小时真机数据研究:成功率不等于数据质量
11月20日,上海觅蜂具身智能科技有限公司(以下简称“觅蜂科技”)官方发布一项真机数据质量研究。团队称,该研究基于20.7万小时真机采集记录、2万余条任务记录,用微调后的π0.5模型做真机验证。π0.5是Physical Intelligence开发的通用机器人基座模型,觅蜂团队用自采示教数据微调后,在真实机器人上评估
11月20日,上海觅蜂具身智能科技有限公司(下称“觅蜂科技”)对外公布了一项研究,用π0.5模型在真机上进行验证。
π0.5是
团队将
相关论文已于11月17日提交。研究的结论是:机器人把任务做成了,不代表就能拿到好的训练数据,成功的示范同样可能把模型教坏。
论文由觅蜂真机操作团队署名,目前尚未经过同行评审。
项目支持名单中列有觅蜂科技董事长兼CEO、智元联合创始人、联席总裁、具身业务体系总裁姚卯青,以及智元具身研究中心副总裁任广辉等人,具体支持形式未作说明。觅蜂科技是
论文一共描述了三组受控实验。
第一组叫观测缺失实验。团队把积木挪到机器人视野之外,再对比三种
结果是这样的:操作员能直接看到目标、机器人看不到时,模型选臂准确率为50%,差不多等于随机猜;操作员与机器人同视角、靠先验直接选臂,为53%;改成先让机器人主动搜索、确认目标再选臂,准确率达到100%。
三组各做了30次真机评估,完整抓放成功率分别是33%、40%、60%,前后的差距
实验说明,操作员和机器人看到一样的东西还不够,示范得把决策依据记录进画面里。
第二组是校准实验。团队在14个关节的状态数据中按批次人为加入
论文称,实验全部采用与部署零位一致的
团队表示,对
第三组是冗余实验。团队往训练数据里掺入0%到80%含停顿、绕行的示教。模型把新增路径长度保留了约90%,执行耗时从25.3秒升到32.6秒。
这组实验对应的是采集现场的真实场景。结果说明,后训练数据的风险在于,它可能把任务成功率和动作质量混为一谈。操作员为弥补设备限制而做出的绕行、停顿,可能跟着成功示范一起进了训练集。
三类问题作用于模型学习的方式各不相同。观测缺失,让模型只看到操作结果,缺了决策所需的信息;校准不一致,让相同的关节数值对应上不同的实际姿态;冗余示范,则把操作员的补救动作当成正确路径交给模型。
为解释“
在本体层面,团队分析了
论文提出,机器人选型不能只比机械臂长度,还要综合评估任务所需的位置、夹爪方向和关节余量;
在控制层面,实验发现,控制系统引入的多余动作,最终会被后训练固化进模型的动作策略。
团队提到,一个滤波算法算完可能用不到1毫秒,却会给实际运动带来超过200毫秒的
所以,评估采集系统质量时,不能只看网络延迟、算法运行时间和任务成功率,还要测量从操作指令、机器人响应到视觉反馈返回的整个过程。
关于人类示范数据的质量会怎样作用于机器人的模仿学习,学界已经做过一些探讨,关注点包括模型能否辨认决策依据、遥操作采集系统该怎么设计,以及采用不同示范方式会给下游策略带来什么影响。
觅蜂这项研究的意义在于,把本体、控制、数据三类变量放进同一个数据生产框架,给出真机量化结果。论文也指出,实验只用了单一策略模型和单一动作表示,部分偏移为人工注入,效应的普适性还需更多任务和架构来验证。
今年9月,觅蜂发布了众包平台觅蜂派。觅蜂方面表示,数据质量到底行不行,最终要看下游模型愿不愿意复购、用完之后有多少价值,平台结算按审核后的有效数据时长执行。
觅蜂此前宣传过百万小时级无本体数据产能、年内目标千万小时级,论文披露的20.7万小时属于真机遥操口径。两者统计口径并不相同,统计范围是否交叉,未作说明。
论文给出的验收清单里列了完成时间、轨迹长度、动作连续性、决策信息完整性几项检查,至于这些检查跟结算口径怎么对接,眼下还没有定论。
放到数据服务行业看,这项研究指向一件事:验收标准有可能从只看任务成没成功,扩到观测完整性、校准一致性、路径效率这类多维口径。能不能真进入采购和定价环节,还得等觅蜂客户端的验证结果。
接下来值得盯的有三处:其他数据服务商会不会跟上同类质量指标,模型公司在采购验收时会不会提对应要求,第三方会不会在π0.5之外的架构上把这些效应复现出来。