觅蜂科技发布20.7万小时真机数据研究:三类缺陷或教坏机器人模型
11月20日,觅蜂科技发布一项真机数据质量研究。团队称,该研究基于20.7万小时真机采集记录、2万余条任务记录,用微调后的π0.5模型做真机验证。
11月20日,上海觅蜂具身智能科技有限公司(下称“觅蜂科技”)对外公布了一项关于真机数据质量的研究。按照团队的说法,这项研究依托20.7万小时的真机采集记录和2万余条任务记录,并借助微调后的π0.5模型在真实机器人上做了验证。
π0.5由Physical Intelligence开发,是一款通用机器人基座模型。觅蜂团队先用自己的示教数据对它进行微调,随后放到真机上评估。
机器人本体适配、遥操作系统、模仿学习数据质量,这三个方向此前各自都有研究。觅蜂团队把它们串到同一条真机数据生产链路里来讨论,并通过具体实验量化了其中一部分影响。
论文已于11月17日提交到arXiv。研究给出的结论是:机器人把任务做成了,不代表训练数据就没问题;即便是成功的示范,也可能把模型教坏。
这篇论文由觅蜂真机操作团队署名,属于技术报告,尚未经过同行评审。在贡献说明部分,团队把参与人员分成核心贡献者、团队负责人、贡献者以及Sponsor(项目支持)几类。
项目支持名单中出现了觅蜂科技董事长兼CEO、智元联合创始人、联席总裁、具身业务体系总裁姚卯青,以及智元具身研究中心副总裁任广辉等人,具体以何种形式提供支持,论文没有交代。觅蜂科技是智元机器人孵化出来的数据服务公司,论文首页还列出了智元机器人遥操作网站的域名。
论文一共描述了三组受控实验。
第一组做的是观测缺失实验。团队把积木挪到机器人视野之外,然后对比三种采集协议。

结果是这样的:操作员能直接看到目标、机器人却看不到时,模型选择手臂的准确率为50%,基本等于瞎猜;操作员与机器人处于同一视角、靠先验直接选臂,准确率是53%;如果先让机器人主动搜索并确认目标再选臂,准确率则达到100%。
三组各自做了30次真机评估,完整抓放的成功率分别为33%、40%和60%,前后差距的95%置信区间为27至64个百分点。
实验说明了一点:操作员和机器人看到同样的画面还不够,示范过程中必须把决策依据留在画面里。
第二组是校准实验。团队在14个关节的状态数据中按批次人为注入零位偏移,用来模拟不同采集批次之间的校准差异,每组各100条示范。
论文给出的数据是:全部采用与部署零位一致的干净数据时,成功率63.3%;掺入75%偏移数据、但保留25%对齐锚点,成功率为66.7%;一旦没有干净锚点,就只剩20%到26.7%。而在推理端,如果机器人自身存在零位偏差,30次测试全部失败。
团队认为,对后训练来说,校准一致性是模型能在部署本体上可靠执行动作的前提。
第三组是冗余实验。团队往训练数据里掺入0%到80%带停顿、绕行的示教。结果模型把新增路径长度保留了约90%,执行耗时从25.3秒升到32.6秒。

这组实验对应的是采集现场的真实情况。结果说明,后训练数据真正的风险在于,它可能把任务成功率和动作质量混为一谈。操作员为了弥补设备限制而做出的绕行、停顿,很可能跟着成功示范一起进入训练集。
三类问题影响模型学习的方式各不相同。观测缺失,模型只看到操作结果,拿不到决策需要的信息;校准不一致,相同的关节数值会对应不同的实际姿态;冗余示范,则把操作员的补救动作当成正确路径喂给了模型。
为了解释“隐形坏数据”是怎么产生的,团队从本体设计和遥操作控制两个层面展开分析。论文作者也说明,端到端的因果验证仍属于后续工作。
在本体层面,团队分析了25款主流双臂机器人,包括智元G1/G2、宇树G1-D、星海图、松灵、ARX、Franka等。结果显示,夹爪加长之后,机器人能够到更远的位置,但关节极限的代价可能随之上升。
论文提出,选机器人不能只比机械臂长度,还要综合评估任务所需的位置、夹爪方向和关节余量;如果工作空间不够,应优先考虑腰部运动。

在控制层面,实验发现,控制系统带进来的多余动作,最终会被后训练固化到模型的动作策略中。

团队举了一个例子:某个滤波算法完成计算可能用不到1毫秒,却给实际运动带来超过200毫秒的相位滞后。操作员看到的画面落后于机器人的真实动作,就容易越过目标、停下来等反馈,再反向修正。
所以,评估采集系统质量时,光看网络延迟、算法运行时间和任务成功率不够,还得测量从操作指令发出、机器人响应到视觉反馈返回的整个过程。
关于人类示范数据的质量会怎样作用于机器人的模仿学习,学界已经积累了相关成果,关注点包括模型能否认清决策依据、遥操作采集系统该怎么设计,以及不同示范方式会给下游策略带来哪些影响。
这项把本体、控制、数据三类变量纳入同一数据生产框架的研究,给出了真机环境下的量化结果。论文也提到,实验仅采用单一策略模型和单一动作表示,部分偏移是人为注入的,这些效应能否普遍成立,还需在更多任务和架构上验证。
今年9月,觅蜂推出众包平台觅蜂派。按其说法,数据质量最终要看下游模型是否愿意复购、用后能产生多少价值;平台结算依据审核通过的有效数据时长来计算。
觅蜂之前对外宣传的是百万小时级无本体数据产能,年内目标指向千万小时级。论文披露的20.7万小时则属于真机遥操口径。两套数字统计口径不同,统计范围是否交叉,文中没有说明。
论文的验收清单列出了完成时间、轨迹长度、动作连续性、决策信息完整性等检查项。这些检查如何与结算口径衔接,目前还有待确认。
对数据服务行业来说,这项研究指向的是验收标准可能扩容:从只看任务是否成功,转向观测完整性、校准一致性、路径效率等多维口径。这些指标能否进入采购与定价环节,要看觅蜂客户端的验证结果。
接下来可以观察几点:同行数据服务商会不会跟进同类质量指标;模型公司在采购验收时是否提出对应要求;第三方能否在π0.5之外的架构上复现这些效应。