机器人数据困局:真机采集成本高,低质数据为何泛滥
“物理AI的普及,需要真机采集数据的占比会越来越低。” 近日,谋先飞Motphys创始人兼CTO张衡接受第一财经记者采访时作出上述判断。机器人训练需要海量数据,以真机方式采集数据成本太高、效率也很低。 物理仿真引擎越来越强大,可以在虚拟世界里无限生成带物理反馈的数据;人类佩戴眼镜和触觉手套等设备所采集的Ego数据也..
“物理AI要普及,靠真机采集的数据占比会一路往下走。”
近日,
物理仿真引擎的本事越来越大,虚拟世界里能无限生成带物理反馈的数据;人戴上眼镜、触觉手套这类设备采回来的数据,又填补了真机数据的一部分缺口。可谁来补上剩下的空缺?
大语言模型能吃互联网上现成的文本、视频,数据量大又好拿,这才跑出了突飞猛进的速度。机器人要的真实数据就没这么省事了,采集难度高出好几个量级,也成了卡住具身智能的关键瓶颈之一。
张衡的看法是,机器人训练离不开大规模、可信的物理交互数据,可真机在现实里采数据,成本高、速度慢。这种情况下,仿真数据就成了不可缺的替代方案。
谷歌的
机器人仿真要遵循重力、摩擦、流体力学这些物理规律。可仿真数据搬到机器人身上,跟现实往往对不上,这个偏差被叫作“
张衡说:“随着物理仿真引擎越来越强大,可以用极低的成本,在虚拟世界里无限生成这些带触觉、带真实物理反馈的数据,也可以理解为用算力换取高质量的机器学习数据。”真机数据和仿真数据不是二选一,关键是用更低的成本造出质量更高的数据。
EGO数据的爆发式增长,同样补上了真机数据不够用的缺口。
采EGO数据时,操作员头戴相机、手戴带触觉传感器的 gloves(手套),叠衣服、做饭这些动作的画面、手部动作和环境信息都被记录下来。
“去年下半年就有公司开始用20万小时级别的
这类数据的增长曲线很陡。
真机数据、仿真数据、EGO数据,各有各的长处和短处。
“行业重视数据的数量,但数据的质量和多样化同样重要。如果数据多样化做得好,规模不一定要那么大,也能取得很好的泛化效果。”
张衡判断,往后的大方向是:物理AI越普及,真机采集数据的占比会越低。
低质数据从哪来
就算是真机采回来的数据,也未必有用,照样可能是低质无效的。
近日,
论文里提到一组机器人抓积木的对比试验。一种做法是把积木放在机器人初始视野以外,操作员用肉眼判断积木在哪,可机器人录下的画面里根本没有操作机械臂的依据。拿这类数据训练出来的模型,机械臂操作准确率约50%,跟随机乱动差不多;另一种做法是操作员和机器人看同一个视角,一起确认积木位置后再动手。用这类数据训练,机械臂操作准确的概率升到100%。
这个实验说明,好数据不能只记下“机器人做了什么”,还得记下“机器人为什么这样做”。
放到EGO数据上,最明显的问题就是没用的重复数据太多。
市场上有说法称,有企业买了100万小时数据,最后能用的只有10%到20%。姚卯青表示,这事是真的。
不少数据采集商还在“
姚卯青提到,像单目、室内场景的裸手数据这类同质化严重、附加值不高的数据,获取门槛很低,尤其是叠衣服那类,市面上已经泛滥;还有人把数据卖过一遍之后,转头又低价拿到市场上二次出售。
还有采集商对设备本身没想清楚怎么定义,更多玩家只是跟着别人做。
姚卯青观察到,近期仍有不少企业在继续推进相关布局;与此同时,国内仿真数据的短板相当突出。
物理仿真面临的核心难题之一,就在于怎样在极小的时间预算内,把复杂的物理形变算得既准确又快速。张衡表示,这是行业下一阶段要应对的技术挑战。
在解决这些问题的过程中,机器人自身也会进化。张衡认为,具身智能的训练范式眼下仍在快速演变,尤其是 OpenAI 的大语言模型已经展现出高层控制能力,至于未来机器人从上层到底层的 AI 控制策略会怎么走,还需要进一步观察。