具身的数据管线,到底应该怎么做?
数据规模不断扩大,有效性却没有跟上。

作者丨向 欣
编辑丨高景辉

01
数据量在涨,但「可用数据」没跟着涨
首先是数据筛选,剔除画面模糊、动作中断、轨迹异常等低质量样本; 其次是数据标注,给操作过程补充任务、物体状态、动作阶段和语言指令等信息,让模型能够理解数据中发生了什么; 第三是动作转换,将人类示范或一种机器人产生的动作,映射到目标机器人能够执行的动作空间; 第四是数据验证,通过规则检查、仿真测试或真机实验,判断数据是否合理、能否执行; 最后是反馈迭代,结合模型训练和实际部署的表现,调整数据筛选、标注和转换策略。


02
采集门槛越低,管线要求越高




03
把人类操作视频变成机器人训练数据


04