具身数据管线怎么做：行元智能杨世琦拆解数据加工链
sina qqZone renren ydCloud 0
数据越采越多，有效性却没同步提升。
雷峰网提到一个例子：有具身数据厂商向模型厂商交付了几万小时数据，对方反过来问，能不能顺手把模型也训出来，好让他们“交个差”。说到底，模型厂商自己心里也没底，不清楚这批数据喂进去能训出什么。这种焦虑和无力感，在当下的模型厂商里并不少见。他们不断花钱采集、购买数据，规模一路扩大，有效性却没跟上，钱花了，效果像打了水漂。年初，不少具身公司放话今年要采百万级别的数据。大半年过去，确实有公司宣称积累了百万数据，可模型能力上没看到对应的提升，风头反倒被 GPT 的 Astra 抢走。问题不只在数量，还在数据管线。数据大量采回来，从采集到进训练之间那段加工链路问题不少：筛选没有细粒度标准，数据难以跨本体迁移，质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。这条管线该怎么做？我们和机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆开这条链路上的关键难题，看看规模不断增长的数据怎么才能真正变成模型能力。今天就把这条管线拆开聊透。
01
数据量在涨，可“可用数据”没跟着涨。一条原始数据要变成机器人能学习的数据，一般得走五个环节：
- 第一步是数据筛选，把画面模糊、动作中断、轨迹异常等低质量样本剔掉；
- 第二步是数据标注，为操作过程补上任务、物体状态、动作阶段和语言指令等信息，让模型看懂数据里发生了什么；
- 第三步是动作转换，把人类示范或某一种机器人产生的动作，映射到目标机器人可执行的动作空间；
- 第四步是数据验证，靠规则检查、仿真测试或真机实验，判断数据合不合理、能不能执行；
- 最后一步是反馈迭代，结合模型训练和实际部署的表现，反过来调整筛选、标注和转换策略。
结构相近的机械臂，可以用逆运动学等方法求解；末端执行器差异一大，事情就复杂得多。人类用五指手抓物体，能调整多个手指的位置和施力方式；夹爪做同样的任务，接近角度和抓取策略完全不同。两者很难共用同一套动作轨迹。除了数据管线本身的技术难题，行业里还有不少乱象。一是数据处理分工混乱，采集、处理和模型训练常常分属不同团队，各方的交付标准和评价指标未必一致。二是许多公司依赖开源管线。不少团队拿开源工具拼接处理流程，却缺少针对具体模型、任务和机器人本体的系统设计。行业讨论容易盯着采集了多少小时、积累了多少条轨迹，对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现，披露相对有限。结果是，采集了多少小时、攒下多少条轨迹，这是行业讨论里最常被盯住的两项；这些数据最后经过哪些处理、有多少样本真正能派上用场、又能不能让下游任务的表现变好，公开披露的内容却不多。数据规模、可用数据规模，和真正能转化成训练收益的数据规模，往往就被混作一谈。把整条数据管线搭完整，再拿训练和部署的结果去检验每个环节到底值多少，这件事的分量，眼下已经超过单纯把采集量做大。02
采集的门槛降得越低，对管线的要求反而越高。具身数据的来源在变多，可
不同类型的数据，在管线上碰到的麻烦各不相同。行业目前主要试的有四类：真机遥操作、仿真、UMI，以及人类第一视角视频。真机数据在质量和部署一致性上表现最好——真实机器人产出的数据，与目标机器人在控制、传感器和执行环境上都比较接近，验证起来容易。代价是贵：机器人、操作人员、场地、任务，样样都要投入。再往下还有跨本体难跨本体这一关：在 A 机器人上采的数据，要挪到 B 机器人上用，每家处理方式不一样，做出来的跨本体能力也就参差不齐。仿真数据的好处是扩量非常容易，短板则是老生常谈的 Sim2Real gap。以 robot 为主的大量仿真器，下层物理引擎已经很多年没有足够大的变动，摩擦力、物体形变、接触位置这些信息没法准确反映出来。装配、抓取、拧转这类富接触任务需要精确控制接触，这个缺陷在它们身上尤其扎眼。
UMI 这类低成本操作采集方案，用更轻量的采集装置记录人的操作，不必依赖完整的机器人遥操作体系，单条数据因此更便宜、也更好采。
但它还是得由人主动去完成任务、还得用特定设备，不同 UMI 采集装置与机器人之间，动作映射和适配的问题照样存在。说到底，它仍是由项目制驱动的增量数据，多样性以及 scaling 的上限，受采集组织方式的约束。第一视角人类视频则打开了规模更大的数据来源：人日常生活中本来就有大量操作行为，头戴相机、智能眼镜这类设备有机会持续记录，专门组织采集的成本也就降了下来。但这条路线把更多压力挪到了数据管线上。头一桩，视频一般缺少机器人系统能直接拿来用的关节状态和动作信息，系统得从视频里把手部、物体和动作提取出来，再还原空间关系。
其次，采集设备的差异也更大，画质、视角、帧率、传感器配置各不一样，这些差异都得由管线来消化。。来源越广，原始数据质量越难拉齐。日常视频里既有有价值的操作，也混着大量跟训练目标无关的内容，筛选办法得更高效率。再一个，人跟机器人本体不一样：视频里的人靠灵巧双手干活，机器人可能装的是结构不同的手或夹爪，系统得把人类动作转成目标机器人做得了的动作。四条路线各有长短——真机数据更贴近真实执行，仿真更容易扩量，UMI 把一部分采集门槛降了下来，人类第一视角视频则有机会拿到更丰富、更自然的数据来源。基本矛盾就在这儿：采集设备的限制一放松，数据规模是好扩了，可清洗、空间重建、跨本体转换的活儿也跟着变多。说到底，数据源越丰富，越需要一套能统一处理不同设备、不同动作表征和不同机器人本体的数据基础设施。更要紧的是，数据来源变多，不等于模型能学的东西就跟着变多经验。真要持续把可用数据的规模做大，把 Scaling 放在优先位置，人类第一视角视频和 UMI 无疑是最有潜力的两条路线；可要真正拿它来训练机器人，关键还在于搭出一条足够可靠的数据处理管线。行元智能选的就是这个方向。
03
把人类操作视频转成机器人训练数据
行元智能近日发布了一款面向机器人预训练的跨本体数据引擎Chorus（众行），它能把不同设备采集来的人类操作数据，转成适配不同机器人本体的训练数据。Chorus 有个重要的设计思路：不单盯着数据规模，而是从机器人学习和部署的需求倒推数据该怎么组织。前面提到的几个核心问题，它都逐条做了回应。五件事第一，数据来源不设限，能用的尽量用起来。智能眼镜、胸戴相机、腕部相机、UMI 等设备采的数据都能进 Chorus。各设备拍出来的视角、画质、深度信息不一样，行元用基于 learning-based 的方法来消化这些差异，同时，靠足够多的配对数据做训练，信息少的设备也能尽量还原出更可靠的空间信息，比如让单目相机一点点接近双目效果。数据进了管线，系统还会记下来源、评估质量、划分等级，再按训练阶段调不同数据的使用比例。这么做是为了把已有数据尽量用足，形成一份合理的数据配方，别让良莠不齐的数据直接搅在一起。第二，跨本体从一开始就是设计前提。一份人类数据，Chorus 能转成多种机器人可用的训练数据；以后加新机器人，也不用把全部原始数据从头再跑一遍。行元的做法是，先在机器人的 system 侧把不同的 controller 和部署能力搭起来，再，再反推管线该输出什么。顺序上就保证了跨本体不是后补的补丁。要把跨本体表征做好，既得弄清哪些信息跟硬件无关，又得保证动作迁移需要的信号足够，这就要求设计者摸过足够多的机器人本体，对硬件、传感器排布和控制器输入有深入理解。行元创始人兼 CEO杨世琦毕业于加州大学圣地亚哥分校，师从王小龙教授，是较早做跨本体操作与人类数据学习方向的研究者之一，具身行业早期就搭过多机型的控制系统和数据方案，经验攒得很厚。第三，第一视角数据可以拿来做完整重建。整条转化链路分五步走，一层接一层：基础清洗做完，第一步是帧级原子动作标注，按任务、动作、交互物体一级级拆开视频，把左右手在各时段的动作和接触对象都记下来。第二步做二维分割、深度估计与手部定位，把手、工具、交互物体这些关键目标识别出来。第三步把二维信息还原成完整三维场景，把相机轨迹、手部位姿和物体六维姿态重建出来，让空间逻辑站得住。第四步，加上运动学与动力学约束动作重定向，在仿真环境里校验目标机器人能不能复现这个动作，输出适配机器人的三维轨迹。第五步再把三维场景渲染回二维画面，让训练输入和真机部署时的感知形式对上，训练和落地之间的落差就此抹平。跟仿真数据比，这套方案来自真实观测，没有物理引擎带来的偏差，物体交互变化符合现实规律，成本和质量两头都顾上了。行元技术联创杨靖康一直做第一视角视频理解与多模态学习，主导过 EgoLife 等代表性工作，这也是 Chorus 处理人类第一视角数据的重要技术底子。
第四，建立评分体系可以量化。Chorus 从操作丰富度、标注质量、三维可恢复性、机器人可迁移性和视角稳定性五个维度给数据打分，评分既用来筛选和评估训练数据，也能给具身模型训练提供指导信号。第五，闭环要写进设计里。Chorus 不光处理各种来源的人类数据，也给真机部署后的数据回流留了口子。部署端的失败识别靠一个 learning-based 的 state policy 监测机器人状态，早期由工程师主动干预产生训练信号，部署时间越长、接管越多，监测就越准；部署方法论上先重做 SOP、再算 ROI，接受人机并行，自动化程度一点点往上提。这五件事，对应行业管线的五个痛点：来源复杂难统一、跨本体难、第一视角转化难、质量难量化、闭环缺失。Chorus 把这五个问题装进一套数据引擎里解决掉了。
04
模型厂商得自己定义数据管线评价一套具身数据管线好不好，关键看三个问题：原始数据能转化成多少有效训练数据、这些数据能不能真把模型能力提上去、整个过程成本能不能撑住规模化。行元给出的数字是：平均可用数据转化率提到85%；在当前测试配置下，适配16 种机器人本体，每小时有效机器人轨迹的处理成本压到 15 元；再加上 3 倍指令增广，有效训练数据能扩约 40 倍，单位训练样本的等效成本约 5 元/小时。
另外，行元此前发布的 Continuo 能装在可穿戴设备上，支持人类动作视频的规模化采集与连续理解；计划年内推出的 Duet，是面向真实部署的人机共驾系统，机器人自己执行，碰到困难主动请求接管，一个人可以按需盯多台，接管产生的纠正经验回流用于后续训练。Continuo（随行）、Chorus（众行）、Duet（同行）合起来，构成行元从真实世界经验走向物理行动的学习基础设施。行元的数据管线、模型训练和部署系统其实是耦合的。
行元认为，模型厂商必须自己定义数据管线：不知道目标机器人要什么输入输出，就不知道管线该输出什么；管线交出去，等于把 scaling 的解释权也交出去。行元三个 Chapter 就是这条理念的展开：Continuo 管数据从哪来，Chorus 管数据怎么变成训练信号，Duet 管部署后的经验怎么回流。回到开头那个问题：行业攒下的具身数据越来越多，为什么数据还没充分变成机器人的能力？行元的解法是走两条路推具身数据 Scaling：一条是把人类日常活动里的数据价值挖出来，尤其是规模庞大的人类第一视角视频，建一个数据处理能力很强的跨本体数据管线，把经验转化的成本降下来；另一条是从机器人部署中攒真实数据，让模型在执行中不断拿到新的学习经验。要让这些数据真正服务不同形态的机器人，底下还得把跨本体问题解决掉。这就构成了行元从人类数据采集、跨本体转换到部署反馈的整体思路。
但数据扩大，只解决了一半问题。数据和模型之间不是简单的供给关系。数据管线决定了哪些真实世界的经验能进入模型的学习目标，训练表现和真实部署的反馈又反过来决定什么样的数据更有价值、需要什么样的处理方式。只有把数据的生产、转化和模型训练串起来，数据规模的增长才有可能带动模型能力良性提升。杨世琦告诉我们，这也是行元把数据管线与模型研发深度结合的原因。对机器人基础模型来说，Scaling 不只是往训练数据里不断加量，更要在数据与模型互相迭代中，把每一份数据的学习价值提上去。
当然，这只是其中一条路线。真机采集、仿真、UMI 和人类视频各有所长，数据的表达方式、转换方法和训练机制也还有探索空间。具身智能需要 Scaling，但 Scaling 不光要有大规模数据撑着，还得找到让更多数据真正起作用的办法。行元的探索，让行业看到数据规模化已经有了一些具体且可行的工程解法。这或许也是具身数据管线接下来该盯的方向：怎样让真实世界里已有的丰富经验，以更低成本、更高效率进入机器人的学习过程。
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲的PPT已经放出，大会报告全文同样可以查看。
热门论文解读、学术新星访谈这两部分内容，也在可畅览之列。
