具身的数据管线,到底应该怎么做?

资讯 雷峰网 全文 5688 字 · 约 15 分钟读完 配图 10 张 分类机器人

数据规模不断扩大,有效性却没有跟上。

所属频道 机器人与具身智能
具身的数据管线,到底应该怎么做?
数据规模不断扩大,有效性却没有跟上。

    作者丨向   欣

    编辑丨高景辉

雷峰网(公众号:雷峰网):一家具身数据厂商告诉我们,他们向模型厂商交付了几万小时数据之后,对方反过来问了一句:能不能顺便帮忙把模型也训练出来,好让他们“交个差”,原因是模型厂商自己心里也没底,不知道这批数据喂进去能训出什么结果。
这种焦虑与无力,是当下不少模型厂商的真实状态,他们面临的真实困境是:虽然在不断花钱采集、购买数据,数据规模不断扩大,但数据的有效性却没有跟上。钱花出去了,效果却像打了水漂。
年初,不少具身公司声称今年要采集百万级别的数据。大半年过去,确实有公司宣称已经积累了百万数据,但模型能力上似乎没有看到对应的提升,反而被 GPT 的 Astra 抢了风头。
问题不仅在于数量,还在于数据管线。数据被大量采集回来,但从采集到进训练之间那段加工链路存在大量问题:筛选没有细粒度标准,数据难以跨本体迁移,数据质量至今没有公认的评测机制。具身的数据多了,可用数据却不一定多。
具身数据管线该怎么做?为此,我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊,试着拆解这条数据链路上的关键难题,以及如何让规模不断增长的数据真正转化为模型能力。
今天,我们就把这条管线拆开聊透。
具身的数据管线,到底应该怎么做?

01


数据量在涨,但「可用数据」没跟着涨

一条原始数据要变成机器人可以学习的数据,通常要经过五个环节:
  • 首先是数据筛选,剔除画面模糊、动作中断、轨迹异常等低质量样本;
  • 其次是数据标注,给操作过程补充任务、物体状态、动作阶段和语言指令等信息,让模型能够理解数据中发生了什么;
  • 第三是动作转换,将人类示范或一种机器人产生的动作,映射到目标机器人能够执行的动作空间;
  • 第四是数据验证,通过规则检查、仿真测试或真机实验,判断数据是否合理、能否执行;
  • 最后是反馈迭代,结合模型训练和实际部署的表现,调整数据筛选、标注和转换策略。
这条链路的绝大部分环节都已可以自动化,但在实际操作中存在不少难题。
首先,数据缺少统一、细粒度的筛选与评价标准。
从大语言模型的经验来看,如果训练中混入一批dirty 数据,带来的降智大概率是永久性的,会在整个模型生命周期中持续产生影响。
但目前业内仍然没有一个可规模化的数据筛选机制。一段视频画面清晰、动作完整,不代表它对模型训练有用;一条转换后的轨迹符合运动学约束,也不意味着机器人能够在真实环境中顺利完成任务。
数据供应商和模型公司对“高质量”的理解存在差异,如何衡量一份数据的实际训练价值,仍然是个难题。
其次,从人类动作到机器人动作的转换存在明显门槛,也就是做动作重定向难。不同机器人的关节结构、工作空间和末端执行器各不相同,同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中,往往缺少机器人关节状态、力觉等信息,系统需要从有限的视觉观测中恢复空间关系,再生成适配目标机器人的动作。
具身的数据管线,到底应该怎么做?
对于结构相近的机械臂,可以通过逆运动学等方法求解;但如果末端执行器差异很大,问题就会复杂得多。
人类用五指手抓住一个物体时,可以调整多个手指的位置和施力方式;夹爪执行同样的任务,采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。
除了数据管线本身的技术难题,行业也存在不少乱象。
一是数据处理分工混乱,数据采集、数据处理和模型训练往往由不同团队承担,各方的交付标准和评价指标未必一致。
二是许多公司依赖开源管线。不少团队使用开源工具拼接处理流程,却缺少针对具体模型、任务和机器人本体的系统设计。行业讨论容易聚焦采集了多少小时、积累了多少条轨迹,对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现,披露相对有限。
结果是,数据规模、可用数据规模和真正产生训练收益的数据规模,容易被混为一谈。
建立完整的数据管线,并用训练和部署结果验证每个环节的价值,正在成为比单纯扩大采集量更需要解决的问题。
具身的数据管线,到底应该怎么做?

02


采集门槛越低,管线要求越高

具身数据的来源越来越多,但不同数据类型面临的管线难题并不相同。目前行业主要探索四类:真机遥操作、仿真、UMI,以及人类第一视角视频。
真机数据质量和部署一致性最好。真实机器人产生的数据与目标机器人的控制、传感器和执行环境接近,容易直接验证。代价是贵:机器人、操作人员、场地和任务都需要投入;其次还是跨本体难,在 A 机器人上采的数据要用到 B 机器人上,每家处理方式不同,做出来的跨本体能力也不一样。
仿真数据的优势是非常容易扩量,缺点是常谈的 Sim2Real gap。以 robot 为主的大量仿真器,下层物理引擎已经很多年没有足够大的变动,无法准确反映摩擦力、物体形变、接触位置等信息,这个缺陷在装配、抓取、拧转这类需要精确控制接触的富接触任务中尤其明显。
具身的数据管线,到底应该怎么做?
UMI 等低成本操作采集方案通过更轻量的采集装置记录人类操作,减少了对完整机器人遥操作系统的依赖,让单条数据更便宜、更容易采集。
具身的数据管线,到底应该怎么做?
但它仍然需要人主动执行任务、使用特定设备,不同UMI采集装置与机器人之间还存在动作映射和适配问题。本质上它仍是项目制驱动的增量数据,多样性和 scaling 上限受采集组织方式约束。
第一视角人类视频打开了更大规模的数据来源。人类日常生活中本来就存在大量操作行为,头戴相机、智能眼镜等设备有机会持续记录,降低专门组织采集的成本。但这条路线将更多压力转移到了数据管线。
首先,视频通常缺少机器人系统能直接使用的关节状态和动作信息,系统需要从视频中提取手部、物体和动作,再恢复空间关系。
具身的数据管线,到底应该怎么做?
其次,采集设备差异更大,画质、视角、帧率和传感器配置各不相同,管线需要消化这些差异。来源越广,原始数据质量就越难统一,日常视频里既有有价值的操作,也有大量与训练目标无关的内容,需要更高效的筛选方法。
再次,人类操作与机器人本体之间存在差异,视频中的人可以用灵巧的双手完成任务,机器人可能配备不同结构的手或夹爪,系统需要将人类动作转换成目标机器人能够执行的动作。
四条路线各自的优势和短板可以归纳为:真机数据更贴近真实执行,仿真更容易扩量,UMI 降低了部分采集门槛,人类第一视角视频有机会获得更丰富、更自然的数据来源。
其中的基本矛盾是,降低对采集设备的限制,有利于扩大数据规模,却会增加清洗、空间重建和跨本体转换的工作量。
也就是说,数据源越丰富,就越需要能够统一处理不同设备、不同动作表征与不同机器人本体的数据基础设施。更重要的是,数据来源的扩展不等于直接扩展了模型可学习经验。
如果目标是持续扩大可用数据的规模,优先实现Scaling,人类第一视角视频与UMI无疑是最具潜力的路线;但要把它真正用于机器人训练,关键在于建立足够可靠的数据处理管线。
这也正是行元智能选择的方向。
具身的数据管线,到底应该怎么做?

03


把人类操作视频变成机器人训练数据

行元智能最近发布了面向机器人预训练的跨本体数据引擎 Chorus(众行),能够将来自不同设备的人类操作数据,转化成适配不同机器人本体的训练数据。
和单纯追求数据规模不同,Chorus 的一个重要设计思路,就是从机器人学习和部署的需求来反推数据应该如何组织。
具体来看,它针对前面提到的几个核心问题,做了五件事。
第一,不限制数据来源,尽可能将能用的数据用起来。
智能眼镜、胸戴相机、腕部相机、UMI 等设备采集的数据,都可以进入 Chorus。
不同设备的拍摄视角、画质和深度信息存在差异,行元采用基于 learning-based 方法处理这些差异,同时用足够多的配对数据训练,信息较少的设备也能够尽可能恢复出更可靠的空间信息,例如可以让单目相机逐步逼近双目效果。
数据进入管线后,系统还会记录其来源、评估质量并进行分级,再根据训练阶段调整不同数据的使用比例。这样做的目的,是尽可能利用已有数据,形成一个合理的数据配方,避免质量参差不齐的数据直接混在一起。
第二,把跨本体作为设计前提。
Chorus能够将一份人类数据转成多种机器人可用的训练数据;新增机器人时,不必从头重跑全部原始数据。
行元的做法是,先在机器人的 system 侧把不同 controller 和部署能力搭建起来,再反推管线该输出什么,顺序上保证了跨本体不是事后补丁。
做好跨本体表征,必须既清楚哪些信息与硬件无关,又保证动作迁移所需的信号足够,这要求设计者接触过足够多的机器人本体,并深度理解这些机器人硬件、传感器排布和控制器输入。
行元创始人兼 CEO 杨世琦毕业于加州大学圣地亚哥分校,师从王小龙教授,是较早开展跨本体操作与人类数据学习方向的研究者之一,在具身行业早期搭建过多机型的控制系统和数据方案,积累了深厚经验。
第三,可以对第一视角数据做完整重建。 
整条转化链路一共分为五步,层层递进:基础清洗之后,第一步是帧级原子动作标注,按任务、动作、交互物体逐级拆解视频,记录左右手在不同时段的动作以及接触对象。
第二步开展二维分割、深度估计与手部定位,识别出手、工具、交互物体等关键目标。
第三步将二维信息还原为完整三维场景,重建相机轨迹、手部位姿与物体六维姿态,保证空间逻辑自洽。
第四步,引入运动学与动力学约束动作重定向,在仿真环境校验目标机器人能否复现该动作,输出适配机器人的三维轨迹。
第五步再将三维场景渲染回二维画面,让训练输入和真机部署时的感知形式对齐,抹平训练和落地之间的差距。
和仿真数据相比,这套方案源自真实观测,不存在物理引擎带来的偏差,物体交互变化贴合现实规律,兼顾成本与数据质量。
行元技术联创杨靖康长期深耕第一视角视频理解与多模态学习,主导过 EgoLife 等代表性工作,这也是 Chorus 处理人类第一视角数据的重要技术积累。
具身的数据管线,到底应该怎么做?
第四,建立可量化的评分体系。 
Chorus 从操作丰富度、标注质量、三维可恢复性、机器人可迁移性和视角稳定性五个维度为数据评分,数据评分既用于筛选和评估训练数据,也能为具身模型的训练提供指导信号。
第五,把闭环纳入设计。 Chorus 不仅处理各路来源的人类数据,也为真机部署后的数据回流预留通道。
部署端的失败识别靠一个 learning-based 的 state policy 监测机器人状态,初期由工程师主动干预产生训练信号,部署越久、接管越多,监测越准;部署方法论上先重设计 SOP、再算 ROI,接受人机并行,逐步提高自动化程度。
这五件事,对应的是行业管线五个痛点:来源复杂难统一、跨本体难、第一视角转化难、质量难量化、闭环缺失。Chorus 将这五个问题纳入一套数据引擎中解决了。
具身的数据管线,到底应该怎么做?

04


模型厂商必须自己定义数据管线

评价一套具身数据管线做得好不好,关键要看三个问题:原始数据能转化出多少有效训练数据、这些数据能否真正提升模型能力,以及整个过程的成本能否支撑规模化。
行元给出的数据是:平均可用数据转化率提升至 85%;在当前测试配置下,通过 16 种机器人本体适配,将每小时有效机器人轨迹的处理成本降至 15 元;结合 3 倍指令增广,可实现约 40 倍的有效训练数据扩容,单位训练样本的等效成本约 5 元/小时。
此外,行元此前发布的 Continuo 可部署于可穿戴设备,支持人类动作视频的规模化采集与连续理解;计划年内推出的 Duet,则是面向真实部署的人机共驾系统,机器人自主执行,遇到困难主动请求接管,一人可按需监管多台,接管产生的纠正经验回流用于后续训练。
Continuo(随行)、Chorus(众行)、Duet(同行)共同构成行元从真实世界经验走向物理行动的学习基础设施。
不难看出,行元的数据管线、模型训练和部署系统是耦合的。行元认为,模型厂商必须自己定义数据管线:不知道目标机器人需要什么输入输出,就不知道管线该输出什么;把管线交出去,等于把 scaling 的解释权也交出去。
行元三个 Chapter 是这条理念的展开:Continuo 解决数据从哪来,Chorus 解决数据怎么变成训练信号,Duet 解决部署后的经验怎么回流。
回到开头那个问题:当行业已经积累了越来越多的具身数据,为什么数据还没有充分转化为机器人的能力?
行元的解法是,通过两条路径推动具身数据 Scaling:一条开发人类日常活动中的数据价值,尤其是规模庞大的人类第一视角视频,构建一个数据处理能力极强的跨本体数据管线,降低经验转化的成本;另一条是从机器人部署中积累真实数据,让模型在执行过程中不断获取新的学习经验。
要让这些数据真正服务于不同形态的机器人,底层还需要解决跨本体问题。这构成了行元从人类数据采集、跨本体转换到部署反馈的整体思路。
但数据扩大,只是解决了问题的一半。
数据和模型之间并非简单的供给关系。数据管线决定了哪些真实世界的经验能够进入模型的学习目标,而训练表现和真实部署的反馈又反过来决定什么样的数据更有价值,需要什么样的处理方式。只有把数据的生产、转化与模型训练联系起来,数据规模的增长才有可能促进模型能力的良序提升。
杨世琦告诉我们,这也是行元选择把数据管线与模型研发深度结合的原因。对机器人基础模型而言,Scaling 不只是不断增加训练数据,更需要在数据与模型的相互迭代中,提升每一份数据的学习价值。
当然,这只是其中一条路线。真机采集、仿真、UMI 和人类视频各有优势,数据的表达方式、转换方法和训练机制也仍有探索空间。
具身智能需要 Scaling,但 Scaling 不仅需要大规模的数据支撑,还要找到让更多数据真正发挥作用的方法。
行元的探索,让行业看到数据规模化已经有了一些具体且可行的工程解法。这或许也是具身数据管线接下来值得关注的方向:如何让已有的真实世界中丰富的经验,以更低成本、更高效率进入机器人的学习过程。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 大晓机器人开放ACE-Brain-0.6 API,七项Grounding基准均分75.41

    近日,继ACE-Brain-0.6在六项空间锚定评测中超越GPT-6 Astra后,大晓机器人正式推出ACE-Brain-0.6 API。从平均得分大幅提升到推理速度超越Astra,ACE-Brain-0.6再次验证了数据Scaling驱动专业具身能力持续跃升的技术潜力。如果说评测领先Astra,让ACE-Brain-

    来源 TechWeb
  2. 大晓机器人ACE-Brain API开放:150万数据训练,七项基准75.41分

    近日,继ACE-Brain-0.6在六项空间锚定评测中超越GPT-6 Astra后,大晓机器人正式推出ACE-Brain-0.6 API。从平均得分大幅提升到推理速度超越Astra,ACE-Brain-0.6再次验证了数据Scaling驱动专业具身能力持续跃升的技术潜力。如果说评测领先Astra,让ACE-Brain-

    来源 TechWeb
  3. 宇树H2-X侧空翻落地侧摔,右小腿关节处脱落

    据多家媒体报道,事发时,一台白色H2-X人形机器人在黑色缓冲垫上尝试完成侧空翻动作。涉事机器人是宇树科技在前一天刚刚发布的人形机器人,官方名称为“H2-X 功夫传奇 守护”。宇树科技官方宣传片画面然而,次日现场侧空翻演示中的摔落与腿部脱落,与宣传片中的表现形成强烈反差,也迅速引发外界对人形机器人结构可靠性和现实控制能力

    来源 TechWeb
  4. 宇树H2-X侧空翻演示摔倒,右小腿关节处脱落

    据多家媒体报道,事发时,一台白色H2-X人形机器人在黑色缓冲垫上尝试完成侧空翻动作。涉事机器人是宇树科技在前一天刚刚发布的人形机器人,官方名称为“H2-X 功夫传奇 守护”。宇树科技官方宣传片画面然而,次日现场侧空翻演示中的摔落与腿部脱落,与宣传片中的表现形成强烈反差,也迅速引发外界对人形机器人结构可靠性和现实控制能力

    来源 TechWeb
  5. 宇树H2-X侧空翻落地失衡:机械小腿关节处脱落

    【TechWeb】10月24日消息,近日,在杭州举行的“2026世界物理AI大会暨宇树合作伙伴生态大会”上,宇树科技最新发布的人形机器人H2-X在演示侧空翻时发生意外:落地失衡侧摔后,右侧机械小腿从关节连接处脱落。截至发稿,宇树科技尚未就此事作出正式说明。 据多家媒体报道,事发时,一台白色H2-X人形机器人在黑色缓冲垫

    来源 AI 行业观察
  6. 辉羲智能启动A股IPO:雷军顺为参投,具身智能芯片已量产

    芯东西10月29日报道,证监会官网显示,10月28日,北京具身智能大算力芯片企业辉羲智能在北京证监局办理上市辅导备案登记,启动A股IPO进程,辅导机构是中信证券。 辉羲智能成立于2022年4月,注册资本为4253万元,法定代表人是创始人兼CEO徐宁仪。其控股股东为合肥隐犀智能科技合伙企业(有限合伙),持股18.4280

    来源 AI 行业观察
  7. 无界动力联手京东:K15机器人进驻七鲜咖啡,目标10亿元合作规模

    无界动力与京东正式签署战略合作协议,首批具身智能机器人 K15 已落地北京两家七鲜咖啡门店,实现门店经营全流程无人化运行。双方计划推进 1000+ 七鲜门店规模化复制,目标达成 10 亿元产品合作规模,后续还将共同探索智能零售方案的全球化落地。#具身智能# #零售数字化#

    来源 IT之家
  8. 宇树H2-X演示侧空翻摔倒腿脱落,官方仍未说明原因

    【TechWeb】10月24日消息,近日,在杭州举行的“2026世界物理AI大会暨宇树合作伙伴生态大会”上,宇树科技最新发布的人形机器人H2-X在演示侧空翻时发生意外:落地失衡侧摔后,右侧机械小腿从关节连接处脱落。截至发稿,宇树科技尚未就此事作出正式说明。据多家媒体报道,事发时,一台白色H2-X人形机器人在黑色缓冲垫上

    来源 腾讯网
  9. 极智嘉具身智能:面包横放成功率5%的偏差,用大白话就能修

    新智元报道 一块普普通通的面包,变换了摆放姿态,常常就能难倒「已经学会了」的机器人!训练时,面包通常是竖放的;如果把面包横过来,机械臂明明还能识别、也会抓取,却总是偏了那么一点距离,被难倒在了这个幼儿园小孩都能轻松解决的问题上。。。在这个「横放面包」的测试设置里,原始策略模型的成功率只有 5%。它并不是...

    来源 腾讯网
  10. 模感科技完成亿元级天使+轮融资,全身触觉全栈方案落地人形机器人

    作者 | 乔钰杰 编辑 | 袁斯来 本文约2500字,建议阅读5分钟 硬氪获悉,全身多模态融合触觉解决方案公司模感科技(MoSense)近日完成亿元级天使+轮融资,由鼎晖投资、绿洲资本领投,逐际动力、龙芯创投、中科创星、华山资本、浦东创投以及某国内头部具身厂商跟投。后浪资本担任长期独家财务顾问。此前公司曾获得红杉中国、

    来源 AI 行业观察
  11. 具身智能公司无境动力被曝停工欠薪近 800 万元:CEO 称联系不上实控人,成立仅 4 个月就拿下近 10 亿元订单

    根据官网介绍,无境动力成立于 2026 年 2 月,坐落在南京市江宁区,天使轮已融资 1.1 亿元,汇聚了 60 多位来自人工智能、机器人、芯片领域的资深专家和精英,能力覆盖 VLA / 操作学习、机器人本体、运动控制、供应链和规模化量产,是南京市重点扶持的“具身智能领军企业”。

    来源 IT之家
  12. 无界动力牵手京东:机器人K15上岗七鲜咖啡,剑指10亿元合作

    IT之家 10 月 31 日消息,10 月 31 日,无界动力宣布与京东正式签署战略合作协议,围绕零售场景应用、商业化平台与生态渠道、产业资源协同等多个维度开展立体化合作。 此次合作已迎来首批成果:10 月,双方首个零售合作项目落地,无界动力机器人 K15 已于七鲜咖啡(西宸里店)和七鲜咖啡(长楹天街店)正式上岗;同期

    来源 AI 行业观察
  13. 具身机器人融资降温:宇树上市后,投资人开始收紧钱袋

    融资狂潮急速降温,具身机器人行业正经历残酷洗牌。 核心矛盾只有一个:资本已大规模入场,机器人却仍未进入真实产线——宇树人形机器人工业场景收入仅占2.64%。头部抢钱、腰部降预期、尾部出局,这个冬天将淘汰大多数玩家,唯有率先跑通"单场景可持续毛利"者,才能拿到下一个春天的门票。

    来源 华尔街见闻
  14. 韩国团队造出气压驱动“藤蔓”防护服:10秒自动穿好

    Kim Nam Gyun 是韩国科学技术院(KAIST)的博士后研究员,一次骑车遭遇突降大雨,他想穿雨衣,可单手穿不上,腾不出手来拉拉链。他想,如果一件雨衣可以自动穿好,那就方便多了。这听起来像个小念头,但他的研究团队把它变成了一篇严肃的论文。研究团队把由气压驱动的柔软「藤蔓」嵌进服装里,加压之后,藤蔓会带着织物贴近.

    来源 腾讯网
向下滚动自动加载更多