具身智能数据战：百万小时训练数据，机器人能力如何验证？

训练数据规模冲到百万小时这个量级，机器人到底能学到什么？抓取、分拣物品，以及在陌生环境里连续完成多步操作，任务不同，对能力的要求就不同，需要的训练数据也跟着变。人类第一视角视频、真机交互记录、仿真生成数据，各自提供的学习信号并不一样，价值高低还要看模型架构、训练阶段和应用目标。怎么挑数据、怎么搭配、怎么验证能力上的收益，又怎么用合理成本持续拿到并用好有效数据——这些加在一起，就是具身智能下一场数据战的核心。

11 月 5 日，「Triple T」张江塔尖会系列技术沙龙在张江 AI 创新小镇举行，主办方是张江 AI 创新小镇生态公司与机器之心。本期主题定为「Data In Motion｜具身智能的下一场数据战」，盯住具身数据的前沿探索与实践进展。活动安排了一场双人技术交锋、三场 Open Mic 和一场产业碰撞场 Panel，话题覆盖预训练数据选择、多模态采集、数据配方与评测、规模化交付等方向，讨论具身数据如何转化为机器人能力，卡点又在哪里，同时为研究交流与产业协作搭个台子。

双人技术交锋：具身预训练，下一笔数据投入该花在哪？

同样一笔数据预算，是拿去覆盖更多人类操作场景，还是攒下机器人自己的真实动作与交互反馈？放到具身预训练阶段，这个选择既决定模型能获得哪些能力，也影响后面的任务适配和真实场景部署。本期沙龙就围绕这道取舍，设了一场题为「具身预训练：优先规模化人类经验，还是积累真机交互？」的双人对谈。

这场对谈由跨本体迁移与模型泛化等关键问题。

黄用韬的看法是，如果要给具身预训练的数据投入排个优先级，现阶段应该先把真机数据攒起来，理由是机器人得靠与物理世界直接交互，才能建立可靠的操作能力。大规模人类视频数据则可以支撑任务理解与高层规划，但落到动作轨迹、力度控制、接触反馈这些方面，精度还不够。

他特别强调，触觉不该只当作后训练阶段的补充，应该尽早融进基础能力学习里。用无本体采集、电子皮肤这类技术去探索低成本获取触觉数据的路子，也值得关注。

落到研发实践，团队应当先用真机数据摸清任务本身和失败原因，再一步步扩大数据规模。验证预训练效果时，不能光看已有任务的成功率，还要看模型遇到新任务时的学习速度、适配需要多少数据、跨场景泛化行不行，并通过多任务评测把真实收益认出来。

刘淼强调的则是另一面：具身数据怎么选没有统一答案，关键看机器人的应用定位和训练阶段。工业场景里精密抓取、装配这类任务，高度依赖真机数据；面向开放环境的通用具身智能，则要充分利用人类经验数据的规模化优势。

在他看来，预训练通常更看重数据覆盖范围，后训练则靠更高质量的数据把特定任务表现提上去。不过，人类动作和机器人本体在结构、控制上存在差异，即便能精确还原人类操作，也不等于可以直接迁移到机器人身上。人类数据的潜在价值还包括主动感知、任务规划、手眼协调以及长程行为衔接。

说到触觉数据，他认为采集成本、数据质量、覆盖范围要综合考虑，少量特定构型数据能不能有效提升预训练能力，仍有待验证。另外，当前具身预训练缺少可靠的独立评测手段，其真实贡献容易被后训练效果盖住，怎么把两者的收益有效区分开，仍是重要挑战。

石野、黄用韬、刘淼三位依次出现在画面中，从左往右排开：石野是上海科技大学研究员、助理教授、博士生导师，也是 YesAI 实验室负责人、瞬适科技创始人；黄用韬为蚂蚁灵波科技首席数据科学家；刘淼则是清华大学人工智能学院助理教授

技术 Open Mic：机器人究竟从数据里学到了什么？

数据路线定下来，还得落成采集、训练、验证的具体方法。三场技术 Open Mic 分别从物理交互信息的获取、数据配方与评测、真实部署中的闭环学习切入，讨论数据怎样变成可验证、能持续改进的操作能力。

视觉能记录物体的状态和运动，触觉补上的则是接触过程中难以从画面直接判断的受力、滑动等信息。千觉机器人创始人兼首席科学家、马道林以《从多模态采集到物理交互数据》为题做了分享。他强调，触觉涵盖受力、几何、滑动与运动等多种信息，是机器人完成精细操作的重要依据。要把这些信息转化成操作能力，既得靠高质量、高一致性的传感器采到高质量数据，也要建立规模化采集的标准规范，同时推进模型训练与模型验证，搭起一套高质量的机器人交互能力训练体系。数据采集层面，团队深度布局人机解耦的采集方式，从人类操作中获取触觉经验，生产高质量真实世界数据；同时通过自研触觉仿真器，以较低成本生产大规模高质量仿真数据，并为机器人模型提供评测试验场。他还展示了融合视觉、触觉、语言、动作的 VTLA 模型在自动穿鞋带、纸盒成型等真机任务中的表现。

千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室（MPI Lab）负责人 马道林

数据进了训练环节，不同来源的样本怎么组合，又怎么判断组合有没有效？上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ai lab 负责人李永露带来《机器人学习的数据配方与评测》，把讨论推到数据选择与能力验证上。他指出，数据配方应当从机器人需要完成的任务出发，结合模型结构、训练目标与评测方式一起确定。新增数据有没有用，得通过模型训练和下游任务评测来检验，再把结果反馈到下一轮采集与筛选中。数据规模一大，投入就不只在采集端，后续处理、训练与存储都要花钱，因此更需要持续检验数据的训练收益。硬件、模型与数据基础设施应协同设计、同步迭代，让数据采集与模型训练形成持续反馈的闭环，在统筹整体成本的同时，提高数据投入的有效性。

上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ailab 负责人 李永露

数据最终要落到机器人能力的持续提升上。深朴智能联合创始人兼技术副总裁李明磊在题为《从经验到智能：具身数据 Scaling 与持续学习》的分享中提出，先用高保真经验做预训练支撑，再靠持续学习把能力边界往外推。团队从经验、表征、评测和反馈几个环节入手，借 HiFi-UMI 尝试减少策略冷启动对真机示范的依赖，把三维监督、物理评测和纠错反馈串起来推动策略迭代，同时探索 GPT-Astra 等大模型与具身策略的协同，让真实部署既是检验能力的地方，也成为能力成长的来源，机器人在与物理世界不断交互的过程中完成学习和进化。

深朴智能联合创始人兼技术副总裁 李明磊

产业碰撞场：采集到训练，具身数据降本还有哪些路子？

训练收益要验证，有效数据还得持续供给，这中间绕不开不同硬件之间的数据对齐、采集质量与生产效率等难题。新增信息怎样才算被模型真正用起来？采集、处理和适配环节的成本又该怎么压下来？

这些疑问被带进了产业碰撞场，主题定为「具身数据的新变量：多样性、多模态与规模化」，主持人是机器之心合伙人周芳。香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行，新智具身 CEO 赵世豪，模感科技联合创始人兼 CTO 周航分别结合自身实践，就数据多样性的意义、触觉等模态如何有效利用、规模化生产的质量与成本谈了看法。

陈天行表示，看数据价值不能只盯分布和质量，还得把模型架构和预训练能力一并考虑。新加的数据能不能换来泛化收益，要靠长程任务、复杂交互和场景变化下的评测来判断，横向比较和消融实验也少不了。具体到触觉，任务设计得让接触信息真正进入决策环节，才能看出它实际起了多大作用。

周航的看法是，全身触觉对大脑做物理世界认知训练是重要支撑，对小脑模型的闭环控制同样帮助不小。数据得稳定、准确，时序同步和运动干扰过滤都要做到位。降本规模化可以从量产、减少重复定制以及 AI 辅助清洗入手，他也希望行业能形成统一的数据标准。

赵世豪则指出，训练阶段不同，对数据数量、质量和精度的要求也跟着变。模型要用好触觉，先得解决不同硬件之间的数据表征对齐，再去摸索融合方式。团队实验里就出现过视触觉表征融合过早、性能反而下降的情况。数据生产端也该把采集人员的选拔和操作能力当回事，从源头把数据质量和投入效率提上去。

出现在画面中的依次是：机器之心合伙人周芳、香港大学 MMLab 博士生及 Lumina 具身智能社区创始人陈天行、新智具身 CEO 赵世豪、模感科技联合创始人兼 CTO 周航。

数据从哪里来、训练收益怎么验证、生产和使用的成本如何控制，本期「Triple T」张江塔尖会系列技术沙龙把「数据规模」拆成了与任务、模型、部署条件挂钩的一个个具体问题。不同路线摆在一起交流，数据投入要围着明确的能力目标转、要靠持续评测来检验价值，这点更加清楚了。

要把这些问题继续往下探，研究与产业之间的交流协作也不能断。最后的「Link up · 生态连接」环节，嘉宾和现场观众接着就相关议题交换了意见。这次在张江 AI 创新小镇碰头算是个起点，围绕数据生产、模型评测和实际应用展开的协作，有机会让现场讨论长成新的研究与实践，让积累下来的数据变成能在真实任务中检验的机器人能力。