百万小时数据喂给机器人能学到什么？张江塔尖会拆解具身数据战

训练数据一旦以百万小时计，机器人到底能掌握哪些本领？抓取、分拣物品，还是在陌生环境里连着完成多步操作，任务不同，对机器人能力的要求就不同，需要喂进去的数据也跟着变。人类第一视角视频、真机交互记录、仿真生成数据，给出的学习信号并不一样，值多少钱还要看模型架构、训练阶段和应用目标。怎么挑数据、怎么搭配、怎么验证能力上的收益，又怎么用合理成本持续拿到并用好有效数据，这些加在一起，就是具身智能下一场数据战的核心。

11 月 5 日，「Triple T」张江塔尖会系列技术沙龙在张江 AI 创新小镇开讲，主办方是张江 AI 创新小镇生态公司与机器之心。这期主题定为「Data In Motion｜具身智能的下一场数据战」，盯的是具身数据的前沿探索和落地进展。活动安排了一场双人技术交锋、三场 Open Mic 和一场产业碰撞场 Panel，话题覆盖预训练数据选择、多模态采集、数据配方与评测、规模化交付等方向，聊的是具身数据怎么变成机器人能力，路上又卡在哪里，也给研究交流和产业协作搭了个台子。

双人技术交锋这一环节，问的是具身预训练这笔数据预算该往哪儿花。

同样一笔数据预算，是拿去覆盖更多人类操作场景，还是攒机器人的真实动作与交互反馈？放到具身预训练阶段，这个选择既决定模型能拿到什么能力，也牵连后面的任务适配和真实场景部署。沙龙就围绕这道取舍，设了题为「具身预训练：优先规模化人类经验，还是积累真机交互？」的双人对谈。

主持这场对谈的是上海科技大学研究员、助理教授、博士生导师，YesAI 实验室负责人、瞬适科技创始人石野。蚂蚁灵波科技首席数据科学家黄用韬和清华大学人工智能学院助理教授刘淼坐到一起，聊人类经验与真机数据各自管什么、不同训练阶段数据怎么投、预训练效果又怎么验证，触觉反馈、跨本体迁移和模型泛化这些关键问题也被摆上了桌。

黄用韬的看法是，真要给具身预训练的数据投入排个先后，眼下应该先把真机数据攒起来，理由很直接：机器人得靠与物理世界直接交互，才能建立起可靠的操作能力。大规模人类视频数据倒是能支撑任务理解和高层规划，可到了动作轨迹、力度控制、接触反馈这些地方，精度还是不够。

他特意提到，触觉不该只当成后训练阶段的补充，应该尽早放进基础能力学习里。用无本体采集、电子皮肤这类技术去摸索低成本的触觉数据获取方式，同样值得盯。

落到研发实践，他建议团队先用真机数据把任务和失败原因摸清楚，再一步步把数据规模铺开。验证预训练效果时，不能光看已有任务的成功率，还得看模型遇到新任务学得多快、适配要多少数据、跨场景泛化行不行，靠多任务评测把真实收益找出来。

刘淼的看法不一样：具身数据怎么选没有统一答案，得看机器人的应用定位和训练阶段。工业场景里精密抓取、装配这类任务，高度依赖真机数据；面向开放环境的通用具身智能，则要把人类经验数据的规模化优势用足。

在他看来，预训练一般更看重数据覆盖范围，后训练则靠更高质量的数据把特定任务表现提上去。问题是人类动作和机器人本体在结构、控制上存在差异，就算能把人类操作精确还原，也不等于能直接搬到机器人身上。人类数据的潜在价值还包括主动感知、任务规划、手眼协调以及长程行为的衔接。

说到触觉数据，他认为采集成本、数据质量和覆盖范围得一起算，少量特定构型数据能不能有效提升预训练能力，还有待验证。另外，当前具身预训练缺少可靠的独立评测手段，真实贡献容易被后训练效果盖住，怎么把两者的收益分开算，仍是个重要挑战。

石野：上海科技大学研究员、助理教授、博士生导师，YesAI 实验室负责人，瞬适科技创始人；黄用韬：蚂蚁灵波科技首席数据科学家；刘淼：清华大学人工智能学院助理教授。三人按此顺序自左至右排列。

三场技术 Open Mic 想弄明白一件事：机器人究竟从数据里学到了什么？

数据路线定下来，还得落到采集、训练、验证的具体做法上。三场 Open Mic 分别从物理交互信息的获取、数据配方与评测、真实部署中的闭环学习切入，谈数据如何变成可验证、能持续改进的操作能力。

视觉能记录物体的状态和运动，触觉补上的则是接触过程中光看画面难以判断的受力、滑动等信息。千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室（MPI Lab）负责人马道林以《从多模态采集到物理交互数据》为题做了分享。他强调，触觉里包含受力、几何、滑动与运动等多种信息，是机器人完成精细操作的重要依据。要把这些信息转成操作能力，既得靠高质量、高一致性的传感器采集高质量数据，也得建立规模化采集的标准规范，同时推进模型训练与模型验证，搭起一套高质量的机器人交互能力训练体系。采集层面，团队在人机解耦的采集方式上做了深度布局，从人类操作中获取触觉经验，产出高质量真实世界数据；还自研触觉仿真器，以较低成本生产大规模高质量仿真数据，同时给机器人模型提供评测试验场。他还展示了融合视觉、触觉、语言、动作的 VTLA 模型在自动穿鞋带、纸盒成型等真机任务中的表现。

千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室（MPI Lab）负责人 马道林

数据进了训练环节，不同来源的样本怎么组合，组合得好不好又怎么判断？上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ai lab 负责人李永露带来《机器人学习的数据配方与评测》，把讨论推到数据选择与能力验证上。他指出，数据配方该从机器人要完成的任务出发，结合模型结构、训练目标和评测方式一起定。新增数据管不管用，得通过模型训练和下游任务评测来检验，结果再反馈到下一轮采集与筛选中。数据规模一大，投入就不只在采集端，后续处理、训练和存储也要花钱，所以更得持续检验数据的训练收益。硬件、模型与数据基础设施应该协同设计、同步迭代，让数据采集和模型训练形成持续反馈的闭环，在统筹整体成本的同时，把数据投入的有效性提上来。

上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ailab 负责人李永露

数据值不值钱，说到底要看机器人能力有没有跟着涨。深朴智能联合创始人兼技术副总裁李明磊带来《从经验到智能：具身数据 Scaling 与持续学习》的主题分享，思路是用高保真经验撑起预训练，再靠持续学习把能力边界往外推。团队把力气放在经验、表征、评测与反馈四个环节：一边用 HiFi-UMI 试着减少策略冷启动对真机示范的依赖，一边把三维监督、物理评测和纠错反馈接进策略迭代，同时探索 GPT-Astra 等大模型与具身策略的协同。真实部署因此不只是检验能力的地方，也成了能力生长的来源，机器人在与物理世界不断交互的过程中完成学习和进化。

深朴智能联合创始人兼技术副总裁李明磊

产业碰撞场：采集到训练，具身数据还有哪些降本空间？

从验证训练收益，到持续供给有效数据，中间还卡着几道关：不同硬件之间的数据对齐、采集质量、生产效率。新增的信息怎么才能被模型真正用起来？采集、处理、适配各环节的成本又该怎么压？

这些问题被摆到了产业碰撞场的台面上，主题定为「具身数据的新变量：多样性、多模态与规模化」，由机器之心合伙人周芳主持。香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行，新智具身 CEO 赵世豪，模感科技联合创始人兼 CTO 周航分别结合自家实践，聊了数据多样性有什么价值、触觉等模态怎样有效利用，以及规模化生产中的质量与成本问题。

陈天行提到，判断数据价值，分布和质量要看，模型架构和预训练能力也得一起考虑。新增数据能不能带来泛化收益，得靠长程任务、复杂交互与场景变化的评测去验证，横向比较和消融实验也少不了。具体到触觉，任务设计应当让接触信息真正参与决策，这样才检验得出它的实际贡献。

周航强调，全身触觉对大脑做物理世界认知训练有重要支撑作用，对小脑模型的闭环控制同样助益深远。数据要稳、要准，时序同步和运动干扰过滤也得做到位。规模化降本可以从量产、减少重复定制以及 AI 辅助清洗三处下手，他还希望行业能形成统一的数据标准。

赵世豪指出，训练阶段不同，对数据数量、质量与精度的要求也不一样。模型要有效利用触觉，先得解决不同硬件的数据表征对齐，再去摸索融合方式。团队实验中，过早融合视触觉表征反而可能拉低性能。数据生产端同样要重视采集人员的选拔与操作能力，从源头把数据质量和投入效率提上去。

图中人物自左向右分别是：周芳（机器之心合伙人）、陈天行（香港大学 MMLab 博士生、Lumina 具身智能社区创始人）、赵世豪（新智具身 CEO）、周航（模感科技联合创始人兼 CTO）

数据从哪里来、训练收益怎么验证、生产和使用成本如何控制——本期「Triple T」张江塔尖会系列技术沙龙把「数据规模」这个大词拆成了与任务、模型、部署条件挂钩的具体问题。几条不同路线的交流指向同一点：数据投入得围绕明确的能力目标来安排，并且靠持续评测检验它到底值不值。

这些问题的进一步探索，也离不开研究与产业之间的持续交流协作。最后的「Link up · 生态连接」环节，嘉宾与现场观众接着就相关议题交换看法。此次相聚在张江 AI 创新小镇，只是一个起点；围绕数据生产、模型评测与实际应用展开的协作，有望把现场的讨论延伸为新的研究与实践，让数据积累变成能在真实任务中验证的机器人能力。