机器人学会“摸”东西：500小时触觉数据集TouchScale问世

一个机器人想学会拧瓶盖，它得先知道些什么？

瓶盖在哪儿、长什么样、往哪个方向拧，这些摄像头都能拍下来。可拧这个动作本身呢——手指压下去的力道要多大才不打滑，什么时候该松，哪根手指先碰到瓶盖边沿，摄像头一样也拍不到。

过去几年机器人学习领域就卡在这个尴尬处。研究者手里的人类活动视频动辄几千小时，手部动作五花八门，可视频只记下了手怎么动，没记下手摸到了什么、使了多大劲。好比一段拍得很清楚的揉面视频，你能数清手揉了几圈、往哪儿推，却永远体会不到面团的软硬和手上的力道。揉面这件事，偏偏靠的就是那股劲儿。

这篇论文要填的，正是视觉数据集长期漏掉的这块触觉空白。

**一、现有数据集差在哪**

先看一个让人意外的数字：学术界做视觉触觉联合学习的数据集，规模普遍不到30小时。

视觉领域是什么量级？Ego4D这类纯视频数据集已经做到几千小时，甚至两万小时以上，两边差了近百倍。研究者并非偷懒，触觉传感器本身就比摄像头难伺候：得戴在手上，不能太厚不能太重，还要精确记下每个指尖压力的变化，硬件门槛摆在那儿，采集规模自然上不去。

还有个更麻烦的事。就算你把现有几个小规模触觉数据集拼起来凑够量，拼接这个动作本身就是个陷阱。

ActionSense的传感器布局跟EgoTouch完全不一样，taxel（触觉传感器上的最小感应单元，相当于摄像头上的一个像素点）密度、采集协议、标注方式也都不同。混在一起训练，你根本分不清模型表现好是因为数据量大了，还是某个数据集本身质量就高。这就像想测“吃得多是不是跑得快”，结果样本里有人吃米饭有人吃沙子，吃得多这件事本身就没法单独拿出来比。

继续用拼接数据集的路子走下去会怎样？答案是数据规模的效应永远说不清。触觉数据到底是不是越多越好，这个最基本的问题你永远答不上来。论文想正面回答的，正是它。

**二、TouchScale：一套设备录到底**

团队的办法听着简单，做起来是硬功夫：同一套穿戴设备，连录500小时，一口气覆盖足够多的场景和动作。

设备配置挺讲究。头上戴一台Orbbec Gemini 345Lg立体RGB-D相机，不光拍彩色画面，还能测出场景里每个点的真实距离，等于给整个场景做了次三维扫描。两只手腕各挂一台Intel RealSense D405相机，专拍手和物体接触的近景，补上头戴相机因角度拍不清的细节。重头戏是一副触觉手套，每只塞了880个感应点，分布在五指和手掌，空间分辨率小于2毫米。

RGB-D*：一种既能拍彩色图像又能测量每个像素点真实距离的相机技术，简称来自RGB颜色加Depth深度。

打个比方，这好比给同一位厨师配一整套固定不变的厨具，炉具刀具都不换，录500个小时做菜。今天用A厨房的锅、明天换B厨房的锅，你分析出来的“火候差异”就说不清是厨具的问题还是手艺的问题。设备和协议都固定，是让“数据规模”这个变量能被单独研究的前提。不这么做，你永远不知道结果是数据量带来的，还是换设备带进来的噪音。

参与录制的大约20名志愿者，覆盖近2000个任务描述，涉及1500多种物体，分布在实验室、厨房、工作台、办公室、卧室、医疗、打包等9大场景，细分场景配置超过800种。任务指令写得具体，比如“用双手摇晃一个玻璃锥形瓶”、“把一瓶水倒进广口瓶里”、“把笔记本电脑的充电线卷起来用魔术贴固定”。任务描述细到这个程度，数据就不是随手录的日常片段，而是带着明确动作目标的结构化采集。

录完之后还有一道质量把关，挺有意思。团队没全靠人工检查，而是先用一个叫Gemini 3.7 Flash的多模态大模型，只给它看手腕摄像头拍的视频，不给任何触觉数据，让它自己判断什么时候抓起了物体、哪几根手指碰到了东西、哪些时段手是空闲的。

这等于让AI先“盲猜”一遍手到底摸了什么，再拿猜的结果去跟真实触觉数据对。某根手指在视觉上明明碰到了东西，触觉数据却毫无反应，那传感器很可能坏了，这条数据要么打回人工复核，要么直接剔除。双重验证下来，好比找了个不知道答案的裁判先独立判一次，再拿这个判断去校验仪器有没有出故障，比单纯靠人眼目检效率高，也更客观。

**三、零样本触觉预测：换个传感器照样认得出**

数据集的质量，光靠规模和设备统一还不够，得拿实验说话。第一道考验是零样本迁移。

团队用同一套叫TouchAnything的模型架构，分别在EgoTouch数据集的16.2小时训练集和从TouchScale截出的等量16小时子集上训练，再把两个模型都拿到EgoTactile（另一个数据集，传感器完全不同）上测试，模型此前没见过这个传感器的任何数据。

cIoU*：接触交并比，衡量模型预测的接触区域和真实接触区域重合程度的指标，数值越高说明预测越准。

结果出来了：EgoTouch训练出的模型cIoU只有0.134，用等量TouchScale数据训练的模型则到0.181，提升超过三成。等用上TouchScale全部500小时数据，这个数字又爬到0.383。

这个结果说明，在相同训练数据量下，TouchScale习得的触觉表征本身就具有更强的跨传感器泛化能力。数据量继续放大时，这种泛化能力仍在往上走，并非很快触顶的曲线。团队做了从10%到100%的数据缩放实验，cIoU从0.311一路上升到0.383，中心定位误差与压力大小误差也同步下降。四条曲线走势基本一致：数据越多，效果越好，天花板还没露出来。

打个比方，一个厨师只在一家餐厅的灶台上练颠勺，忽然被派到另一家餐厅、用完全不同的锅，照样颠得稳。练的场景越丰富、时间越长，适应新环境的本事就越强。反过来，只在一个灶台上练了很短时间，换了锅可能连基本动作都走样。

四、视觉表征的意外收获：触觉监督练出来的眼力

论文里还有一个没太被预料到的发现：拿触觉数据训练出的视觉编码器，去做跟触觉毫无关系的动作识别任务，表现反倒比其他触觉数据集训出来的更好。

团队选了Hiera-B这个视觉骨干网络，在TouchScale、OpenTouch、FEEL、EgoTouch四个数据集上用同一套触觉预测任务分别训练，再把训好的视觉编码器搬到MECCANO、Something-Something V2、Ego-Exo4D三个动作识别基准上测。评测分两种：线性探测，固定编码器只训最后一层分类头；端到端微调，整个网络一起调。

Hiera-B*：一种层级化的视觉Transformer模型，用来提取图像或视频里的特征表示。

结果显示，TouchScale在三个基准、两种评测方式下全部排第一，平均线性探测准确率24.45%，平均微调准确率49.62%，都明显高于另外三个数据集训出的编码器。

乍听有点反直觉：触觉数据训出来的视觉模型，怎么反而更会“看”动作？细想并不奇怪。触觉信号本身就是接触事件发生的强信号，模型要准确预测什么时候、哪个部位出现压力变化，就得先学会从视觉画面里精确定位手和物体交互的那一瞬。这种定位能力，恰好也是动作识别最需要的。说白了，触觉监督逼着视觉模型去盯住真正关键的交互细节，而非背景里那些无关信息。

这就像一个人常被要求根据手部动作猜对方是不是正用力握住什么东西，时间一长，他看别人动作的眼光会变得格外敏锐，一下就能抓住动作里最关键的瞬间，这种敏锐放到别的观察任务上照样管用。要是没练过这种“猜力气”，看动作可能只停在表面轨迹上，抓不住真正的发力点。

五、搬到机器人身上：从人手到机械手的跨越

前两项验证都在感知层面，真正难啃的骨头是机器人实际操作能力能不能提上去。这一步最难证明，因为人手和机械手构造差得太远，直接把人的动作搬给机器人，往往水土不服。

论文绕开了一个巧妙的弯：不硬把人类手部动作映射到机器人动作空间，而是只用TouchScale做一件事，叫视觉触觉中期训练。

这个中期训练干什么？让模型根据当前的触觉观察和视觉语言上下文，预测未来一段时间触觉会怎么变，生成一组叫latent tactile tokens的隐藏表征，全程不碰任何机器人具体动作标签。

latent tactile tokens*：模型内部用来表示“预期触觉变化”的一组隐藏向量，不是具体的传感器数值，而是一种压缩后的抽象表征。

这一步完全不需要人类动作和机器人动作对齐，因为它压根不涉及动作预测，只练触觉变化的感知。之后再把预训练好的触觉理解能力接到真正的机器人策略模型N0-VTLA上，用50条人类遥操作采集的机器人演示数据做正式任务训练。

真实世界测试挑了四个很有代表性的接触密集型任务：软硬物体分拣，机器人得靠物理接触判断物体软硬再放到对应位置；瓶盖拧取；试管转移；白板擦拭，擦的时候要跟表面保持持续接触。每个任务跑20次试验看成功率。

结果很直接。没做TouchScale中期训练的基线模型，四个任务平均成功率只有22.5%。做过中期训练后，平均成功率跳到57.5%，提升35个百分点。拆开看，软硬分拣从10%涨到60%，瓶盖拧取从40%涨到70%，试管转移从30%涨到60%，白板擦拭从10%涨到40%。

35个百分点是什么概念？原来10次里机器人只能成2到3次，现在10次里能成5到6次。一个“大概率失败”的任务，差不多变成了“大概率成功”。而且这四个任务涵盖的接触类型完全不同，有的靠材质软硬判断，有的靠精细定位，有的靠持续压力维持，改善面铺得很广，不是只在某一类任务上碰巧成了。

数据规模实验也做了。中期训练数据从20%一路加到100%，平均成功率从30.0%逐步爬到57.5%。这条曲线不算平滑的直线，但整体趋势向上。

有点出乎意料的是，整个链条里机器人根本没见过TouchScale中某一帧人手具体怎么拧瓶盖，它学到的只是“看到这样的视觉语言场景，触觉大概会怎么变化”这个更抽象的规律，可这个规律迁移到机械手上照样管用。

这有点像一位从没下过厨的美食评论家，常年靠看食材状态判断“这道菜接下来大概会变成什么口感”。他自己没亲手炒过菜，但对食材变化规律的敏感度，搬到一个完全陌生的厨房、交给一个毫无经验的新手厨师参考，照样能帮新手判断火候对不对。要是评论家从没练过这种“预判变化”的能力，直接把他的烹饪手法硬套给新手，反而可能因为身体动作不匹配而彻底失败。

六、触觉预测和动作预测，到底有没有关系

论文还做了一个挺细致的小实验，想弄清楚未来触觉预测准不准，跟最终动作做得好不好，两者之间到底有没有直接关联。

团队把每一步的触觉预测误差和动作预测误差拿来算了皮尔逊相关系数。经过TouchScale中期训练的模型，两者之间是微弱正相关，系数0.119，统计显著性达标。没做中期训练的基线模型，系数几乎为0，统计上完全不显著。

也就是说，触觉预测和动作预测之间确实有点联系，只是这联系眼下还偏弱，远谈不上“触觉预测准，动作就做得好”的强绑定。论文作者在文章里也直说，这个关联具体怎么起作用、未来触觉预测在机器人控制中该占什么位置，目前还是开放问题，没有定论。肯这么讲，比硬把一个弱相关说成重大发现要可靠。

**七、这件事放在更大的背景里看**

把这篇论文摆回整个领域的发展脉络里，会看得更清楚一些。

过去几年，Ego4D、Ego-Exo4D这类大规模纯视觉人类活动数据集不断抬高机器人从人类视频里学习的上限，有的数据集规模已经做到两万小时以上。可它们有个共同的盲区：完全没有触觉信号。

另一边，EgoPressure、EgoTactile、EgoTouch这些专攻触觉的数据集陆续冒出来，规模却都停在个位数到二十来个小时之间，很难支撑“规模效应到底存不存在”这个问题的严肃讨论。TouchScale把两条路线真正接到了一起，500小时的体量，第一次让研究者能系统地问出“视觉触觉数据到底值不值得继续扩大规模”，并给出了一个相对清晰的肯定回答。

还有一点，这篇论文用的机器人策略模型N0-VTLA本身就是2026年才发表的较新工作，它引入未来触觉预测来增强策略的触觉反应能力。T-Rex探索的是另一条路：先做大规模人类预训练，再做触觉密集的机器人中期训练。TactAlign和TTP则盯着人类与机器人之间触觉表征对不齐的问题，一个靠跨设备对齐观察，一个靠混合人类机器人数据做未来触觉预测的预训练。TouchScale选的路径跟这些工作有联系也有区别，它不去硬啃人机动作对齐这个老大难，而是绕开它，只做纯粹的触觉感知层面迁移，这个选择本身也挺聪明。

写在后面

读完这篇论文，最让我意外的其实不是500小时这个数字，而是那个“触觉训练出来的视觉模型反而更会看动作”的发现。

这个结果暗示的事更有意思：人类理解一个动作，很可能不是只靠看，而是靠一种潜在的“身体代入感”，你看到别人拧瓶盖，脑子里会不自觉地模拟那股力道。如果一个AI模型也能通过触觉监督被逼着学会这种“代入感”，它看视频的方式可能会越来越接近人类真正理解动作的方式，而不只是记住像素怎么移动。

另一个值得琢磨的是那个皮尔逊相关系数实验。0.119看着很小，但比0.003有意义得多，这恰恰说明现在的触觉世界模型离真正理解“摸到什么会导致做什么”还有很长的路。这个弱相关与其说是失望的结果，不如说是个诚实的路标，告诉我们接下来该往哪个方向继续挖。

机器人要真正学会摸东西，恐怕还需要比500小时多得多的数据，但至少现在我们知道，这条路走下去是有回报的。

Q&A

Q1：TouchScale数据集是什么？

A：TouchScale是一个500小时的人类视觉触觉数据集，用同一套穿戴设备采集，包含头戴RGB-D视频、双手腕部RGB视频和双手触觉手套数据，覆盖约2000个任务描述和1500多种物体。

Q2：TouchScale对机器人操作有什么实际效果？

A：用TouchScale做视觉触觉中期训练后，机器人在四个接触密集型真实任务上的平均成功率从22.5%提升到57.5%，涵盖软硬分拣、瓶盖拧取、试管转移和白板擦拭。

Q3：触觉数据训练的模型能用在和触觉无关的任务上吗？

可以。把 TouchScale 训练出来的视觉编码器拿到动作识别任务上做迁移，三个基准测试里，它的表现都强过用其他触觉数据集训练出的模型。这说明触觉监督有助于学到更有用的视觉表征。