蚂蚁灵波开源LingBot-Touch：触觉数据为何拖累机器人成功率

装上了更高级的传感器，机器人干活能力反倒下降，这是具身智能领域里一个与直觉相反的现象。

蚂蚁灵波团队最近围绕这一点做了一组对照实验。任务是拉拉链，用的是Sharpa Wave灵巧手。机器人仅凭摄像头视觉信息、跑π0.5动作模型时，成功率为39%，虽说不算高，好歹能把活干完。

随后团队把触觉传感器贴到手指指尖，让实时读数直接输入同一个模型。多一个感知维度，照理说机器人对力度和位置的把握应该更准。实际结果却相反：成功率掉到15%。

类似情况不止一处。交接盒子任务中，成功率由57%降至48%；另一款XHand灵巧手测试6项任务，平均成功率也从49.71%降到48%。

症结在于“语言不通”。

触觉数据和视觉数据是两套东西。多数时段手指悬空，传感器读出的是一长串没有意义的“0”；碰到物体后，信号又稀疏、又夹杂噪声。何况市面上的触觉传感器原理并不相同——视触觉看软胶形变，磁触觉测磁场变化，压阻式记电阻值。同样一个“捏瓶盖”的动作，三类传感器给出的数字完全对不上。

面对这些杂乱的原始信号，动作模型读不懂。硬塞进去不但帮不上忙，还会搅乱它原本依赖的视觉判断。打个比方，这就像让只懂中文的人去听没翻译过的俄语广播，听不懂不说，连本来能看懂的手势也乱了套。

要破这个局，得在传感器与动作模型中间架一个“翻译官”。它的职责是把各种来源的原始信号转成模型能理解的统一表达：接触发生在哪、使了多大劲、力偏向哪个方向、有没有打滑。

蚂蚁灵波今天开源的LingBot-Touch，正是这样一个触觉预训练基础模型。

LingBot-Touch：把杂乱信号变成通用Token

这个模型的目标很清楚：接收磁触觉、视触觉、压阻式触觉三类主流传感器的信号，再统一编码成标准的“触觉Token”。

这些Token里装着接触位置、受力大小，以及力随时间变化的走向。底层硬件怎么换都无所谓，上层动作模型只要处理这些标准化Token就行。

这样一来就“殊途同归”了：下游模型不必管上游装的是哪家传感器，只需盯住物理接触本身的规律。

蚂蚁灵波团队把这件事拆成了三步来做，架构上逐层推进。

第一步：统一坐标空间，打破硬件壁垒

灵巧手之间的传感器排布差得很远。拇指上有的铺了116个触点，有的布料手套只有3×3的小阵列，照物理编号硬对，压根对不上。

于是LingBot-Touch把所有触点都映射进一个标准化的指尖三维空间。每个Token都带一个“地址”，由时间、手指标识和三维位置组成。模型靠旋转位置编码（RoPE）摆脱了对固定触点数量和排列方式的依赖。

架构上，三类传感器各配一个轻量级入口网络，先把原始读数做初步转化；之后数据汇入同一个触觉Transformer主干网络学习。传感器之间的差异在入口处就被消化掉，主干网络提取的是“接触”本身的物理规律。

第二步：特征空间预测，避免学习捷径

输入格式解决完，接下来是训练效率。前面提到过，触觉数据里大部分是无效的“0”。要是让模型去还原原始读数（比如VAE或MAE那类做法），它很快会摸到一条“捷径”：把背景预测成0，损失函数就能压得很低。问题是，真正有用的接触细节也就学不到了。

LingBot-Touch走的是JEPA（联合嵌入预测架构）路线。训练时随机遮住90%的触点数据，让模型根据剩下10%的变化，在特征空间里预测被遮挡部分的表征，而不是还原原始数值。

这种逼着模型去理解上下文关联的训练方式，效果很直接。1000小时数据训下来，LingBot-Touch判断接触中心的误差只有0.90毫米，传统VAE和MAE方法则在3毫米以上。触觉-视频跨模态检索任务中，LingBot-Touch的前5召回率达到32.07%，其他方法不到6%。

第三步：数据增强与防过拟合

LingBot-Touch的预训练数据集有4983小时、约13.3亿帧。三分之二来自人类戴触觉手套操作，三分之一来自遥操作机器人。这些数据只标了任务类别（如开瓶、倒水），并没有标注具体的力值大小。

为了不让模型死记特定传感器的布局，团队在训练中加了动态扰动：随机改变触点采样密度，再微调每个触点的空间位置。模型因此被逼着去学接触的通用物理规律，而不是记住某款硬件的拓扑结构。

真机实测：从零样本到性能跃升

理论归理论，还得看真机。测试用了两款灵巧手：高自由度的Sharpa Wave（20项任务）和低自由度的XHand（6项任务）。参与的动作模型有Diffusion Policy、π0.5、LingBot-VLA和T-Rex。

结果显示，接上LingBot-Touch之后，所有模型在两款手上的平均成功率都拿到最高。

跟完全不用触觉相比，T-Rex、π0.5和LingBot-VLA的成功率分别涨了23.18、21.81和24.81个百分点。而引入LingBot-Touch带来的参数量增加只有0.13%到0.16%，代价很小。

拿“单手插吸管”来说。难就难在刺破封膜的那一下：阻力先变大，膜一破又突然消失。摄像头很难分清膜是凹下去了还是已经破了，收力慢一点，吸管就直冲杯底。靠LingBot-Touch给出的指尖力反馈，机器人能抓住这一瞬态变化，稳稳做完。

XHand的零样本测试更能说明问题。XHand用的磁触觉传感器型号从没出现在预训练数据里，预训练中的磁触觉数据又全部来自人手手套。接入XHand时，LingBot-Touch没有做任何参数调整。

就算这样，π0.5模型在6项任务上的平均成功率还是从48.00%升到74.17%。“分离叠杯”任务里，成功率从32.5%翻倍到72.5%。这个任务要求机器人一手扶住整摞杯子，另一手抽出最上面那个，力控得非常细：阻力突然变小、指腹又贴合，说明杯子松脱了，得马上收力；指腹打滑，就得重新抓。这种微妙的手感差别，正是LingBot-Touch擅长捕捉的。

跟此前的触觉基础模型FTP-1比，LingBot-Touch在Sharpa Wave上的接触中心判断误差从2.19毫米降到0.12毫米，在XHand上从5.89毫米降到0.16毫米。FTP-1还得为每只手配专用适配器，LingBot-Touch一个冻结编码器就能通用。

Scaling Law（缩放定律）在LingBot-Touch上也露了头。预训练数据量从4000小时加到5000小时，模型从Tiny版升到Small版，真机任务成功率一路稳定往上走。

具身原生：补齐物理世界的最后一块拼图

把LingBot-Touch放进蚂蚁灵波的技术版图里，战略意图就清楚了。

此前灵波已经发布LingBot-Vision、LingBot-Depth 2.0等视觉模块，以及LingBot-VLA 2.0等决策模块。这些能力主要解决“接触前”的问题：物体在哪、手怎么伸、下一步做什么。可手指一旦碰上物体，视觉往往被挡住或者失效。钥匙插进锁孔后，摄像头就帮不上忙了，只能靠触觉反馈判断有没有对准、有没有卡住。

视觉负责接触之前，触觉负责接触之后——LingBot-Touch补的正是“碰上之后”这一段感知空白。

触觉为什么要单独做成基础模型？每只手的控制逻辑各不相同，可对“接触”的理解是相通的。把这层理解抽出来，做成可复用的能力，一款硬件上攒下的经验就能迁到另一款硬件上。灵波此前提过“一脑多机”，这个思路与其一脉相承，又往前推了一步，叫“多传感器经验共享”。

这套做法被称作“具身原生”（Embodied Native）：从机器人在物理世界里的真实感知和操作出发，反过来设计模型架构和数据策略。用手套采集数据，是为了不再依赖昂贵的机器人，把数据规模快速铺开；按传感原理而不是产品型号来设计入口，则是为了将来出现新传感器也能接得上。

大语言模型眼下在具身智能领域跑得很快。GPT-6 Astra和Claude Fable 5.2在仿真环境里展现出很强的推理规划能力。可到了RoboDojo这类强调物理精度的测试中，纯大模型在插管、搭塔这些需要精确接触的任务上仍然吃力。GPT-6 Astra在精度维度的成功率只有4%，远不及专用策略。

蚂蚁灵波CEO朱兴的看法是，通用大模型和具身基础模型之间是“1+1>2”的关系：大模型管高层推理，具身模型管底层的物理泛化。互联网上文本和视频海量，却几乎没人记录“拇指捏瓶盖用了几牛顿力”这类数据。这种物理常识，只能靠在真实交互里一点点攒。

LingBot-Touch开源之后，触觉感知不再是一家家厂商各自捂着的东西。传感器厂商可以继续迭代硬件，整机厂不必绑定某个特定模型，开发者也能把LingBot-Touch接进任何支持的动作模型。解耦加上标准化，灵巧手在零售分拣、物流装配这些复杂场景里的落地有望加快。

说到底，机器人手上有了信号，不等于会用。只有把这些信号变成通用的物理常识，它才能在真实世界里把活干稳、干好。