Sharpa Wave触觉传感器：加装后成功率为何从39%跌到15%？

太反差了。

给机器人装上触觉，它反倒变笨了……这是怎么回事？

图片来源：AI生成

前不久，有团队做了一项实验：在Sharpa Wave灵巧手的五根手指上全部加装触觉传感器，让它完成拉上袋子拉链的动作。

他们用的是π0.5动作模型。只靠摄像头时，成功率是39%。随后团队把指尖传感器的读数原样输入模型。按说多了一种感官，拉拉链该更顺手才对。

结果出人意料：成功率一下跌到15%。

这并非孤例。还是Sharpa Wave灵巧手配π0.5，接入原始触觉后做交接盒子任务，成功率从57%降到48%。换成XHand，6项任务平均成功率也从49.71%下滑到48%。

多一种感官，机器人为何反而笨手笨脚？问题出在读数上。

触觉数据和其他数据不一样。机器人手指大部分时间不接触物体，读数基本是一大片“0”；即便碰到物体，信号也稀疏、带噪声。再加上不同传感器各管一摊：视触觉拍指尖软胶的形变，磁触觉测磁场，压阻式触觉记电阻……数据各不相同。

三类触觉传感器如何感知接触，各自有什么取舍

拿捏住一个瓶盖来说，三种传感器给出的是三组完全不同的数字。动作模型看不懂，还得硬用，等于在帮倒忙。

这局怎么破？蚂蚁灵波给出的办法是，在传感器和动作模型之间加一个“翻译”。（注：上述实验就是蚂蚁灵波做的。）

具体做法是，先把各类传感器读到的数据转换成动作模型能理解的信息，比如手指碰在哪儿、使了多大劲、力往哪边偏、有没有打滑，再交给模型。

还是π0.5，还是拉拉链的任务，这样操作后成功率直接升到59%，比完全不用触觉还高出20个百分点；交接盒子任务的成功率也从48%回到63%。

这个“翻译”，就是蚂蚁灵波今天最新开源的触觉预训练基础模型LingBot-Touch。

有了它，前面提到的拧瓶盖动作变得非常丝滑：

拧瓶盖最容易出岔子的地方，其实就在指腹和瓶盖贴住的那一小片区域。手上捏得松一点，指腹就会在盖面上打滑，手腕转了半圈，盖子却一动不动。这种细节，摄像头根本拍不出来。

那LingBot-Touch这个“翻译”，到底是怎么把这层感觉读出来的？

灵巧手缺一个翻译

LingBot-Touch具体干了什么，得先理清楚。

它接的是磁触觉、视触觉、压阻式触觉这三类传感器的信号，收到之后统一编码成一种触觉Token。接触发生在哪、力有多大、力的方向随时间怎么变，都从这些Token里读出来。

它的角色正好在中间：往下对接不同的传感器和灵巧手，往上把这些Token交给各种动作模型。

各家的传感器信号再五花八门，到动作模型这边都能被统一理解，路子不同，终点一样。

△LingBot-Touch连接多种触觉传感器与真实灵巧操作

轻量版LingBot-Touch-Tiny的参数只有约532万。技术报告、代码和模型权重，目前都已经开源。

那LingBot-Touch是怎么练出来的？

蚂蚁灵波团队的做法，大致分了三步。

头一步是统一坐标。

第一个难题出在传感器本身：触点数量和排布差别太大。有的灵巧手单是拇指上就铺了116个触点，有的布料手套只有一个3×3的小阵列。

按编号硬对，肯定对不上。

团队的办法是先把所有传感器的触点映射进同一个标准化的指尖空间，再给每个Token分配一个“地址”。地址由时间、手指和三维位置共同组成。

这个地址通过旋转位置编码（RoPE）进入模型。模型因此不再要求固定的触点数量，换一种布局照样能读。

在这套坐标之上，三类传感器各有一个轻量入口，负责把原始读数转成Token；入口之后，大家共用同一个触觉Transformer主干。

换句话说，传感器之间的差异由各自的入口消化，接触本身的规律则放进主干里一起学。

△LingBot-Touch整体架构，三类传感器分入口、共用一个主干

第二步，是在特征空间里做预测。

坐标统一之后，第二个坑来了，就是开头说的那一大片“0”。

如果让模型直接还原原始读数，它很快会走捷径：只要把“没碰到”的背景学好，损失就能压得很低。分数是好看了，真正有用的接触信息却没学到多少。

所以LingBot-Touch走了JEPA路线。

训练时，模型会随机遮住90%的触点，而且整段时间一直遮着。剩下10%的变化是唯一线索，模型要在特征空间里预测被遮住部分的表征，不用逐点还原读数。

这么做下来，效果很直接。同样拿1000小时数据训练，LingBot-Touch判断接触中心的误差只有0.90毫米，VAE和MAE则都在3毫米以上。

换成用一段触觉去找对应的视频画面，LingBot-Touch的前5召回率达到32.07%，另外两种方法都不到6%。

△相同数据下，特征空间预测与还原原始读数的效果对比

第三步是扩充数据，为的是不让模型死记硬背。

LingBot-Touch的预训练数据合计4983小时、约13.3亿帧。三分之二来自人戴着触觉手套干活，其余三分之一来自遥操作Sharpa Wave双臂机器人。

大量采用手套数据，原因是不需要机器人参与，一个人一天就能在普通环境里录好几个小时。这些数据只标了开、关、装配、倒水这类任务类别，没有一帧标注过力的大小。

△预训练数据的构成，覆盖三类传感原理

数据攒够了，团队还得防着模型“偷懒”。

预训练里只有三种传感器布局，模型很可能把这三套触点位置直接背下来，碰到第四种布局就抓瞎。

于是训练时，团队会随机改变触点的采样密度，再把每个触点的位置小幅挪一挪，逼模型去学接触本身的规律。

三步走完，就该上真机检验了。

测试覆盖两款灵巧手：高自由度的Sharpa Wave做20项任务，低自由度的XHand做6项，合计26项。

参与测试的动作模型有四种：Diffusion Policy、π0.5、LingBot-VLA和T-Rex。每种模型都要分别在不使用触觉、直接喂原始信号、接入LingBot-Touch这三种设置下跑一遍。

结果，两款手上四种模型都是接入LingBot-Touch的那一组平均成功率最高。和不用触觉相比，T-Rex、π0.5、LingBot-VLA的成功率分别提升23.18、21.81、24.81个百分点，代价只是参数量多了0.13%到0.16%。

△两款灵巧手上，四种动作模型在三种设置下的平均成功率

单手插吸管就是个例子。这个任务的难点在刺破封膜那一下：吸管抵住透明封膜往下压，阻力越来越大，膜一破，手上会突然松掉。

摄像头很难分清膜是被压凹了还是已经被扎穿，指尖却能分辨。收力慢上一步，吸管就会直接冲到杯底。

最能说明问题的，还得是XHand这组实验。

XHand用的磁触觉传感器，型号从来没出现在预训练数据里；预训练中的磁触觉数据，也全部来自人戴的手套。接入XHand时，LingBot-Touch一个参数都没改。

即便如此，π0.5在6项任务上的平均成功率，还是从直接喂原始信号时的48.00%升到了74.17%。

其中分离叠杯这一项，成功率从32.5%翻了一倍多，达到72.5%。

这个任务要求灵巧手只取走最上面的一个杯子：一只手扶住整摞杯子，另一只手捏着杯沿往外抽。

若指腹仍牢牢搭在杯沿、手上的阻力却一下子消失，那就是杯子已经脱开，得立刻卸力；反过来，若是指腹自己从杯沿滑开，就应当重新抓握。

这两种情况，手感截然不同。

换个说法，机器人没摸过的那只手，靠人手积累的经验也能读懂了。

团队还把LingBot-Touch与此前的触觉基础模型FTP-1放在一起比了比。

判断接触中心时，Sharpa Wave上FTP-1的误差为2.19毫米，LingBot-Touch只有0.12毫米；换到XHand上，误差也从5.89毫米压到0.16毫米。

需要说明的是，FTP-1在这两只手上分别配了专用适配器，LingBot-Touch用的却是同一个冻结的编码器。

△与FTP-1在两款灵巧手上的对比

还有一点，LingBot-Touch的Scaling Law已经初步露头。

Tiny版大约在4000小时处开始饱和，改用容量更大的Small版后，到5000小时效果仍在上升；真机任务的成功率也随预训练数据增加而稳步走高。

△预训练数据量与模型规模对效果的影响

触觉这块拼图，补上了

技术细节看完，把LingBot-Touch放回蚂蚁灵波的整体技术路线里，它的位置会更清楚。

此前灵波的通用大脑已经铺开三块能力：空间感知靠LingBot-Vision和LingBot-Depth 2.0，环境交互靠LingBot-Video和LingBot-World 2.0，灵巧操作则归LingBot-VLA 2.0和LingBot-VA 2.0。

这几块能力，大多在解决“碰到之前”的问题——东西在哪、手往哪伸、下一步干什么。

可手指一旦碰上物体，视觉能给的信息就变少了。指腹贴住瓶盖的那一块会被手挡住，钥匙插进锁孔之后更是啥也看不见。

LingBot-Touch补的正是这一段。一句话说，视觉管接触之前，触觉管接触之后。

双手开锁就是个典型场景。

一只手握住挂锁，另一只手捏着钥匙对准锁孔，这一步主要靠眼睛。但钥匙往里一推，锁可能被顶歪；推到一半卡住，还得退一点、换个角度再试。

等钥匙进了锁孔，摄像头基本帮不上忙，灵巧手只能根据钥匙传回指尖的阻力来判断。

读到这里，可能有人会问：灵波为什么要把触觉单独拎出来做一个基础模型？

原因是每只手的控制方式各不相同，可它们都得理解接触。

把“理解接触”单独拆出来，做成能复用的一层，一款硬件攒下的经验，就能变成下一款机器人的起点。

这个思路，和灵波此前做LingBot-VLA其实是一条线下来的。

VLA研究的是同一个大脑怎么驱动不同构型的机器人，也就是“一脑多机”；到了Touch，问题又往前推了一步：不同的手、不同的传感器攒下的接触经验，能不能放到一起学，再迁移到新机器人身上。

前面XHand那组结果，算是给了个初步答案。

LingBot-Touch 的几处设计取舍，同样是由这个目标反推而来。之所以用手套采集数据，是因为手套不绑定机器人本体，数据规模才能做大；入口依据传感原理来设，而不是照产品型号来分，是为日后出现的新传感器预留空间。

灵波反复提“具身原生”，说的是先看机器人在物理世界里如何感知、如何动手，再倒推模型该怎么设计、拿什么数据去训。眼下LingBot-Touch已与LingBot-VLA、LingBot-Depth打通，目标就是让通用大脑的手眼配合更顺，精细操作更稳。

落地这块，灵波正联手乐聚、钛虎等本体厂商，以及国大药房、隆盛等场景方，在零售分拣、物流分拣和工业场景中跑商业化测试。

大模型越强，具身原生越不能缺席

说完LingBot-Touch，视线不妨拉远一些。

今年9月GPT-6 Astra问世后，RoboDojo团队让它在零样本条件下跑了42项仿真操作任务，综合得分在43个参评条目中位列第一。

说实话，具身圈当时一度挺慌。

可同一份报告里还摆着另一组数字：GPT-6 Astra在精度维度成功率仅4%，表现最好的公开策略为20.42%；插管、搭塔这类需要精确接触的任务，它几乎全军覆没，真机测试也因安全问题被叫停。

报告把这归因于缺少物理常识，即对接触、力和碰撞的理解不足。

今天，Anthropic又推出Claude Fable 5.2，大模型操控机器人的进度条再往前挪了一步。

Anthropic官方博客公布的内部测试结果显示，Fable 5.2在RoboDojo仿真测试中平均成功率达到64.9%，是同一框架下GPT-6 Astra（29.8%）的两倍多，也压过大多数专为控制机器人打造的AI系统。

官方演示中，Fable 5.2操控的机器人能解魔方、拧瓶盖、画画。但RoboDojo考的是看摄像头画面去控制一台仿真双臂机器人。

从Fable 5.1到Fable 5.2，两个多月时间，同一套测试的成功率从27.6%升到64.9%。通用大模型在理解任务、推理规划乃至直接上手操作上的能力，正肉眼可见地变强。

不过在灵波看来，这不代表具身模型该退到一边，只负责“动手”。

仿真里拿高分，和在真实世界里把活稳稳干完，中间隔着物理世界的泛化性。换一只手、换一种材质、换一个没见过的场景，机器人还能不能干好？这道坎绕不过去，得靠从物理世界里原生长出来的大脑自己去啃。

蚂蚁灵波CEO朱兴也这么判断。

他表示，GPT-6 Astra、Claude Fable 5.2这些数字世界大语言模型的进展，确实让机器人在复杂任务推理和物理操作上更强，灵波也在积极吸收；但要真正跑通操作闭环，“物理操作泛化性这块硬骨头还是绕不开”，很大程度上仍得靠具身基础模型自身突破。

在他看来，通用大模型与具身基础模型更接近1+1>2的关系，各自突破、相互促进，一起加速具身智能产业走向成熟。

LingBot-Touch正是灵波啃这块硬骨头的一次尝试。

触觉是物理世界原生的模态。互联网上文字、图片、视频海量，却几乎没哪个网页记录过拇指捏瓶盖究竟用了几牛的力。这类经验只能在真实交互里一点点攒，而它恰恰是物理世界泛化性的根基之一。

灵巧手摸麻将，靠的就是这种经验。

二筒和三筒摸上去都是圆圈，要分清楚，得摸出一共有几个圆、各自排在哪儿，线索全藏在指腹下浅浅的刻纹里。

过去触觉一直零散，每家传感器一套数据、一套模型，换只手就得从头再来。LingBot-Touch则证明，触觉也能有统一的表征。

再往前推一步，LingBot-Touch这套办法——统一坐标、入口分开、主干共享、在特征空间里做预测，其实没有哪一环是触觉专属的。

蚂蚁灵波整条具身原生路线，走的也是这个路子。按他们的规划，物理操作的泛化上限会被继续往前推，目标是做出一颗跨构型的机器人行业通用大脑，让视觉、深度、触觉乃至温度等更多物理模态在同一个模型里对齐。机器人将来还会长出哪些感知方式，眼下没人说得准，但至少已经有一条路可以照着走。

在硬件和场景中间垫一层智能，把不同本体、不同传感器攒下的物理经验变成能共享的通用能力——这正是蚂蚁灵波想干的事。

这层能力，蚂蚁灵波是拆开来、以开源方式交出去的。商业化照推，向社区开源开放的动作也会一直做下去。

LingBot-Touch 能单独拿出来使，接到 π0.5、Diffusion Policy 这些别家的动作模型上照样管用。传感器厂商可以按自己的技术路线继续走，整机厂也不必为了某个模型去换传感器。

奥迪今年初给过一个数：全行业线束生产与装配的自动化比例还不到 10%。边接触、边调整的活儿，恰恰是灵巧手一直接不住的。

国内的情况是灵巧手和触觉传感器种类繁多，过去这算麻烦，数据彼此不通；可经验一旦能共享，这份多样性反而成了数据上的优势。

说到底，机器人手上有了信号，也未必就会用。

朱兴的说法是，“模态输入的质量很大程度上决定了动作输出的质量”。输入不行，输出也好不了。

通用大模型跑得越快，具身原生的大脑越不能落下。让机器人在物理世界里把活干稳、干好的那份本事，终究得靠具身原生的大脑，在真实世界里一点点练出来。

项目主页：

技术报告：

GitHub：

Hugging Face：

魔搭社区：