触觉产业链：20多场调研后，为何上游指标到算法端不灵了？
以下文章来源于天南具身公园，作者天南
下半年我盯得最多的赛道，就是触觉。
其实8月份我们就已经把触觉产业链聊了20多场，从传感器、灵巧手到触觉数据供应商、触觉算法都过了一遍，内部结论也收得差不多了。那份专题报告写了挺久，公开还得再等一等，快了。
把整条产业链摸下来，会发现不少挺有意思的事：
上游反复强调的力的大小、分辨率、千赫兹这类指标，放到算法里根本没那么要紧。
说到底，问题出在触觉产业链拉得太长，各家的立场自然就不一样。
供给侧这边，传感器、手套、灵巧手拿的是一套从工业传感器搬过来的指标体系在比；需求侧那边，模型和算法看重的却是测量稳不稳、时间分辨率够不够、数据质量好不好。
当时我们就有一个判断：
这才真叫符合第一性原理的做法。而且最好是拿起来就能用，换了新传感器也不用重新训练。
说实话，这几个月触觉方面的工作我们看了不少，但依然觉得是小打小闹。李飞飞教授的T-Rex也一样，不过是在EgoScale的2万小时基础上加了400小时的触觉数据。
直到昨天，我们看到有团队肯下大功夫去做这件事。
跨传感器、即插即用的触觉基模，LingBot-Touch。
压阻、霍尔磁、视触觉三大类触觉传感器一次全覆盖，这让我有点兴奋。
于是我赶紧找LingBot的朋友帮忙牵线，跟负责人聊了聊看法。
交流里聊到不少Knowhow。如果你正在做触觉相关的事，也想搞清楚触觉的终局，那很推荐仔细看看我们今天的文章。
另外，最后也想让大家明白，从算法的视角看，我们到底在意触觉的哪些事情。想明白了，你就有了终局思维。
Enjoy~
1
光是处理数据，就得花一年去踩坑。
我就说一点：触觉数据这东西，真是让人又爱又恨。
负责人说，围绕这约五千小时的数据，他们内部做了接近一年。
我问个问题：大家觉得触觉算法的壁垒在哪？
反正应该不在模型结构。LingBot-Touch的网络结构图丢给Codex，花点功夫就能做出来……
那时间都花在数据的哪里了？
从采集这一步开始，问题就一串接一串。我把当时提到的几点总结一下。
1）触觉采集到的信息非常杂乱。
说到触觉手套最坑的环节，绕不开一致性太差。同一个物体，第一天采和过几天再采，触觉绝对值对不上；男生戴和女生戴，拿到的触觉信息不同；A 手套和 B 手套之间，采出来的东西照样不一样。
麻烦的地方在于，这种变化并非固定偏移，响应随接触增长的过程本身都可能变。触觉的信噪比其实也不高。
换成直白说法，有效信息和噪声很难分开。为此做了一张示意图。
如果只是所有数值稳定地偏大一点，还能设法标定。可同样的操作，今天得到一种变化，过几天又是另一种变化。
模型要面对的差异里，混进了传感器自身的状态变化。换句话说，你以为在增加数据，实际可能也在不断叠加新的分布差异。
换个人戴手套采数据，信号同样不同。人手大一些的话，戴上手套就可能带进预压力噪声。
这层预压力若始终固定，处理起来还不算难。偏偏人在操作时手指不断弯曲，手套被拉伸、挤压，触觉信息跟着动作一起变。最难办的是，这部分噪声还有规律。
负责人跟我说，这类有规律的信号很容易被模型捕捉到。比如某根手指每次弯下去，某些触点就出现相似变化，模型很容易把两者联系起来。
但到了本体的灵巧手上，既没有同样的佩戴关系，也没有同样的织物拉伸过程。训练时很好学的东西，部署时可能派不上用场。
聊到这里，我才更具体地明白，他们为什么要在数据上花这么长时间。
所谓去噪，牵扯很多数据处理上的脏活累活，得想办法把真实接触保留下来。不同采集员完成同一个动作，施力习惯也有差别。团队因此在采集约束、数据处理和质检上都下了很大功夫。
具体方案没有完整公开。能确认的是，他们没有把拿到的原始触觉信号直接堆进训练。
2）还有些变化，在传感器这一端就已经丢了。另一类问题是饱和。
比如手指还在继续用力，传感器已经到了量程上限，输出不再变化。对模型来说，后面的接触过程就被压成一个平的数值。
负责人提到，他们试过用数据处理来缓解饱和带来的信息损失，帮助有限，最终还是得靠硬件改进。
算法能处理已经测到的信息，传感器没留下的变化，就不太好办了。
说到力的绝对力值，负责人讲起了团队心态上的转变。起初他们以为，力的标定精度才是关键。
可跟不同厂商反复争过几轮之后，硬件上的种种限制，他们也慢慢认了。学习的重心随之挪到了力的变化、滑移这类接触过程中的动态信息上。
交流时有人拿杯子打比方：自己未必清楚使了多大劲，但有件事能感觉到——“我是知道力是在变大还是在变小的，也能感知到杯子是否在手中发生滑移，触觉动态变化和接触事件是模型需要去学习的重点。”
模型能读懂这些，正是他们所盼的。
3）路线不同，连数据怎么采都得重新想。
灵波一开始更想多用戴手套采来的数据。问题是一些方案的手套戴上手后，体积和操作便利性都成问题。传感器一厚，采集员自己的触感也被挡住，精细动作更难做。
这点我们前面也提过：要记下触觉，先得把人的触觉屏蔽掉，设备终究改变了人原本的触感和操作方式。眼下没有更优解，各家都还在摸索。
其实各家传感器的表达方式差得也很远。压阻是稀疏的点阵，视触觉是材料的形变；每家的触点个数、怎么排列，甚至每个数值代表什么，全都不一样。
因此论文里压阻和磁式的数据出自人类手套，视触觉则来自 Sharpa Wave 灵巧手的真机遥操（MANUS 手套）。大约三分之二来自手套，三分之一来自真机——这个配比背后是采集上的实际取舍。
在沈宇军看来，这些能力最后都得落到数据上。这位蚂蚁灵波首席科学家近来也提到：“在一味的扩大数据规模之前，要先弄清楚什么样的数据值得继续积累。”几重因素交织之下，触觉数据的 Scaling 变得不那么容易。
LingBot-Touch 想做的，就是在硬件诸多不成熟、不确定的前提下，试出一个当下能供大家参考的结论。所以我也想强调一句，五千小时数据真的不算少。
回到本章开头那个问题：触觉算法的壁垒在哪？在数据，也在你为了把数据用好，深入每一类传感器、每一只手套和每一次数采过程所解决的种种问题。
这些东西藏在模型架构背后，是沉淀下来的方法论，也是最底层的壁垒。
1
再说模型层面的一些思考。
关于 LingBot-Touch 算法细节，这几天已有不少文章讲得很透，这里不再重复。
我一开始想搞清楚的问题其实是：灵巧手为什么非得配一个专门的触觉基础模型？
负责人拿一只薄壁杯来打比方。夹松了，杯子往下滑；夹紧了，杯壁可能被压变形。机器人要完成这个动作，还是得掌握接触的细节。
麻烦的地方在于，各款灵巧手在传感原理、指尖布局、采样频率上差得很远。相似的接触，落到不同设备上，信号可能完全不同。每换一款手、每换一个任务就重训一遍 policy，成本太高，触觉经验也攒不下来、复用不了。
负责人把他们的出发点也归纳了一下：让同一个模型从多种触觉传感器的数据里学到可复用的接触表征。
算法架构不复杂——每种传感原理配各自的编码器，分开处理。
插一句题外话。这还带来个好处：能证明触觉与视觉可以解耦。我们此前调研时发现，很多工作恰恰卡在很难证明这一点上。
下游怎么接，是把基模输出的 token 送进 VLM、policy，还是别的 head，各团队自己试。
他们自己接了 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex 做验证，设了三组对照：无触觉、加入原始触觉、加入预训练触觉表征。
整体实验结果可以看下面的图。
官网放了个摸麻将分类的 Demo，看着挺有意思。
另外还有一个 SD 卡插拔的演示，动作不是用两根手指把卡捏起来，而是一个手指去勾，很像人。
1
下面从算法角度谈几点个人看法。
聊到末尾，我问了负责人一个挺实际的问题：站在算法这边，最希望触觉传感器先解决哪三件事？
他按优先级排了排：先是一致性，然后是寿命，再往下是全掌覆盖以及感知点如何分布。
第一件，是把同一个传感器自身的变化控制住。这目前是算法体感上最头疼的问题。
从算法视角看，特别希望硬件能给出长期可信的输入。硬件用上几天响应就变了，后面很多结论都会跟着受影响。
可要是把触觉传感器做成耗材，我又觉得这会压住传感器本身的市场空间。
这块还得大家一块儿使劲。
一致性，说来说去，还是绕不开 XXX 的一致性。
寿命同样是块难啃的骨头。就我自己的手感来说，手套用上两周，漂移就出来了。
负责人给出的体会差不多：他们上手过的一些手套，耐用程度和团队心里的预期差得远。
这些毛病最后都会压到采集这一端。中间会冒出一堆运营上的麻烦事，新设备要校验、要标定，全都得重新确认一遍。
那换个思路，假设触觉传感器天生就是易损件，我更希望的是：换上新的之后，系统能比较快地回到可用状态。哪些部件动了就得重新标定、哪些数据还能接着用，最好都写清楚。
这一条是我从算法和数采的角度补上的期待。
3）全掌触觉得接着往下做，感知点也要摆在合适的地方。眼下多数触觉覆盖的还是指尖。
可人干活的时候，物体照样会碰到指侧和掌面。光盯指尖，信息终归有缺口。
负责人也讲，全掌触觉的探索价值很大，只是目前能拿来做验证的，大多是 3 * 3 or 5 * 5，跟人手的触觉比起来还差不少。
算法那边要的其实是合理的信息分布。哪儿需要更细的空间信息、哪儿主要靠及时察觉接触和滑动，得跟着任务来判断。
顺着这个思路也能推一推灵巧手以后的触觉形态：很可能装上不同类型的传感器。指尖要的是较细的接触信息，掌面则要兼顾厚度、面积和集成空间，一条路线未必在每个部位都合身。
负责人的设想是，部分指尖用视触觉，其余区域上压阻或者别的方案。产品真往这个方向走，同一只手上就会直接冒出跨传感器的需求。
我也把蚂蚁灵波首席科学家沈宇军的一句话分享给大家：现实里没有 100% 零误差的传感器，触觉这种还没成熟的方向尤其如此。机器人必须从带着误差的数据里去理解环境。
模型得把对误差的适应能力提上去，硬件也得让输入更稳、让差异更容易被描述。这两件事要一起往前推。
1
尾声。
OK，最后说说我自己真实的感受。
说到底，触觉这门技术现在还处在相当早期的阶段。
不过这条赛道承载着对机器人能力的想象空间，我认为很值得大家投入去做。
灵波的 Touch 工作，有两点让我印象最深。
一是它做了大量数据处理工作，二是它跳出当下现状，去做纯触觉的基模。
这两样东西都藏在模型背后，是外界看不到的部分。
也期待他们后续能 Cover 电容类的触觉传感器，做出更多被大家认可的工作。
以上。
