蚂蚁灵波开源LingBot-Touch：机器人触觉乱码如何破解？
蚂蚁灵波团队开源了LingBot-Touch，这是一个专门处理触觉信号的预训练基础模型。它能把磁触觉、视触觉等不同传感器的原始数据，统一翻译成机器人动作模型能听懂的“触觉Token”。这个模型只有几百万参数，却能即插即用，直接挂载到现有的机器人控制策略上。在拉拉链、拧瓶盖这些精细活上，它让机器人的成功率提升了20%以上
为什么机器人总是“手重”或“手轻”？
观察如今的服务机器人或工业机械臂，会发现一个有意思的现象：摄像头能看清几米外的螺丝孔，眼睛很尖；可手指一碰到物体，动作就变笨拙，捏碎鸡蛋或者抓不住光滑玻璃杯的情况都不少见。
原因其实不复杂：视觉管的是“接触前”，负责告诉机器人东西在哪；触觉管的是“接触后”，负责告诉机器人用了多大劲、有没有打滑。问题在于，触觉信号长期像一堆乱码，不同厂家的传感器输出格式五花八门，机器人根本看不懂。更麻烦的是换个机械手，之前攒的触觉数据就废了，得从头教起。
蚂蚁灵波团队最近开源了 LingBot-Touch，想解决的就是这个痛点。它并非完整的机器人操作系统，而是一个专门的“翻译器”：把各种乱七八糟的触觉信号翻成统一的标准语言，让现有的机器人控制模型也能瞬间拥有细腻的触感。
把异构信号变成统一的“触觉Token”
LingBot-Touch 的核心思路很直接：传感器不管是磁性的、光学的（视触觉）还是压阻式的，进来之后都得变成标准的“触觉Token”。
打个比方，不同国家的人说不同的语言，LingBot-Touch 干的就是同声传译的活。它接收原始信号，输出接触位置、受力大小和方向这些动作模型真正需要的特征。这样一来，上游的动作策略模型（比如 π0.5 或 Diffusion Policy）不用关心底层硬件怎么工作，只管接收标准化的 Token 就行。
团队为此搭了一套“地址化”的输入方式。各类传感器的触点数量、排布差别很大，模型第一步是把所有触点映射进统一的标准化指尖坐标空间。每个 Token 都附带一个“地址”，由时间、手指编号和三维位置三部分构成，再经由旋转位置编码（RoPE）注入模型。这样一来，模型不必再依赖固定的触点布局：传感器形状改变也无妨，只要坐标能够对应，它就能读懂。
只有500万参数，却懂物理规律
基础模型在大家印象里往往动辄几十亿参数，LingBot-Touch 走的却是轻量化路线。它最小的版本 HaT-Tiny 只有约 546 万参数。体量这么小，效果怎么保证？
关键在训练方法。团队选了 JEPA（联合嵌入预测架构）路线。触觉信号有个特点：大部分时候读数都是0，也就是没碰到东西。如果直接让模型预测原始数值，它很容易偷懒，学会预测“背景噪音”，而不是真正的接触信息。
训练时会随机遮蔽 90% 的触点，而且整段持续遮蔽。模型只能靠剩下的 10% 可见信号，在特征空间里预测被遮蔽部分的潜在表征。这种“填空题”式的训练，逼着模型去理解接触的几何结构和物理规律，而不是死记硬背数据。
另外，训练过程中还会随机改变触点采样密度，并对每个触点的位置做小幅度扰动，防止模型记住特定传感器的布局。这相当于人为制造出第四种、第五种布局，逼着模型学习可迁移的通用触觉表征，而不是针对某一款硬件过拟合。
零样本迁移：换个手不用重新练
LingBot-Touch 最让人印象深刻的，是跨硬件迁移能力。
传统做法是每换一款灵巧手，就得重新采集数据、重新训练适配器。LingBot-Touch 用的是共享触觉 Transformer 主干，配合分入口的混合架构。三类传感原理各有轻量化的专用 Tokenizer，负责消化硬件差异，之后所有 Token 汇入同一个主干网络。
实测数据显示，面对预训练数据中从未出现过的传感器（如 XHand 灵巧手），不改任何参数，任务成功率也能从 48% 提升到 74.17%。这就是所谓的“零样本迁移”。对开发者来说，在 A 款机械手上积累的经验可以直接复用到 B 款机械手上，研发成本能降不少。
即插即用，几乎不增加计算负担
已经在用主流动作模型（如 π0.5、Diffusion Policy、T-Rex）的团队，接入 LingBot-Touch 的成本极低。
它是个冻结的特征编码器，可以直接挂到现有模型上。参数量极小，整体模型只增加约 0.13%–0.16%。推理阶段它支持高频实时运行，灵巧操作要的毫秒级响应完全能满足。
26 项真机任务测试中，接入 LingBot-Touch 后平均成功率最高提升超过 20 个百分点。拉拉链、拧瓶盖、插吸管这类“接触密集型”任务上，提升尤其明显。这些任务视觉容易受阻，又需要精细的力控反馈，正好是触觉发挥作用的舞台。
精度对比：比前任强出一个数量级
要看效果，可以拿它和业界此前知名的触觉基础模型 FTP-1 比一比。
接触中心判断误差这一指标上，LingBot-Touch 在 Sharpa Wave 传感器上的误差仅 0.12 毫米，XHand 上为 0.16 毫米；FTP-1 对应的误差分别是 2.19 毫米和 5.89 毫米。更关键的是，FTP-1 每款灵巧手都得单独配专用适配器，LingBot-Touch 一个冻结编码器就能通吃。
精度提上来，操作稳定性也跟着增强。药房分拣就是典型例子：机器人要抓的药瓶形状各异、还易碎，靠指尖触觉，它能随时判断该用多大劲，一旦感觉要打滑，马上微调手指位置，破损率因此降下来。
数据门槛大幅降低
触觉数据难搞，硬件不统一是一头，标注贵是另一头。过去每个触点的力值大小都得精确标出来，标定设备价格不菲。LingBot-Touch 的预训练数据约 4983 小时、13.3 亿帧，来自多种来源、结构各不相同，其中三分之二由手套采集，标注时只标任务类别，具体力值不用管。这种弱监督的路子把数据获取和处理的门槛压下去不少，中小团队同样能用上高质量的触觉预训练模型。
实际应用场景有哪些？
眼下，LingBot-Touch 在下面几个场景里潜力最大：
- 物流与零售分拣：软包装、易碎品都归它管，比如袋装薯片、玻璃瓶装饮料。包裹里面晃没晃、变没变形，视觉很难看出来，触觉可以。机器人感知到形变，就能调整抓取姿态，稳稳抓放。
- 工业精密装配：插拔连接器、旋拧螺丝、对位安装这类活，摄像头视野经常被挡住，触觉成了唯一的反馈来源。模型持续感知阻力变化，避免用力过猛把零件弄坏。
- 生活服务操作：餐饮里的插吸管、挤牙膏、封袋都算。动作要想做成，得感知薄膜刺破那一瞬间的力突变，属于典型的精细操作，也是机器人目前最难攻克的环节之一。
结语
LingBot-Touch 开源，意味着触觉感知从“定制化解法”往“基础模型化”挪了一步。它没打算取代现有的视觉模型或动作模型，而是把最后一块拼图补上了。
对机器人开发者来说，现在调用高质量触觉特征，可以像调用视觉特征一样轻松。离真正的“像人一样灵活”还有距离，但机器人至少开始学会“轻拿轻放”了。
感兴趣的研究者和开发者，可以去 GitHub、Hugging Face 或魔搭社区下载代码和模型权重，技术报告也已同步公开。随着更多异构传感器数据加进来，这个“触觉翻译器”能覆盖的范围还在往外扩。
