蚂蚁灵波开源 LingBot-Touch：机器人有了触觉大模型
今天，蚂蚁灵波开源了 LingBot-Touch：给机器人用的触觉模型把这款模型用于灵巧手之后，机器人的各种精细操作准确性都有了大幅提升。比如拉拉链的成功率，从只靠读数的 15% 提升到了 59%这的确是一个非常精巧的模型，能够把视触觉、磁触觉或压阻式触觉，都转化成机器人可以使用的 Token，更好地去实现各种工作代码
蚂蚁灵波今天把 LingBot-Touch 开源了，这是一款给机器人用的触觉模型。装到灵巧手上之后，机器人做各类精细活的准确率明显上了一个台阶：拉拉链这一项，只靠读数的成功率是 15%，用上它之后升到了 59%。
这个模型做的事情，是把视触觉、磁触觉、压阻式触觉统统转成机器人能用的 Token，让机器人把活干得更顺。代码和权重已经放到 GitHub 和 Hugging Face 上开源了。
顺带说一句，这一屏是能摸的：本文也可以与你的指尖相触。
机器人为什么需要触觉
机器人的视觉方案已经不少，靠视觉感知去操纵灵巧手，完成各种操作。可问题在于，很多物品是易碎的，或者干脆被视线挡住。人靠手指的触感就能判断该用多大力、姿态怎么调，机器人为什么不能有这份本事？
拿拧瓶盖来说，手指贴着瓶口转。光看画面，你没法判断，或者说很难判断瓶盖到底转没转——它也可能是在打滑。加上触觉就不一样了，人很清楚地知道瓶口有没有被真正拧动。
再比如翻书，人闭着眼也清楚这一页翻没翻动：指尖先感到纸页拱起来，托住它，再感觉它有没有打滑。机器人也该具备这样的能力。
触觉传感器的三种做法
灵巧手上的触摸反馈，可以靠加传感器来实现，比如在指尖埋点，哪里有压力，哪里就能感知到。
下面放了一个简单的、能摸的 SVG，大家可以上手感受一下。
这里要补充一点：指尖的传感和手臂、手掌的传感不是一回事。
手掌要感知的是大面积的受力，指尖要分辨的却是非常微小的形变，一种传感器往往顾不过来。于是有了下面三种做法：
视触觉：指尖里装一颗小相机，拍软胶表面受压后的形变，接触的细节看得清楚。
磁触觉：软磁材料受力变形，芯片测量磁场变化，能感知多个方向的力和滑动。
压阻式：材料受压后电阻改变，成本低，容易铺满手掌这样的大面积。
各家灵巧手按自己的需要来挑：Sharpa Wave 的指尖用的是视触觉，星动纪元的 XHand 用磁触觉，强脑科技的 Revo 2 有压阻式的版本。
原始读数为什么难用
传感器做好了，把数据直接喂给动作模型，成功率未必好看。
比如给 Sharpa Wave 灵巧手配上 π0.5 去拉拉链，喂了指尖的原始读数之后，成功率从39% 掉到 15%
还有一项任务专门考摸，叫分拣麻将牌：机器人捏起一张牌，靠指尖认出牌面，再放进对应的盘子；认牌的时候牌面要是被镜头拍到，这一次就算作废。LingBot-VLA 直接读原始读数，成功率只有5%
所以就有了新路子：把读数统一成触觉 Token。
具体做法是，LingBot-Touch 把这三类读数分别编码，再送进同一个模型，统一输出成触觉 Token。手指碰到哪儿、力有多大、朝哪个方向、怎么变化，都靠这些 Token 记下来。
沿着这条路，蚂蚁灵波团队还把各家传感器收拢到一起，记下它们的测点数量、排布方式等信息，随后把不同传感器的数据统一对齐到一套坐标里，机器人用起来才顺手。
触觉数据从何而来
触觉数据和训练大模型的语料不是一回事。它没法靠爬虫从网上抓，只能戴上专用触觉手套，在真实世界里一小时一小时地攒。其中三分之二由人戴着手套在日常工作中采集，剩下三分之一是人遥控机器人的灵巧手采的。
这个模型训练一共用了4,983小时的触觉数据。
训练方法上，他们用的是一套叫 Tactile-JEPA 的做法：训练时把记录里的一部分测点遮起来，让模型看着剩下的测点，去推断被遮住的位置发生了什么接触。
真机上成功率涨了多少
团队拿两款灵巧手跑了 26 项真机任务，涉及四种动作模型：LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex。
每个模型都跑三组对照——只靠视觉、读原始读数、用触觉 Token，成功率如下。
单看拧瓶盖这一项，成功率一路上升到 90%。分拣麻将牌的任务里，LingBot-VLA 读原始读数时是5% 到了 56.25%
这两项之外，26 项任务还涉及精细操作、易变形物体、双手配合等几类活，都得靠手指接触才能完成。
像弹出 SD 卡，得先按一下让卡弹出来，再把它捏走。T-Rex 只靠视觉时的成功率是32% 涨到了 92%）
再比如往封了膜的杯子里插吸管，要先扎破封膜，再插到合适深度。LingBot-VLA 只靠视觉时是35% 涨到了 59%）
26 项任务之外，演示里还有用钥匙开锁、挤牙膏、封密封袋，这三个都要两只手配合着做。
换一只灵巧手还能用吗
各家灵巧手的传感器并不一样，那换一只手、换一种传感器，训练好的触觉模型还能不能直接拿来用？
26 项任务中有 20 项在 Sharpa Wave 上完成，另外 6 项换成了星动纪元的 XHand。这是训练数据之外的型号，跑起来同样丝滑，触摸模型的各种参数都能原样沿用。
结果，π0.5 在 XHand 六项任务上的平均成功率，从读原始读数时的48% 涨到了 74.17%平均成功率因此发生变化，而 LingBot-VLA 这边，起点则是57.21% 涨到了 75.04%
换个说法：传感器怎么选由厂商自己定，触觉这一层直接调用现成模型即可。
只有 0.00532 B 参数
尺寸最小可以做到 532 万参数，即 0.00532 B，前面那 26 项真机测试用的全是这个 532 万参数的版本。
做这么小，图的是跑得够快，让机器人的反应接近下意识那种速度。杯子刚一打滑就立刻攥紧，不至于掉出去，靠的就是这个。
算力要是宽裕，又更在意细微受力的判断，那还可以选容量更大的 Small 版。
最后
灵波对机器人大脑的划分是看、摸、想、干四块。LingBot-Touch 填的正是“摸”这一块，目前已经和管动作的 LingBot-VLA、管空间感知的 LingBot-Depth 合到一起投入使用。
下一步，团队计划把视觉、深度、触觉和温度装进同一个模型，触觉的覆盖范围也会从指尖推到整只手。有进展会第一时间更新。
