蚂蚁灵波发布LingBot-Touch:触觉预训练模型打通多传感器数据
作者 | 毛心如 机器人翻书时,手指沿着纸页边缘轻轻移动;它需要判断自己带起的是一页,还是两页。 拧瓶盖时,手腕转过相同的角度,瓶盖可能已经开始旋转,也可能只是指尖在盖沿打滑。 ....
机器人翻动书页时,手指会贴着纸边慢慢挪,它得分辨带起来的是一张纸还是两张。
拧瓶盖也一样:手腕转过的角度相同,瓶盖或许已经跟着转,或许只是指尖在盖沿打滑。
画面里看着差不多的动作,落到手指和物体的接触上,对应的状态可能完全两样。
精细操作最难啃的地方,恰恰藏在这些细微差别里。
视觉能帮机器人找到物体、判断位置和远近,可手指一旦碰上物体,接触点落在哪儿、受力有多重、有没有打滑,常常被遮挡,光看画面很难说清。
想把动作做稳,机器人除了看得见,还得知道自己摸到了什么。
灵巧手接下的精细活越来越多,机器人要解决的已不只是怎么抓住物体,还包括碰到之后怎么感知、怎么判断、怎么及时调整。
触觉就这样成了机器人感知体系里越来越要紧的一环。
问题也跟着冒出来:触觉传感器的技术路线还没收敛,各设备采的数据很难直接互通,在一款硬件上学到的触觉经验,也很难顺顺当当搬到另一款灵巧手上。
蚂蚁灵波最近发布的触觉预训练基础模型 LingBot-Touch,盯上的就是这道鸿沟。
它想把不同触觉传感器产生的信号转成统一、可复用的表征,让不同灵巧手和动作模型共享对接触信息的理解,同时给灵波的机器人通用大脑补上触觉感知这一环。
看得更清楚、想得更明白、干得更利索之外,机器人还得摸得更灵敏。
硬件在分叉,能力要收敛
眼下的触觉传感器,没有一条现成的标准答案。各类方案在感知精度、覆盖面积、响应速度、安装空间和成本之间各有取舍,厂商通常要照着灵巧手的结构和目标任务来挑。
目前比较典型的方案主要有三类:视触觉、磁触觉和压阻式:
三条路线各有各的长处:指尖要分辨细微形变,掌面要覆盖更大的接触区域,不同任务对压力、滑动和受力方向的要求也不一样。
硬件多样化是工程上的现实选择,麻烦的是它带来的数据差异。
拿抓握杯子来说,视触觉记的是形变图像,磁触觉读的是磁场变化,压阻式输出的则是电阻变化。各设备的触点排布、采样频率、数据维度和标定方式也都不一样。
对动作模型来说,这些信号很难直接摆到一起理解。换一次传感器,往往就得重新处理接口、标定和信号解算,上游模型所需的数据量因此减少,下游策略重新适配特定数据的工作量反倒增加。
时间一长,不同厂商和团队就容易形成各自割裂的数据与算法链条。
为了解开这个结,研究界开始试着建立更通用的触觉表征,研究重点也从单一传感器的特征提取,慢慢转向跨传感器学习。
Meta 等团队推出的 Sparsh,用超过 46 万张触觉图像做自监督预训练,主要面向视触觉传感器;T3 则把 13 种相机式触觉传感器、11 类任务的数据整合进 FoTa 数据集,靠共享 Transformer 学习跨传感器、跨任务表征。
这两项探索的范围,大体仍集中在视触觉领域。
图像、阵列和状态这几类触觉输入也被 FTP-1 纳入进来,信号先经不同编码器映射到同一个潜在空间,随后由共享触觉专家接手处理。预训练数据规模约 3000 小时,涉及 21 种传感器、26 个数据来源。
但碰到没见过的新传感器,还是得单独训练一套专属编码器,换硬件并不等于拿起来就能用。
TACTX 走得更远一些,尝试把视触觉、磁触觉和压阻式三类信号对齐,用成对接触数据学习共享表征,并检验跨传感器迁移是否可行。
这些研究的模型定位和实验设置其实各不相同:有的侧重解决视触觉传感器之间的泛化,有的把多种触觉信号纳入通用动作策略,还有的专门探索跨感知机理的表征对齐,因此不能简单按实验结果排出高低。
LingBot-Touch 的切入方式不一样:它把触觉理解能力单独训练成一个表征模块,供不同动作模型调用,从而减少对特定传感器和单一动作策略的绑定。
道理不复杂:机器人可以用不同的手,任务可以采用不同的动作策略,但碰到了什么、接触位置在哪里、受力如何变化、物体是否正在滑动,这些信息它们都得理解。
与其等硬件路线收敛,不如先在模型层建立一套共同语言。
触觉理解一旦能逐步摆脱对特定传感器的依赖,一款设备积累的经验,才有机会成为另一款设备继续学习的起点。
蚂蚁灵波之所以把触觉能力做成独立基础模型,出发点也在这里。
通用触觉底座的真考验:能迁移,也得真管用
要撑起这样的公共层,首先得有足够规模、足够多样的真实数据。
LingBot-Touch 用了 4983 小时的真实触觉记录,包含 464431 段交互、约 13.3 亿帧,覆盖抓握、旋转、滑动、擦拭、装配、双手配合以及操作易碎易变形物体等 24 类任务。
数据来自两条路径:
一条是人戴着压阻式和磁触觉手套做日常操作,大部分时长由这条路径贡献;
另一条是人遥操作搭载 Sharpa Wave 的双臂机器人,用来补充视触觉数据。
前者不依赖机器人本体,能覆盖更丰富的日常交互;后者提供的交互经验则更接近实际部署的硬件。
两类数据在任务类别上做了匹配,同时保留传感原理、布局和采样率上的差异。
数据越异构,就越需要一个能接住差异的公共层,而不是让每家厂商各攒一套互不相通的经验。
模型设计上,LingBot-Touch 主要做了三件事。
第一,为每个有效测点打上时间、手指身份和三维位置的标签,再把各类传感器的触点统一映射到指尖坐标空间里,使来源不同的信号能在一个共同的空间参照下对齐。
第二,不同原理的信号先经过各自的浅层编码器,再进入共享的 Haptic Transformer(触觉 Transformer),从统一的时空表征中提取接触特征。
训练方式也针对触觉信号的特点做了调整。触觉数据里有大量没有发生接触的时刻,原始读数往往接近零。如果只要求模型还原输入,它很可能靠预测大量无接触数据拿到较低的训练误差,却没有真正学会判断接触。
为此,LingBot-Touch 选用 Tactile-JEPA,不逐点重建原始信号,而是在潜在特征空间里推断被遮挡区域的接触情况。触点密度和位置也会被模型加入扰动,从而减少对固定传感器布局的依赖。
它真正想学到的,是接触发生在哪里、受力如何变化,以及这些变化随时间呈现出怎样的规律。
不过,模型设计有没有效,最终还要看换了传感器和灵巧手之后,这套能力能否继续发挥作用。
测试用的两只手分别是 Sharpa Wave 和 XHand。
Sharpa Wave 搭载的是预训练阶段接触过的视触觉传感器;XHand 身上的磁触觉传感器型号没在训练数据里出现过,分辨率、采样频率、触点布局也都对不上。
团队没去动已经训好的 LingBot-Touch 参数,直接拿它给 XHand 提触觉表征,然后只用这只手的任务示范去训下游动作策略。
结果说明,同一套表征能跨过传感器型号和灵巧手结构的差异。
边界得说清楚:复用的是理解接触的那部分能力,至于怎么控制一只新手,还是得靠任务示范去学。
换个说法,手换了,控制要重学,但“触觉怎么理解”这一课不用从头再上。
跨硬件迁移检验的是表征的通用性。另一项实验要看的则是:不同动作模型能不能把这套表征真正用起来。
两款手上加起来跑了 26 项真机任务,Sharpa Wave 占 20 项、XHand 占 6 项,翻页、拧瓶盖、拉拉链、插吸管、搬运易变形的杯子都在里面。参与的动作模型有 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex。
每一组都摆三种输入做对照:不给触觉、把原始触觉信号直接喂进去、用 LingBot-Touch 提取的特征。
两款手上的四种模型,平均成功率都在用 Touch 特征时排到第一。
平均分只是敲门砖,更该盯的是同一套特征能不能被不同策略稳稳调起来。
Sharpa Wave 配 π0.5 的拉拉链实验最说明问题:没有触觉时成功率 39%,直接把原始触觉信号输进去反而掉到 15%,换成 LingBot-Touch 特征后升到 59%。
拧瓶盖等任务也有类似的对照,结论是有信号不等于会用。原始读数里混着传感器自身的噪声、跟任务无关的维度,还有设备之间的分布差异,不处理就塞给动作模型,有时候反倒添乱。
从原始信号到决策真正需要的物理信息,中间缺一层适合模型理解的表征。触觉硬件管的是测得到,表征模型管的是用得上。
当然,提升幅度并非每个任务都一样大。有些任务上 Touch 带来的增益比较有限,跟直接输入原始信号的差距也不明显。
这意味着结论还需要更多真机验证,也需要更宽的任务分布来观察。
但跨手、跨策略的整体表现已经放出积极信号:把接触理解抽成一个独立模块,再接到现有动作模型上,这条路值得接着探。
部分任务上的差异同样在提醒,公共表征不是万能钥匙,效果还得看具体任务和传感器分布。
真机之外,团队还在 12 项仿真接触丰富任务里做了强化学习验证。
LingBot-Touch 平均成功率 68.95%,CNN 触觉特征为 45.59%,无触觉输入只有 21.42%;转盘子、转笔、平衡球这类接触持续变化、需要协调控制的任务,差距拉得最开。
仿真结果起补充作用,说明这套表征在不同接触动态下也能给出有效信息。
另外,从实验室走到真机,计算开销绕不开。
触觉的价值有一部分在于及时反馈:杯子刚沿指腹滑动时,机器人还有机会收紧手指;等物体已经脱手,再准地判断滑动状态也没用了。
与此同时,真机上视觉、空间感知和动作模型都要跑,能分给触觉模块的算力并不多。
为此,LingBot-Touch 分成 Tiny 和 Small 两个版本。Tiny 大约 532 万参数,论文里 26 项真机测试用的全是它。接到 LingBot-VLA、π0.5 和 T-Rex 上之后,模型参数量各自只多了约 0.13%、0.15% 和 0.16%。说到底,触觉表征光在实验里证明有效还不够,得足够轻,才进得了算力吃紧的机器人系统。
触觉基础模型怎么走到更多机器人上去?
一套触觉表征如果能跨不同传感器、灵巧手和动作模型复用,变的不只是模型怎么接,硬件、数据和算法之间的活儿也得分重新划。以前硬件厂商得围着自己的传感器做标定、降噪和信号解算,机器人团队还得按具体手型和操作任务去训策略。
环节与环节之间堆着大量适配工作,某套硬件攒下的数据和经验,别的团队未必拿得走。通用触觉表征则给出了另一种分工的可能:传感器厂商接着把精度、稳定性、耐用性和成本做上去,灵巧手厂商按应用挑感知方案,算法团队直接在现成的触觉表征上开发动作策略。
它替代不了传感器标定、器件补偿和本体控制,也不等于不同硬件一接上模型就能把所有任务干完。不过,共性的接触理解能力一旦能独立复用,团队就有机会少做重复的底层表征工作,把精力挪到硬件适配和具体任务上。
这还会让灵巧手在传感器配置上更放得开。指尖要识别微小接触形变,可以上视触觉;指腹和掌面要覆盖更大面积,压阻式阵列可以考虑;其他位置也能加磁触觉或柔性电子皮肤。未来一只灵巧手上同时装多种传感器,各管各更擅长的感知任务,再交给统一表征层整合,或许会成为一种新的设计思路。
对模型厂商和整机团队来说,独立的触觉表征同样多了一条接入路径。实验里,LingBot-Touch 不只接了灵波自家的 LingBot-VLA,也接了 π0.5、Diffusion Policy 和 T-Rex。也就是说,触觉能力有希望作为相对独立的模块,被不同技术路线的动作模型调用。
对蚂蚁灵波自己来说,LingBot-Touch 是具身原生通用大脑里又补上的一块。这套体系此前已经有负责空间感知的 Vision 和 Depth 2.0、理解环境变化的 Video 和 World 2.0、生成动作的 VLA 2.0 和 VA 2.0。
从构建思路看,这套体系是把机器人完成物理任务所需的能力一项项拆开、分别验证,再慢慢连成从感知、预测到执行的闭环。触觉补的,正是接触之后的感知与反馈。
眼下,蚂蚁灵波也在和乐聚、钛虎等本体伙伴,以及国大药房、隆盛等场景伙伴一起,围绕零售分拣、物流和工业场景做测试,推着这些能力从实验验证走向真实应用。
这也是具身原生模型和通用大模型在技术侧重上的一个差别:前者得直接处理物理交互中产生的力、形变和接触动态,再把这些信息变成机器人能用的决策依据。
当然,触觉技术不会因为一款模型发布就走向统一。不同传感器还会在分辨率、覆盖面积、响应速度和成本上继续演进,灵巧手也会按任务挑不同的硬件组合。
但有个问题必须解决:让这些设备攒下的接触经验不再彼此隔绝。LingBot-Touch 给了一个值得验证的方向——硬件保持多样,模型去学共同的接触表征,再交给不同的动作策略。
现在拿出的结果,还得靠更多本体、更多种类的传感器以及更多真实场景去检验。
不过它至少把一个关键问题推到了前台:具身智能的通用性,能不能从动作模型的复用,再往前走到物理交互经验的复用?
从物理世界的真实需要出发,把共性的能力沉淀成公共层,让不同团队在这个基础上继续摸索各自的硬件与任务——触觉基础模型更长远的价值,或许就落在这里。