蚂蚁灵波开源LingBot-Touch:近5000小时数据能跨硬件复用手感吗?
蚂蚁灵波11月10日开源触觉基础模型LingBot-Touch,尝试用统一触觉表征解决机器人“手感”难以跨硬件复用的问题。该模型基于近5000小时真实触觉数据预训练,数据来自触觉手套与机器人手,覆盖磁触觉、视触觉和压阻式三类主流传感器。技术报告、模型和代码已在Hugging Face、GitHub和魔搭社区开放下载。不
11月10日,蚂蚁灵波把触觉基础模型LingBot-Touch开源出来。它想做的事,是用一套统一的触觉表征,让机器人的“手感”不再被某一种硬件拴住。
预训练用了近5000小时真实触觉数据,来源是触觉手套和机器人手,磁触觉、视触觉、压阻式三类主流传感器都有覆盖。技术报告、模型和代码已经上架Hugging Face、GitHub和魔搭社区,可以下载。问题在于,各类传感器吐出的原始信号长得完全不一样:磁触觉给的是三轴磁场变化,压阻式给的是电阻标量,视触觉给的是图像强度,连触点怎么排都各排各的。
模型要是只认得其中一种信号,换传感器或者换灵巧手,之前攒下的数据和经验基本就得推倒重来,重新采集、重新训练。
LingBot-Touch的思路是按传感原理分开设编码入口,异构信号先各自过一道,再把不同布局的触点统一映射到指尖坐标空间,最后输出统一的触觉Token。这层表征干的是传感器和动作模型之间的翻译活,不绑定哪款硬件,也不绑定哪套动作策略。
真机测试在Sharpa Wave和XHand1两款灵巧手上做了26项,翻书页、拧瓶盖、辨识麻将牌这类精细操作都在其中。
结果,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型接上LingBot-Touch之后,平均任务成功率比没有触觉输入时高出约14至26个百分点。
拧瓶盖这一项能看得更细。T-Rex操控Sharpa Wave时,不带触觉的成功率是56.25%,直接把传感器原始信号喂进去是62.5%,换成LingBot-Touch的触觉表征,成功率到了90%。
原始信号带来的提升有限,说明“手里有触觉数据”和“能把触觉数据用起来”是两码事,差距主要卡在中间那层表征上。
跨硬件复用还有一处具体验证,落在XHand1上。它用的磁触觉传感器型号并不在预训练数据的覆盖范围内,模型参数一个没动,只拿操作示范去训练动作模型,触觉表征照样能接进去用。
灵波方面也说得很清楚,LingBot-Touch不绑定自家动作模型,它的位置是触觉传感器和动作模型之间的通用感知层,不同灵巧手、不同动作策略都可以来调用。
这次真机测试用的是轻量版LingBot-Touch-Tiny,约530万参数,接进去之后动作模型参数量只多出约0.13%至0.16%。容量更大的版本蚂蚁灵波也一并提供,算力条件不同的可以按需选。
从开源的内容和测试的口径看,LingBot-Touch要回答的问题就一个:触觉能力能不能从特定传感器的物理信号里剥出来,变成可迁移、可复用的表征。这条路实际走得怎么样,还得靠更多硬件组合和任务场景去独立验证。