蚂蚁灵波开源触觉基础模型LingBot-Touch
11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch。据介绍,该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为统一的触觉Token,供不同灵巧手和动作模型使用,为机器人大脑补齐触觉感知能力。目前该模型已接入蚂蚁灵波自研动作模型LingBot-VL
11月10日,蚂蚁灵波科技宣布开源触觉基础模型LingBot-Touch。按官方介绍,这一模型用近5000小时真实触觉数据做了预训练,磁触觉、视触觉、压阻式三类主流传感原理都被覆盖,能把不同信号转成统一的触觉Token,供各类灵巧手和动作模型调用,让机器人大脑补上触觉感知这一环。眼下该模型已经接入蚂蚁灵波自研的动作模型LingBot-VLA。
测试选在Sharpa Wave和XHand1两款灵巧手上,26项真机任务涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入LingBot-Touch之后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率,比没有触觉时高出约14至26个百分点。拿T-Rex操控Sharpa Wave拧瓶盖来说,不用触觉成功率是56.25%,接入触觉表征后升到90%。
触觉能力还能跨硬件复用。LingBot-Touch针对不同传感原理分设编码入口,把各异的触点布局映射进统一的指尖坐标空间,再输出统一的触觉Token。XHand1的磁触觉传感器型号并不在预训练数据里,团队没有改动模型参数,只用这款灵巧手的操作示范来训练动作模型,由此验证了跨硬件复用的能力。
模型有两种容量可选。26项真机测试用的都是约530万参数的轻量版LingBot-Touch-Tiny,接入动作模型后参数量只增加约0.13%至0.16%;容量更大的LingBot-Touch-Small在预训练数据增至近5000小时时,依然能从中获益。
现在,LingBot-Touch的技术报告、模型和代码均已开源,用户可在Hugging Face、GitHub和魔搭社区访问下载。(袁宁)