蚂蚁灵波开源LingBot-Touch:近5000小时数据,补齐机器人触觉感知
11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch
11月10日,蚂蚁灵波科技把触觉基础模型LingBot-Touch开源了。机器人大脑由此补上了一块关键能力——触觉感知。这个模型用近5000小时真实触觉数据做预训练,磁触觉、视触觉、压阻式三类主流传感原理都在覆盖范围内;不同信号经它转换,变成同一套触觉表征,供各类灵巧手和动作模型调用。机器人光“看得清楚、想得明白”还不够,精细操作所需的触觉感知,这次也一并补上。
通用大模型眼下正加速演进,蚂蚁灵波偏偏在这个节点推出一款面向物理操作闭环的触觉基础模型。这背后是它对具身原生路线的持续投入,态度相当笃定。
在此之前,蚂蚁灵波的通用大脑已经覆盖高精度空间感知、高动态环境交互和可泛化灵巧操作,机器人因此看得更清楚、想得更明白、干得更利索。LingBot-Touch这次接入了LingBot-VLA,感知能力被延伸到“指尖”,机器人“摸得更灵敏”,具身原生通用大脑的能力再往上走了一步。
26项真机测试 任务成功率提高14至26个百分点
通用大模型不断进步,机器人理解复杂任务、推理操作步骤的本事也在增强。可到了真实物理世界,每执行一步动作,它都得感知物体和环境的变化,再据此修正下一步。不少精细操作里,机器人能看清物体在哪,也能把手伸到正确位置,任务却未必顺利完成——手指碰到物体之后,受力合不合适、物体有没有滑移,光靠视觉很难判断,得由触觉来补充。
拿灵巧手拧瓶盖来说,深度信息能帮手指对准瓶盖。开始转动后,瓶盖可能已经松动,也可能指腹正沿着盖壁打滑。画面里这两种情况看着相似,需要的动作调整却不一样。指尖的接触位置、受力大小及其变化,此时都成了动作模型的重要判断依据,而这些信息往往被手指和物体挡住,视觉拿不到。
触觉表征对真实操作到底有没有帮助?蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上做了26项真机测试,翻书页、拧瓶盖、辨识麻将牌等精细操作都在其中。接入LingBot-Touch后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率,比无触觉时提高了约14至26个百分点。
以T-Rex控制Sharpa Wave拧瓶盖为例:不用触觉,任务成功率是56.25%;直接输入传感器原始信号,为62.5%;接入LingBot-Touch的触觉表征后,成功率达到90%。
(图说:接入LingBot-Touch后,四种动作模型在两款灵巧手上的真机任务成功率均达到各自最高水平)
统一触觉表征,让机器人“手感”跨硬件复用
装了触觉传感器,不等于机器人就能用好触觉。商用触觉传感器整体还处在较早的发展阶段,视触觉、磁触觉、压阻式等主流路线各有优势和局限;面向不同成本和使用场景,多种技术路线可能长期并存。
更麻烦的是,这些传感器采集的数据很难直接通用。同样一次接触,传感原理和触点布局不同,形成的原始信号就不同。模型若只学会解读其中一种,一旦更换传感器或灵巧手,已有的数据和触觉经验就可能难以复用,得重新采集、训练和适配。硬件快速迭代的当下,这种绑定造成重复开发,硬件厂商、整机团队和模型开发者之间的适配成本也跟着增加。
所以,触觉要规模化落地,关键在让触觉理解摆脱对特定传感器物理信号的依赖:不同来源的数据能共同用于训练,积累的触觉能力可以跨传感器、跨灵巧手、跨模型和跨任务复用。
具体做法上,LingBot-Touch按传感原理分别设置编码入口,先处理不同的原始信号,再把不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉Token。这样一来,人戴触觉手套和遥操作灵巧手采集的数据能共同用于训练,不同动作模型也能利用训练好的模型提取接触特征。这套架构还给未来接入新类型的触觉传感器留出了扩展空间。
(图说:LingBot-Touch将磁触觉、视触觉、压阻式触觉信号编码为统一的触觉Token,供不同动作模型使用)
触觉经验能不能迁移到别的硬件上?团队拿XHand1做了进一步测试。这只灵巧手用的磁触觉传感器型号,预训练数据里并没有出现过,模型掌握的磁触觉经验,都来自人戴手套采集的那批数据。换到XHand1之后,团队没有改动LingBot-Touch的参数,动作模型只靠XHand的操作示范来训练。
本次真机测试中,LingBot-Touch接入了四种不同动作模型,并不绑定蚂蚁灵波自研模型。它提供的是触觉传感器和动作模型之间的通用感知能力,而非某一硬件或某一策略的专用模块。对产业来说,传感器和灵巧手厂商可以按成本与任务需求选硬件,整机团队也能保留自己的动作策略,每换一种硬件与算法组合就得重新开发触觉能力的重复投入,由此减少。
感知能力和端侧算力要兼顾,蚂蚁灵波为此提供了两种容量的模型。此次26项真机测试全部由约530万参数的轻量版LingBot-Touch-Tiny完成。接入LingBot-VLA、π0.5和T-Rex后,模型参数量仅增加约0.13%至0.16%。
容量较大的版本LingBot-Touch-Small在感知测试中表现出进一步提升的潜力——预训练数据增至近5000小时时,模型仍能从新增数据中获益,触觉预训练还有持续扩展提升的空间。
坚持具身原生,与通用大模型协同推进
最近具身大模型的技术路线出现了一些变化。蚂蚁灵波CEO朱兴谈到这一点时说:“GPT-6 Astra、Claude Fable 5.2这类数字世界的大语言模型在往前走,机器人在复杂任务推理和物理操作上确实变强了,我们很关注,也在积极吸收。可产业一线干下来会发现,操作闭环要真跑通,物理操作泛化性这道坎还是躲不过去,很大程度上得指望具身基础模型自己取得突破。”
在朱兴看来,通用大模型和具身基础模型之间更像是 1+1>2 的配合:一个把任务和环境的理解、推理能力往上抬,另一个把物理感知和闭环操作能力做强,两边各自进步、互相带动,一起推动具身智能产业走向成熟。
“输入模态的质量,很大程度上左右着动作输出的质量。说白了,输入不行,输出也好不了。”朱兴表示,蚂蚁灵波会沿着具身原生这条路走下去,不断试探物理操作泛化能力的上限,做出能适配不同构型的机器人通用大脑,让视觉、深度、触觉甚至温度等更多物理模态在同一个模型里完成对齐;商业化推进的同时,也会继续向社区开源开放。
眼下,LingBot-Touch的技术报告、模型和代码均已开源,开发者可以到Hugging Face、GitHub和魔搭社区获取并下载。