蚂蚁灵波开源LingBot-Touch:触觉也能Token化?
中经记者 许璐 李晖 北京报道机器人能看清瓶盖、对准位置,转动时却可能难以判断瓶盖已经松动,还是手指正在打滑。精细操作中的接触位置、受力变化等信息,需要触觉感知补充。长期以来,不同传感器的原始信号存在差异,更换硬件后,已有触觉数据和经验可能难以复用。目前这一情况有望发生改变。11月10日,蚂蚁灵波科技开源...
机器人能看清瓶盖、找准位置,可一拧起来,它往往分不清瓶盖是已经松了,还是手指在打滑。接触位置在哪、受力怎么变,这类精细操作中的信息,得靠触觉感知来补。
麻烦在于,各家传感器的原始信号对不上,一旦换硬件,此前攒下的触觉数据和经验常常用不起来。这一局面眼下有了转机。
11月10日,蚂蚁灵波科技把触觉基础模型LingBot-Touch开源了。据《中国经营报》记者了解,该模型采用分别编码、统一触点坐标等做法,输出统一的触觉Token,于是人戴触觉手套采集的数据和遥操作灵巧手采集的数据能放在一起训练,不同的动作模型也能借训练好的模型提取接触特征。
蚂蚁灵波披露的信息显示,LingBot-Touch用近5000小时真实触觉数据做预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,能把不同信号转成同一套触觉表征,供不同灵巧手和动作模型调用,目前已接入LingBot-VLA。
记者还了解到,蚂蚁灵波团队拿两款灵巧手做了26项真机测试,任务包括翻书页、拧瓶盖、辨识麻将牌等。接入LingBot-Touch之后,四种动作模型的平均任务成功率比没有触觉时高出约14个至26个百分点。
据蚂蚁灵波介绍,这次真机测试中LingBot-Touch并未绑定自家模型,它提供的是介于触觉传感器和动作模型之间的通用感知能力,不是专供某个硬件或某种策略的模块。蚂蚁灵波方面指出:“对产业而言,传感器和灵巧手厂商可以根据成本与任务需求选择硬件,整机团队也可以保留自己的动作策略,从而减少每更换一种硬件与算法组合,就重新开发触觉能力的重复投入。”
朱兴(蚂蚁灵波CEO)说:“数字世界大语言模型的进展,确实让机器人的复杂任务推理和物理操作能力更强,这一点我们很关注,也在积极吸收。”不过他也提到,具身大模型的技术路线近来一直在变,产业一线的实践说明,想真正跑通操作闭环,物理操作泛化性这道坎绕不过去,很大程度上还得靠具身基础模型自己取得突破。
朱兴认为,通用大模型和具身基础模型之间更像是 1+1>2 的协同:前者让机器更懂任务和环境,后者把物理感知和闭环操作能力提上去,两边各自突破、互相带动,一起推动具身智能产业走向成熟。他说:“模态输入的质量很大程度上决定了动作输出的质量,换句话说没有好的输入就没有好的输出。”
目前,LingBot-Touch的技术报告、模型和代码均已开源,开发者可以在Hugging Face、GitHub和魔搭社区访问、下载。