蚂蚁灵波开源LingBot-Touch:532万参数让机器人有了触觉
统一三类触觉信号生成通用Token,跨灵巧手迁移,精细操作成功率大幅提升

Anthropic在深夜没有提前预告就放出了下一代旗舰
Fable 5.2,直接跨进物理世界。这款模型全方位性能压过Opus 5.5,泛化能力也相当突出——碰到没见过的新任务,照样能上手。
徒手拼魔方、拧瓶盖、画机器人、装齿轮并测试齿合,Fable 5.2的成功率达到64.9%,在RoboDojo测试里把一众对手甩在身后,是GPT-6 Astra的两倍还多。

两个月前,GPT-6 Astra也展示过一手惊人操作:被极客接上双灵巧手之后,当场弹起了肖邦夜曲。

这么看,大模型是不是马上就要接管物理世界了?可就在同一份测评里,RoboDojo测试团队把这位「前任榜单状元」Astra装上真机,让它去插充电器和插试管。
问题在于它只有眼睛、没有触觉:插头已经顶歪卡死,它感觉不到任何阻力,机械臂照着视觉指令一路硬怼,当场把真机硬件撞坏。
研究员赶紧拉闸急停。33次真机测试下来,这两项任务一次都没成功,成功率是0%。

反差为什么这么大?拼魔方、画画这类活,靠「眼睛」看就够了;可手上干细活,光靠摄像头既来不及,也看不见。
杯子刚在指尖打滑,等摄像头拍到,早就摔碎了;拧瓶盖是拧动了还是手指在空转,镜头里看着一模一样,接触点还常被手指自己挡住。
汽车厂插线束这种活就是例子。缺了指尖那一下手感,奥迪坦言全行业自动化率至今还不到10%。
说到底,机器人今天缺的不是更好的眼睛,而是灵敏的「手感」。
蚂蚁灵波科技刚刚正式发布并开源通用触觉基座模型LingBot-Touch,补上的正是这块最关键的短板。

项目主页:https://technology.robbyant.com/lingbot-touch
技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub:https://github.com/Robbyant/lingbot-touch
Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
视触觉、磁触觉、压阻式三种不同的触觉信号,头一回被统一转换成动作模型拿来就能用的「通用触觉Token」。
机器人由此能练出一套「手感」,换只灵巧手也能接着用。
532万参数即插即用,26项精细操作全线暴涨。
真机上的触觉反馈,对时效要求极高。为了不跟视觉和动作模型抢算力,团队派出的是最轻量的Tiny版,参数只有532万。
接进三大主流动作模型后,参数量只多出0.13%到0.16%,几乎不添负担,灵巧手却立刻有了「分寸感」。
先说抓喷雾瓶喷水。塑料瓶身滑得很,光靠视觉,手一使劲食指就打滑脱手。
接上LingBot-Touch,指尖刚有一点滑动就能马上调整握姿,稳稳扣下扳机,成功率从42.50%升到87.50%。

挤牙膏更考验两只手配合。软管捏轻了挤不出来,捏重了又飙得到处都是。靠触觉Token帮忙,双臂能稳稳对准窄小的刷头,拇指还顺着管身阻力一点点加力,把牙膏精准挤在刷毛上。

开头让视觉大模型撞坏真机的插孔对准,换成更精细的拿钥匙开锁也一样拿下。指尖捏住小钥匙,顺着锁孔里微弱的碰撞阻力边试探边微调,对准后一把拧开挂锁。

最有意思的是盲摸麻将,规则很严,牌面只要让镜头看一眼就直接判零分。灵巧手全程不靠眼睛,指腹轻轻一按就摸出凹凸花纹,分进不同盘子,成功率翻倍冲到70%。

再比如拆两个叠放的软纸杯,手指一挡镜头就看不见了,捏重了杯子会扁,捏轻了又抽不出来。有触觉Token帮忙,双臂顺着指尖那点微弱的摩擦变化,轻轻一搓就把内层纸杯抽了出来。

日常细活之外,团队还用两款不同构型的灵巧手搭配四款主流动作模型,实测了26项真机任务和12项仿真操作,接入LingBot-Touch的组合全线领先:
三大动作模型都涨了分,T-Rex、π0.5和LingBot-VLA平均成功率分别提升23.18、21.81和24.81个百分点;
精细操作又稳又准,单页翻书达到91.25%,按压弹出SD卡升到92%,搬运软纸杯最高拿到100%满分;
12项仿真操作也高分通过,转盘子、转笔成功率都超过97%,纯视觉拿0分的端托盘平衡滚球也有67.7%。





团队攒下的真实触觉数据接近5000小时——确切说是4983小时、13.3亿帧,其中三分之二来自人戴手套采集。这些数据让灵巧手拿到手就能用。
触觉既然这么管用,通用大模型为什么还是难训?问题主要出在两处:传感器各说各话,真实数据又极度缺乏。
先看硬件。眼下主流的三类触觉传感器,底层原理完全不是一回事。
视触觉的做法是在指尖藏一个小相机,拍软胶的形变,极细微的接触都能看清,拧瓶盖这类活很合适;缺点是受帧率限制,反应不够快。
磁触觉靠软磁材料受力后改变磁场来感知,多方向力和滑动都擅长,拉拉链、插插头不在话下,但怕周围磁场干扰。
压阻式是材料受压后电阻发生变化,成本低,能铺满手指和手掌,代价是分辨率有限。
结果就是,同样压住杯壁,三类传感器记下来的是三种互不相通的「方言」,换一只手就得推倒重训。
更头疼的是真实数据不够。过去全靠人遥操作机械臂去采,又慢又贵,根本喂不饱大模型。
蚂蚁灵波换了个思路:让真人戴上轻便的触觉手套,在日常生活里直接把「人类手感」采下来。
拧瓶盖、擦桌子、插插头,人手怎么发力,手套就怎么记。
人手戴手套采集加上真机遥操作,两条路并行走,最终攒出全球最大的真实触觉数据集:近5000小时(4983小时)、13.3亿帧,其中足足三分之二来自人类手套。
可人手和灵巧手长得并不一样,采来的数据对机器人真管用吗?
实测给出的答案挺让人惊喜:人手攒下的「手感」,能零样本直接迁移给一只全新的灵巧手。
要知道,预训练用的磁触觉数据100%来自人类手套,测试用的新款磁触觉灵巧手,模型压根没见过。
团队把触觉模型参数完全冻住,直接装到这只新灵巧手上,π0.5的平均成功率立刻从48%升到74.17%;搬运软纸杯一项,更是从58%跳到90%!
这说明,读懂物理接触的本事已经跨过了硬件形态,原封不动地从人手传到了灵巧手。
三类触觉信号如何统一,真手感又怎么靠预测受力练出来?
底层要解决的问题是:三种传感器、人手和灵巧手的数据,怎么装进同一个模型?灵波团队抓的是最核心的共性。
传感器测的不管是图像、磁场还是电阻,最后回答的都是同样四个问题——手指碰在哪、用了多大力、力往哪边走、有没有在滑。
问题既然一样,团队就把「理解接触」单独拎出来,分三步做成一个通用基础模型。
第一步是按原理分别「收件」。具体做法是给三类传感器各设一个极简入口,转成统一格式后交给同一个触觉主干网络去学,同类原理的新硬件直接就能接进来。
第二步是让所有指尖落进同一张“地图”,也就是5D-RoPE。只把数据格式对齐还不够,各家灵巧手的触点怎么排布,差别同样很大。团队的做法是把全部触点统一映射进三维指尖球面坐标,再对疏密和位置做随机微调,免得模型把某一种硬件的排布死记下来。
第三步则是一道“补全接触”的题,名为Tactile-JEPA。为什么要单独出这道题?抓握物体的时候,超过90%的触点实际上什么都没碰到,读数尽是零值和底噪。要是照搬视觉模型那套遮住一块再还原原始读数的做法,模型全填零就能轻松拿到90分。
在四千小时数据下,传统方案的跨模态检索前5名召回率分别只有3.06%和8.69%!LingBot-Touch于是借用了图灵奖得主LeCun推崇的JEPA架构,直接把高达90%的区域遮住。它不让模型去还原零值底噪,改去推断被遮住的地方受的是什么力,检索召回率一下子被拉到49.32%!
盲摸定位准至0.12毫米。触觉也能Scaling。
这套架构对物理接触的感知究竟有多准?在五项物理接触测试中,团队给主流开源模型FTP-1开了外挂,允许它加装硬件专用适配器;LingBot-Touch则全程锁死权重,一个参数都不改。让了对手一手,它的指尖盲摸定位误差还是从对手的2.19毫米压到0.12毫米,换到新款磁触觉灵巧手上也能压到0.16毫米。
指尖三维力感知误差同时降了约65%;装进同一个动作大脑去测5项真机任务,平均成功率82.2%对67.5%,优势明显。
更关键的是,团队在五千小时量级上看到触觉同样存在Scaling现象,跑出了两个关键趋势。其一,三类不同传感器的数据混在一起训练,各项指标全面压过单独训练,各条硬件路线的数据汇到一处,跑出了“1+1+1>3”的效果。
其二,数据堆到近5000小时后,轻量级Tiny版在4000小时之后逐渐饱和,容量更大的Small版则还在往上走。模型越大、数据越多,机器人的“手感”就越强。
LingBot-Touch的价值其实不止于给机器人多添一种感觉。硬件不必统一,智能可以共享。触觉是典型的“物理原生模态”——文字、图像在网上到处都是,数字世界的大模型却从没真正“摸”过东西,开头Astra插头卡死也浑然不觉,原因就在这里。
再加上传感器原理各不相同,触觉长期分散零碎,始终没能形成统一的表征。如今LingBot-Touch证明,哪怕是最依赖硬件的触觉,也能提炼出统一的表征。
触觉这块被验证之后,往大了看,整套具身智能都能照此推开。物理操作之所以难泛化,很大一块卡在硬件:本体、灵巧手、传感器各走各路,攒下的经验全被锁死在自家硬件里。
蚂蚁灵波的想法很清楚——硬件不用统一,智能可以共享。它要做的,是夹在硬件和场景中间的那层智能:把不同本体、不同传感器攒下的物理经验,转成能共享的统一表征,再以开源、可拆分的形式放出去。
今年灵波已经陆续开源了几个模型:空间感知模型负责看得更清楚,世界模型负责想得更明白,跨本体动作模型负责干得更利索。
这回开源的LingBot-Touch,补的是「具身原生」大脑全栈2.0里摸得更灵敏的那一块,也把同一套方法搬到了最依赖硬件的触觉上。触觉能走通,说明这套路子同样能用到别的新的感知方式上。
落到产业上,这层共享智能直接替上下游省掉了重复造轮子的功夫。拿触觉传感器厂商来说,以前每推一款新传感器,都得自己采数据、从头训一套触觉模型,动作模型才用得上,门槛高、周期也长。
现在新硬件直接接进LingBot-Touch,就能产出通用的触觉Token,厂商能把精力放到精度、耐用性和成本上,产品也更容易被各家机器人用起来。
对灵巧手和整机厂来说,变化最大的是选型终于自由了。一只手上,不同部位要的东西本来就不一样:指尖管捏、拧、搓这些精细活,得要高分辨率看清细微接触;手掌主要管托和握,更需要大面积、低成本地感知受力。
最理想当然是按部位各取所长,可过去一只手上用两种传感器,就得配两套触觉模型分开训,开发和维护都得多掏一份成本。现在同一个LingBot-Touch就能读懂不同原理的触觉信号,「指尖视触觉+手掌压阻阵列」这种高性价比组合,终于能放心装上手、真正用起来了。
目前蚂蚁灵波已经联合多家机器人本体厂商与行业伙伴,把这套具身大脑能力带进零售药房、仓储物流和工厂产线落地干活。
回头看,大模型能在数字世界爆发,靠的是海量文字和图像能被统一学习、反复复用。如今连最依赖硬件的「手感」都能被预训练、被复用,物理智能终于也有了像语言智能那样越积越厚的可能。
硬件可以百花齐放,智能却能在同一层上不断生长。机器人真正走进千行百业的拐点,或许就从这里开始。