蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉
新智元报道 毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合,Fable 5.2拿下64.9%的成功率,在RoboDojo测试中轻
新智元报道
新智元报道
Anthropic在没有任何预告的情况下,于深夜发布了下一代旗舰Fable 5.2,一脚踏进物理世界。
面对
Opus 5.5,它各项性能全面占优;泛化能力也相当扎眼,哪怕是从未见过的新任务,照样能上手。
徒手拼魔方、拧瓶盖、画机器人,再装上齿轮测试齿合,
Fable 5.2的成功率达到64.9%,在RoboDojo测试里稳稳压住一众对手,超过GPT-6 Astra两倍有余。
两个月前,
GPT-6 Astra也曾展示过一番惊人操作:被极客接入双灵巧手之后,当场弹奏肖邦夜曲。看到这里,是不是觉得大模型接管物理世界就在眼前了?
可就在同一份测评中,RoboDojo测试团队把这位「前任榜单状元」Astra放上真机,让它去插充电器、插试管。由于只有视觉、没有触觉,插头已经顶歪卡死,它却察觉不到任何阻力,毫不知情的机械臂便顺着视觉指令一路硬怼,当场把真机硬件撞坏。
研究员吓得立刻拉闸急停。33次真机测试下来,这两项任务一次都没成功,成功率直接是零(0%)。
反差为何如此之大?拼魔方、画画这类活,靠「眼睛」看就够了;可一旦手上要干细活,只靠摄像头既来不及,也看不见。
杯子刚在指尖打滑,等摄像头拍到画面,早就摔碎了;拧瓶盖究竟是拧动了还是手指在空转,镜头里看着一模一样,何况接触点还常被手指自己挡住。
正因如此,汽车厂里插线束这种活,少了指尖那一下手感,全行业自动化率到现在还不到10%。
说到底,机器人今天缺的已不是更好的眼睛,而是灵敏的「手感」。
蚂蚁灵波科技刚刚正式发布并开源通用触觉基座模型LingBot-Touch,把这块最关键的短板补上了。
项目主页:https://technology.robbyant.com/lingbot-touch
技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub:https://github.com/Robbyant/lingbot-touch
Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
视触觉、磁触觉、压阻式这三类不同的触觉信号,头一回被统一转换成动作模型拿来就能用的「通用触觉Token」。
这样一来,机器人终于能练出一套手感,换只灵巧手也能接着用。
真机上的触觉反馈,对时效要求极高。
为了不跟视觉和动作模型抢算力,团队直接派出最轻量的Tiny版,参数只有532万。由此,接上0.13%到0.16%,几乎不添负担,灵巧手却瞬间有了「分寸感」。
抓喷雾瓶喷水这个动作,塑料瓶身滑得很。光凭视觉一发力,食指立马打滑,瓶子脱手。
换成LingBot-Touch上场,指尖刚出现一点滑动,握姿马上微调,扳机稳稳扣下。成功率从42.50%升到87.50%。
挤牙膏更吃双臂配合。软管捏轻了出不来,捏重了又喷得到处都是。
触觉Token一介入,双臂能稳稳对准窄小的刷头,拇指顺着管身阻力一点点加力,牙膏就精准落在刷毛上。
开头让视觉大模型撞坏真机的「插孔对准」,到了更精细的「拿钥匙开锁」上,也变得轻松。
指尖捏住小钥匙,贴着锁孔边试探边微调,靠的是那点微弱的碰撞阻力。对准之后一把拧开挂锁,干净利落。
「盲摸麻将」更有意思,规则卡得很死:牌面只要让镜头瞅见一眼,直接判零分。
灵巧手全程不靠眼睛,指腹轻按一下就能辨出凹凸花纹,再分进不同盘子。成功率翻倍,冲到70%。
拆两个叠放的软纸杯也一样,手指一挡就把镜头遮死,捏重了杯子扁,捏轻了又抽不出来。
触觉Token来帮忙,双臂顺着指尖那点摩擦变化轻轻一搓,内层纸杯就抽了出来。
日常细活之外,团队还拿两款不同构型的灵巧手配上四款主流动作模型,实测了26项真机任务和12项仿真操作。接入LingBot-Touch的组合全线领先。
三大动作模型都涨了分:T-Rex、π0.5和LingBot-VLA的平均成功率分别提升23.18、21.81和24.81个百分点。
精细操作又稳又准。单页翻书达到91.25%,按压弹出SD卡到92%,搬运软纸杯最高拿到100%满分。
12项仿真操作也高分过关。转盘子、转笔的成功率都超过97%,纯视觉拿0分的「端托盘平衡滚球」也做到了67.7%。






左右滑动查看
触觉既然这么管用,通用大模型为什么难训?卡点主要在「传感器各说各话」和「真实数据极度匮乏」两处。
先说硬件。眼下主流的三类触觉传感器,底层原理各不相同:
视触觉是在指尖塞个小相机,拍软胶形变,极细微的接触都能看清,拧瓶盖这类活合适,但帧率受限,反应偏慢;
磁触觉借软磁材料受力改变磁场,多方向力和滑动都擅长,拉拉链、插插头在行,可周围磁场一干扰就麻烦;
压阻式靠材料受压后电阻变化,成本低,能铺满手指和手掌,分辨率却有限。
结果就是同样压住杯壁,三类传感器记下的完全是三种东西。
缺真实数据更让人头疼。以往都靠人遥操作机械臂去采,慢且贵,大模型根本吃不饱。
数据这道坎怎么迈?蚂蚁灵波的法子是让真人套上一双轻便触觉手套,边过日子边把「人类手感」录下来。拧瓶盖、擦桌子、插插头,手上一使劲,手套就同步记下力道的变化。
人手戴手套采集,再配合真机遥操作,两路合起来,团队积累出全球规模最大的真实触觉数据——近5000小时(4983小时)、13.3亿帧,其中三分之二由人类手套贡献。
疑问也随之而来:人手的结构和灵巧手并不相同,这样采回来的数据,机器人能直接用吗?
实测结果出人意料:人手攒下的「手感」,竟能零样本直接迁移到一只全新的灵巧手上。更关键的是,预训练所用的磁触觉数据100%来自人类手套,模型此前根本没接触过测试所用的那款新磁触觉灵巧手。
团队把触觉模型参数彻底冻住,直接装到这只新灵巧手上,π0.5的平均成功率随即从48%升到74.17%,搬软纸杯一项则从58%提高到90%。换句话说,理解物理接触的能力已经不再受硬件形态限制,从人手原样传到了灵巧手。
落到最底层,三种传感器、人手和灵巧手的数据,如何塞进同一个模型?灵波团队盯住的是最根本的共性:无论传感器测的是图像、磁场还是电阻,要回答的都是同样四个问题——手指碰在哪、用了多大力、力朝哪个方向走、有没有在打滑。
问题既然一致,团队就把「理解接触」这件事单独拿出来,按三步做成一个通用基础模型。第一步是按原理分别「收件」。
做法是给三类传感器各配一个极简入口,统一格式之后送进同一个触觉主干网络学习,同类原理的新硬件能直接接入。
第二步,让所有指尖落在同一张「地图」(5D-RoPE)上。只统一格式还不够,不同灵巧手的触点排布差异很大。
团队因此把所有触点映射进三维指尖球面坐标,并对疏密和位置做随机微调,避免模型死记某一种硬件的排布。
第三步,是解一道「补全接触」的题(Tactile-JEPA)。为什么要专门设这道题?抓握物体时,超过90%的触点其实什么都没碰到,读数全是零值和底噪。
若照搬视觉模型的做法,遮住一块再还原原始读数,模型只要全填零就能轻松拿到90分。
结果在四千小时数据下,传统方案的跨模态检索前5名召回率分别只有3.06%和8.69%。
LingBot-Touch于是借鉴了图灵奖得主LeCun推崇的JEPA架构,直接遮住高达90%的区域。它不让模型还原零值底噪,而是去推断被遮住的地方受力如何,检索召回率一举提升到49.32%。
这套架构对物理接触的感知精度如何?
团队在五项物理接触测试里给主流开源模型FTP-1开了口子,允许它外挂硬件专用适配器;LingBot-Touch则全程锁死权重,参数一个都不改。
让了对手一手,结果还是LingBot-Touch赢:指尖盲摸定位误差从对手的2.19毫米压到0.12毫米,换到新款磁触觉灵巧手上也压到了0.16毫米。
指尖三维力感知误差同时降了约65%。装进同一个动作大脑测5项真机任务,平均成功率82.2%,对手是67.5%。
更关键的是,团队在五千小时量级上看到了触觉的Scaling现象,跑出两个趋势。
第一,三类不同传感器的数据混在一起训,所有指标都压过单打独斗,各条硬件路线的数据汇到一处,跑出了「1+1+1>3」的效果。
第二,数据堆到近5000小时时,轻量级Tiny版在4000小时后逐渐饱和,容量更大的Small版还在持续上涨。
模型越大、数据越多,机器人的「手感」就越强。
LingBot-Touch的价值,其实不止于让机器人多了一种感觉。
触觉是典型的「物理原生模态」——文字、图像在网上随处可见,数字世界的大模型却从没真正「摸」过东西。开头Astra插头卡死都浑然不觉,原因就在这里。
再加上传感器原理各不相同,触觉长期分散零碎,一直没能形成统一的表征。
如今LingBot-Touch证明了,哪怕是最依赖硬件的触觉,也可以提炼出统一的表征。
这条路在触觉上走通了,进一步看,完全可以展开到具身智能整体。
硬件本身才是物理操作难以泛化的关键堵点:各家本体、灵巧手、传感器的技术路线都不统一,辛苦积累的经验因此被各自的硬件框住,没法流通。
蚂蚁灵波的思路很明确:硬件不必统一,智能可以共享。
它瞄准的,是夹在硬件与场景中间的那层智能:让不同本体、不同传感器攒下的物理经验,转化为可共享的统一表征,并以开源、可拆分的形式对外提供。
今年灵波已先后开源了负责看得更清楚的空间感知模型、负责想得更明白的世界模型,以及负责干得更利索的跨本体动作模型。
此次开源的LingBot-Touch,把「具身原生」大脑全栈2.0中触觉更灵敏的那一环补齐了,也让同一套方法落到最吃硬件的触觉上——触觉这条路能走通,就说明它同样适用于其他新出现的感知方式。
落到产业上,这层共享智能直接帮上下游省下了重复造轮子的精力。
对触觉传感器厂商来说,过去每推出一款新传感器,都得自己采数据、从头训一套触觉模型,动作模型才能用得上,门槛高、周期长。
眼下,新硬件只要接入LingBot-Touch,就能生成通用的触觉Token,厂商可以把力气放在精度、耐用性和成本上,产品被各家机器人采用也会更容易。
灵巧手厂商和整机厂感受最直接的一点,是选型上的束缚松开了。
同一只手上,各部位的需求本就不同。捏、拧、搓这类精细活儿落在指尖,得有高分辨率才能看清细微接触;托和握主要靠手掌,要的是大面积、低成本的受力感知。
按部位各取所长当然最理想。可过去一只手上装两种传感器,就得分别训练两套触觉模型,开发和多一份维护的钱都省不掉。
如今情况变了:不同原理的触觉信号,同一个LingBot-Touch都能读懂。「指尖视触觉+手掌压阻阵列」这种性价比高的搭配,可以放心装上手,也真正用起来了。
落地方面,蚂蚁灵波已与多家机器人本体厂商及行业伙伴合作,把这套具身大脑能力送进零售药房、仓储物流和工厂产线干活。
回看大模型在数字世界的爆发,靠的是海量文字和图像能被统一学习、反复复用。
而现在,连最依赖硬件的「手感」也能预训练、能复用。物理智能因此有了像语言智能那样越积越厚的可能。
硬件端可以百花齐放,智能却能在同一层上持续生长。
机器人真正走进千行百业的拐点,或许就从此处开始。