蚂蚁灵波开源LingBot-Touch:机器人补上「手感」这一环
Fable5.2睁眼拼魔方,中国AI闭眼搓麻将!人类「手感」首次Token化
新智元报道
新智元报道

毫无预告的情况下,Anthropic在深夜发布了下一代旗舰Fable 5.2,一脚踏进物理世界。这款模型的综合表现压过Opus 5.5,泛化能力也相当突出——遇到没见过的新任务照样能应付。
徒手还原魔方、拧开瓶盖、画机器人、装上齿轮再测齿合,Fable 5.2在RoboDojo测试中拿到64.9%的成功率,把一票对手甩在身后,成绩是GPT-6 Astra的两倍还多。
两个月前,GPT-6 Astra也展示过一手绝活:被极客接上双灵巧手之后,当场弹起了肖邦夜曲。看到这里,是不是觉得大模型接管物理世界已经近在眼前?
可就在同一份测评里,RoboDojo测试团队把这位「前任榜单状元」Astra搬上真机,让它去插充电器、插试管。问题在于它只有眼睛、没有触觉,插头明明已经顶歪卡死,它却察觉不到任何阻力,机械臂照着视觉指令一路硬推,当场把真机硬件撞坏。
研究员慌忙拉闸急停。33次真机测试下来,这两项任务一次都没成功,成功率是0%。
反差为什么这么大?拼魔方、画画这类活,用「眼睛」看就够用;可一落到手上的精细操作,只靠摄像头既来不及,也看不见。
杯子刚在指尖打滑,等摄像头拍到画面,它早就摔碎了;拧瓶盖究竟是拧动了还是手指在空转,镜头里看起来一模一样,接触点还常被手指自己挡住。
也正因如此,像汽车厂插线束这种工序,缺的就是指尖那一下手感。奥迪方面坦言,全行业这类环节的自动化率至今不到10%。
说到底,机器人今天缺的已不是更好的眼睛,而是灵敏的「手感」。就在刚刚,蚂蚁灵波科技正式发布并开源通用触觉基座模型LingBot-Touch,把这块最关键的短板补上了。
项目主页:https://technology.robbyant.com/lingbot-touch
技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub:https://github.com/Robbyant/lingbot-touch
Hugging Face 地址在这里:https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
视触觉、磁触觉、压阻式这三类触觉信号,被它第一次统一转成了动作模型可以直接调用的「通用触觉Token」。
结果就是,机器人练出来的那套「手感」,换一只灵巧手照样能接着用。
真机场景里,触觉反馈对时效的要求极为苛刻。
团队于是拿出最轻量的Tiny版,参数只有532万,目的就是不跟视觉、动作模型抢算力。
接进三大主流动作模型之后,参数量只增加0.13%到0.16%,负担几乎可以忽略,灵巧手却马上有了「分寸感」。
以「抓喷雾瓶喷水」为例,塑料瓶身很滑,光靠视觉,刚一使劲食指就打滑脱手。
接上LingBot-Touch之后,指尖刚出现一丝滑动,握姿就能立刻微调,扳机稳稳扣下,成功率从42.50%直接升到87.50%。
再看更考验双臂配合的「挤牙膏」:软管捏轻了挤不出来,捏重了又会飙得到处都是。
靠触觉Token帮忙,双臂能稳稳对准窄小的刷头,拇指还能顺着管身阻力细腻施压,把牙膏精准挤到刷毛上:
开头让视觉大模型撞坏真机的「插孔对准」,换到更精细的「拿钥匙开锁」上,也被轻松拿下。
指尖捏住小钥匙,顺着锁孔微弱的碰撞阻力边试探边微调,对准后干脆利落地一把拧开挂锁:
更有意思的是「盲摸麻将」,规则严苛到牌面只要被镜头看到一眼就直接判零分。
灵巧手全程不靠眼睛,指腹轻轻一按就能摸出凹凸花纹、分进不同盘子,成功率翻倍冲上70%:
再比如拆开两个叠放的软纸杯,手指把镜头挡死了,捏重一点杯子就扁,捏轻了又抽不出来。
有了触觉Token帮忙,双臂顺着指尖微弱的摩擦变化,轻轻一搓就把内层纸杯抽了出来。
日常细活之外还有更硬的考验。两款构型不同的灵巧手,配上四款主流动作模型,团队在真机上跑了26项任务、在仿真里跑了12项操作,接上LingBot-Touch的那套组合全部拿下第一:
-
三大动作模型全面提分,T-Rex、π0.5和LingBot-VLA平均成功率分别大涨了23.18、21.81和24.81个百分点;
-
精细操作稳准狠,单页翻书冲上91.25%,按压弹出SD卡飙到92%,搬运软纸杯最高拿下了100%满分;
-
12项仿真操作高分通关,转盘子、转笔成功率双双超97%,纯视觉0分的「端托盘平衡滚球」也拿下了67.7%。
左右滑动查看
触觉明明好用,通用大模型却迟迟训不出来。卡点有两个:传感器之间各说各话,真实数据又极度匮乏。
硬件这一层,眼下主流的三类触觉传感器,工作原理压根不是一回事。
-
视触觉的做法是在指尖塞进一个小相机,拍软胶的形变,极细微的接触都看得清,拧瓶盖这类活儿很合适,可帧率一限制,反应就快不起来;磁触觉走的是另一条路,软磁材料受力后磁场随之变化,多方向力和滑动都拿手,拉拉链、插插头不在话下,缺点是怕周围磁场来捣乱。
-
压阻式靠材料受压后电阻变化来感知,成本低,能铺满手指和手掌,换来的代价是分辨率有限。
结果就是,同样压住杯壁,三类传感器记下来的东西像三种互不相通的「方言」,换一只手,模型就得推倒重训。
数据这块更让人头疼。以前都靠人遥操作机械臂去采,慢且贵,大模型根本吃不饱。
蚂蚁灵波换了个思路:让真人戴上轻便的触觉手套,在日常生活里把「人类手感」直接采下来。拧瓶盖、擦桌子、插插头,人手怎么发力,手套就怎么记。
人手戴手套采集,再加上真机遥操作,两条路合起来,团队攒出全球规模最大的真实触觉数据——近5000小时(4983小时)、13.3亿帧,其中三分之二来自人类手套。
可人手和灵巧手毕竟长得不一样,这样采来的数据,机器人用得上吗?
实测结果挺让人意外:人手攒下的「手感」,能零样本直接迁移到一只全新的灵巧手上。
要知道,预训练用的磁触觉数据100%来自人类手套,测试用的那款磁触觉灵巧手,模型压根没见过。
团队把触觉模型参数完全冻住,直接装到这只新灵巧手上,π0.5的平均成功率马上从48%升到74.17%,搬运软纸杯一项更是从58%跳到90%。
读懂物理接触这件事,已经不再受硬件形态限制,可以原封不动地从人手交到灵巧手手里。
底层要解决的,是怎么把三种传感器、人手和灵巧手的数据塞进同一个模型。灵波团队盯住的是最核心的共性。
传感器测的不管是图像、磁场还是电阻,最终要回答的都是四个问题:手指碰在哪、使了多大劲、力朝哪个方向走、有没有打滑。
问题既然一致,团队就把「理解接触」这件事单独拆出来,分三步做成一个通用基础模型。
第一步,按原理分别「收件」。
团队的做法是给三类传感器分别开一个极简入口,转成统一格式后,再送进同一个触觉主干网络学习。同类原理的新硬件,接进来就能用。
第二步,把全部指尖塞进同一张「地图」(5D-RoPE)。
只统一格式还不够。不同灵巧手的触点怎么排布,差别大得很。
团队于是把每个触点都映射进三维指尖球面坐标,还对疏密和位置做随机微调,免得模型把某一种硬件的排布死记下来。
第三步,做一道「补全接触」的题(Tactile-JEPA)。
这道题是专门设计的。抓握物体时,超过80%的触点根本没碰上东西,读数全是零值和底噪。
若照搬视觉模型那套,遮住一块再还原原始读数,模型只要全填零,就能白拿90分。
结果在四千小时数据下,传统方案的跨模态检索前5名召回率只有3.06%和8.69%!
于是LingBot-Touch借用了图灵奖得主LeCun推崇的JEPA架构,直接把高达80%的区域遮住。
遮住之后,它不让模型去还原零值底噪,而是推断被遮住的地方怎么受力,检索召回率一下被拉到49.32%!
这套架构对物理接触的感知到底有多准?
团队在五项物理接触测试里设了个条件:主流开源模型FTP-1可以外挂硬件专用适配器,LingBot-Touch则全程锁死权重,一分参数都不改。
让了对手一手,LingBot-Touch还是把指尖盲摸定位误差从对手的2.19毫米压到0.12毫米;换到新款磁触觉灵巧手上,也压到了0.16毫米。
指尖三维力感知误差同时降了约65%。装进同一个动作大脑测5项真机任务,平均成功率82.2%对67.5%,大幅胜出。
更关键的是,团队在五千小时量级上看到触觉同样存在Scaling现象,跑出了两个关键趋势:
其一,三类不同传感器的数据混在一起训,各项指标全面压过单打独斗。各条硬件路线的数据总算汇到一处,跑出了「1+1+1>3」的效果。
其二,数据堆到近5000小时时,轻量级Tiny版在4000小时后逐渐饱和,容量更大的Small版却还在持续上涨。
也就是说,模型越大、数据越多,机器人的「手感」就越强。
LingBot-Touch的价值,其实不止于让机器人多了一种感觉。
「物理原生模态」里,触觉是很典型的一种。网上的文字、图像一抓一大把,可数字世界的大模型从来没真正「摸」过什么,开头Astra插头卡死却浑然不觉,原因也在这里。
再加上传感器原理各不相同,触觉长期分散零碎,一直没能形成统一的表征。
现在,LingBot-Touch给出了一个答案:触觉虽然最吃硬件,一样能被提炼成统一表征。
触觉上跑通了,往大处说,这套做法照样能铺到整个具身智能。
物理操作之所以难泛化,硬件是绕不过去的一关。本体不同、灵巧手不同、传感器走的路线也不同,辛苦攒下的经验最后全被关在各自的硬件里。
蚂蚁灵波对此的态度很直接:硬件不用统一,智能可以共享。
它瞄准的是夹在硬件和场景中间的那层智能——把各种本体、各种传感器攒出来的物理经验,转成能共享的统一表征,再以开源、可拆分的形式放出去。
今年以来,灵波陆续开源了三类模型:空间感知模型让机器人看得更清楚,世界模型让它想得更明白,跨本体动作模型则让它干得更利索。
这回开源的LingBot-Touch,补的是「具身原生」大脑全栈2.0里摸得更灵敏的那一块,同时把同一套方法搬到了最依赖硬件的触觉上。触觉既然走得通,其他新感知方式同样可以照此办理。
放到产业里看,这层共享智能最直接的好处,是上下游不必再重复造轮子。
对触觉传感器厂商而言,以前每出一款新传感器,数据得自己采,触觉模型得从头训,动作模型才接得上,门槛高,周期也长。
如今新硬件接进LingBot-Touch,就能产出通用的触觉Token。厂商可以把力气花在精度、耐用性和成本上,产品也更容易被各家机器人采用。
灵巧手和整机厂这边,变化最大的是选型终于不再束手束脚。
同一只手上,各部位的需求本来就不一样。指尖要捏、要拧、要搓,做的是精细活,得靠高分辨率看清细微接触;手掌主要管托和握,更需要大面积、低成本地感知受力。
按部位各取所长当然最理想。可过去一只手上装两种传感器,就得配两套触觉模型分开训,开发和维护都得多掏一份成本。
现在不同原理的触觉信号,同一个LingBot-Touch都能读懂。「指尖视触觉+手掌压阻阵列」这类高性价比组合,总算能放心装上手、真正派上用场。
眼下,蚂蚁灵波已联合多家机器人本体厂商和行业伙伴,把这套具身大脑能力带进零售药房、仓储物流和工厂产线干活。
回头看看,大模型能在数字世界爆发,靠的是海量文字和图像能被统一学习、反复复用。
而现在,连最吃硬件的「手感」都能预训练、能复用,物理智能也有了像语言智能那样越积越厚的可能。
硬件尽可以百花齐放,智能却能在同一层上持续生长。
机器人真正走进千行百业的拐点,或许就从这里开始。