蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉

资讯 腾讯网 作者:腾讯网 全文 4949 字 · 约 13 分钟读完 配图 10 张 分类FableOpusGPTGPT-6AnthropicOpenAI

新智元报道 毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合,Fable 5.2拿下64.9%的成功率,在RoboDojo测试中轻

所属频道 大厂动态ChatGPT 与 GPTClaude 与 Anthropic

新智元报道  


Anthropic在没有任何预告的情况下,于深夜发布了下一代旗舰Fable 5.2,一脚踏进物理世界。

面对Opus 5.5,它各项性能全面占优;泛化能力也相当扎眼,哪怕是从未见过的新任务,照样能上手。

徒手拼魔方、拧瓶盖、画机器人,再装上齿轮测试齿合,Fable 5.2的成功率达到64.9%,在RoboDojo测试里稳稳压住一众对手,超过GPT-6 Astra两倍有余。

两个月前,GPT-6 Astra也曾展示过一番惊人操作:被极客接入双灵巧手之后,当场弹奏肖邦夜曲。看到这里,是不是觉得大模型接管物理世界就在眼前了?

可就在同一份测评中,RoboDojo测试团队把这位「前任榜单状元」Astra放上真机,让它去插充电器、插试管。由于只有视觉、没有触觉,插头已经顶歪卡死,它却察觉不到任何阻力,毫不知情的机械臂便顺着视觉指令一路硬怼,当场把真机硬件撞坏。

研究员吓得立刻拉闸急停。33次真机测试下来,这两项任务一次都没成功,成功率直接是零(0%)。

反差为何如此之大?拼魔方、画画这类活,靠「眼睛」看就够了;可一旦手上要干细活,只靠摄像头既来不及,也看不见。

杯子刚在指尖打滑,等摄像头拍到画面,早就摔碎了;拧瓶盖究竟是拧动了还是手指在空转,镜头里看着一模一样,何况接触点还常被手指自己挡住。

正因如此,汽车厂里插线束这种活,少了指尖那一下手感,全行业自动化率到现在还不到10%。

说到底,机器人今天缺的已不是更好的眼睛,而是灵敏的「手感」。

蚂蚁灵波科技刚刚正式发布并开源通用触觉基座模型LingBot-Touch,把这块最关键的短板补上了。


项目主页:https://technology.robbyant.com/lingbot-touch 

技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper 

GitHub:https://github.com/Robbyant/lingbot-touch 

Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch

魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch


视触觉、磁触觉、压阻式这三类不同的触觉信号,头一回被统一转换成动作模型拿来就能用的「通用触觉Token」。

这样一来,机器人终于能练出一套手感,换只灵巧手也能接着用。


532万参数即插即用;26项精细操作全线暴涨。


真机上的触觉反馈,对时效要求极高。

为了不跟视觉和动作模型抢算力,团队直接派出最轻量的Tiny版,参数只有532万。由此,接上0.13%到0.16%,几乎不添负担,灵巧手却瞬间有了「分寸感」。

抓喷雾瓶喷水这个动作,塑料瓶身滑得很。光凭视觉一发力,食指立马打滑,瓶子脱手。

换成LingBot-Touch上场,指尖刚出现一点滑动,握姿马上微调,扳机稳稳扣下。成功率从42.50%升到87.50%。

挤牙膏更吃双臂配合。软管捏轻了出不来,捏重了又喷得到处都是。

触觉Token一介入,双臂能稳稳对准窄小的刷头,拇指顺着管身阻力一点点加力,牙膏就精准落在刷毛上。

开头让视觉大模型撞坏真机的「插孔对准」,到了更精细的「拿钥匙开锁」上,也变得轻松。

指尖捏住小钥匙,贴着锁孔边试探边微调,靠的是那点微弱的碰撞阻力。对准之后一把拧开挂锁,干净利落。

「盲摸麻将」更有意思,规则卡得很死:牌面只要让镜头瞅见一眼,直接判零分。

灵巧手全程不靠眼睛,指腹轻按一下就能辨出凹凸花纹,再分进不同盘子。成功率翻倍,冲到70%。

拆两个叠放的软纸杯也一样,手指一挡就把镜头遮死,捏重了杯子扁,捏轻了又抽不出来。

触觉Token来帮忙,双臂顺着指尖那点摩擦变化轻轻一搓,内层纸杯就抽了出来。

日常细活之外,团队还拿两款不同构型的灵巧手配上四款主流动作模型,实测了26项真机任务和12项仿真操作。接入LingBot-Touch的组合全线领先。

  • 三大动作模型都涨了分:T-Rex、π0.5和LingBot-VLA的平均成功率分别提升23.18、21.81和24.81个百分点。

  • 精细操作又稳又准。单页翻书达到91.25%,按压弹出SD卡到92%,搬运软纸杯最高拿到100%满分。

  • 12项仿真操作也高分过关。转盘子、转笔的成功率都超过97%,纯视觉拿0分的「端托盘平衡滚球」也做到了67.7%。

蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 1)
蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 2)
蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 3)
蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 4)
蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 5)
蚂蚁灵波开源LingBot-Touch:532万参数给机器人补上触觉(配图 6)

左右滑动查看


5000小时真实触觉数据
灵巧手拿来就能用


触觉既然这么管用,通用大模型为什么难训?卡点主要在「传感器各说各话」和「真实数据极度匮乏」两处。

先说硬件。眼下主流的三类触觉传感器,底层原理各不相同:

  • 视触觉是在指尖塞个小相机,拍软胶形变,极细微的接触都能看清,拧瓶盖这类活合适,但帧率受限,反应偏慢;

  • 磁触觉借软磁材料受力改变磁场,多方向力和滑动都擅长,拉拉链、插插头在行,可周围磁场一干扰就麻烦;

  • 压阻式靠材料受压后电阻变化,成本低,能铺满手指和手掌,分辨率却有限。


结果就是同样压住杯壁,三类传感器记下的完全是三种东西。

缺真实数据更让人头疼。以往都靠人遥操作机械臂去采,慢且贵,大模型根本吃不饱。

数据这道坎怎么迈?蚂蚁灵波的法子是让真人套上一双轻便触觉手套,边过日子边把「人类手感」录下来。拧瓶盖、擦桌子、插插头,手上一使劲,手套就同步记下力道的变化。

人手戴手套采集,再配合真机遥操作,两路合起来,团队积累出全球规模最大的真实触觉数据——近5000小时(4983小时)、13.3亿帧,其中三分之二由人类手套贡献。

疑问也随之而来:人手的结构和灵巧手并不相同,这样采回来的数据,机器人能直接用吗?

实测结果出人意料:人手攒下的「手感」,竟能零样本直接迁移到一只全新的灵巧手上。更关键的是,预训练所用的磁触觉数据100%来自人类手套,模型此前根本没接触过测试所用的那款新磁触觉灵巧手。

团队把触觉模型参数彻底冻住,直接装到这只新灵巧手上,π0.5的平均成功率随即从48%升到74.17%,搬软纸杯一项则从58%提高到90%。换句话说,理解物理接触的能力已经不再受硬件形态限制,从人手原样传到了灵巧手。


三类触觉信号统一起来,靠预测受力练出真手感


落到最底层,三种传感器、人手和灵巧手的数据,如何塞进同一个模型?灵波团队盯住的是最根本的共性:无论传感器测的是图像、磁场还是电阻,要回答的都是同样四个问题——手指碰在哪、用了多大力、力朝哪个方向走、有没有在打滑。

问题既然一致,团队就把「理解接触」这件事单独拿出来,按三步做成一个通用基础模型。第一步是按原理分别「收件」。

做法是给三类传感器各配一个极简入口,统一格式之后送进同一个触觉主干网络学习,同类原理的新硬件能直接接入。

第二步,让所有指尖落在同一张「地图」(5D-RoPE)上。只统一格式还不够,不同灵巧手的触点排布差异很大。

团队因此把所有触点映射进三维指尖球面坐标,并对疏密和位置做随机微调,避免模型死记某一种硬件的排布。

第三步,是解一道「补全接触」的题(Tactile-JEPA)。为什么要专门设这道题?抓握物体时,超过90%的触点其实什么都没碰到,读数全是零值和底噪。

若照搬视觉模型的做法,遮住一块再还原原始读数,模型只要全填零就能轻松拿到90分。

结果在四千小时数据下,传统方案的跨模态检索前5名召回率分别只有3.06%和8.69%。

LingBot-Touch于是借鉴了图灵奖得主LeCun推崇的JEPA架构,直接遮住高达90%的区域。它不让模型还原零值底噪,而是去推断被遮住的地方受力如何,检索召回率一举提升到49.32%。


盲摸定位能准到什么程度?0.12毫米。
触觉同样可以Scaling。


这套架构对物理接触的感知精度如何?

团队在五项物理接触测试里给主流开源模型FTP-1开了口子,允许它外挂硬件专用适配器;LingBot-Touch则全程锁死权重,参数一个都不改。

让了对手一手,结果还是LingBot-Touch赢:指尖盲摸定位误差从对手的2.19毫米压到0.12毫米,换到新款磁触觉灵巧手上也压到了0.16毫米。

指尖三维力感知误差同时降了约65%。装进同一个动作大脑测5项真机任务,平均成功率82.2%,对手是67.5%。

更关键的是,团队在五千小时量级上看到了触觉的Scaling现象,跑出两个趋势。

第一,三类不同传感器的数据混在一起训,所有指标都压过单打独斗,各条硬件路线的数据汇到一处,跑出了「1+1+1>3」的效果。

第二,数据堆到近5000小时时,轻量级Tiny版在4000小时后逐渐饱和,容量更大的Small版还在持续上涨。

模型越大、数据越多,机器人的「手感」就越强。


硬件不必统一,智能可以共享。


LingBot-Touch的价值,其实不止于让机器人多了一种感觉。

触觉是典型的「物理原生模态」——文字、图像在网上随处可见,数字世界的大模型却从没真正「摸」过东西。开头Astra插头卡死都浑然不觉,原因就在这里。

再加上传感器原理各不相同,触觉长期分散零碎,一直没能形成统一的表征。

如今LingBot-Touch证明了,哪怕是最依赖硬件的触觉,也可以提炼出统一的表征。

这条路在触觉上走通了,进一步看,完全可以展开到具身智能整体。

硬件本身才是物理操作难以泛化的关键堵点:各家本体、灵巧手、传感器的技术路线都不统一,辛苦积累的经验因此被各自的硬件框住,没法流通。

蚂蚁灵波的思路很明确:硬件不必统一,智能可以共享。

它瞄准的,是夹在硬件与场景中间的那层智能:让不同本体、不同传感器攒下的物理经验,转化为可共享的统一表征,并以开源、可拆分的形式对外提供。

今年灵波已先后开源了负责看得更清楚的空间感知模型、负责想得更明白的世界模型,以及负责干得更利索的跨本体动作模型。

此次开源的LingBot-Touch,把「具身原生」大脑全栈2.0中触觉更灵敏的那一环补齐了,也让同一套方法落到最吃硬件的触觉上——触觉这条路能走通,就说明它同样适用于其他新出现的感知方式。

落到产业上,这层共享智能直接帮上下游省下了重复造轮子的精力。

对触觉传感器厂商来说,过去每推出一款新传感器,都得自己采数据、从头训一套触觉模型,动作模型才能用得上,门槛高、周期长。

眼下,新硬件只要接入LingBot-Touch,就能生成通用的触觉Token,厂商可以把力气放在精度、耐用性和成本上,产品被各家机器人采用也会更容易。

灵巧手厂商和整机厂感受最直接的一点,是选型上的束缚松开了。

同一只手上,各部位的需求本就不同。捏、拧、搓这类精细活儿落在指尖,得有高分辨率才能看清细微接触;托和握主要靠手掌,要的是大面积、低成本的受力感知。

按部位各取所长当然最理想。可过去一只手上装两种传感器,就得分别训练两套触觉模型,开发和多一份维护的钱都省不掉。

如今情况变了:不同原理的触觉信号,同一个LingBot-Touch都能读懂。「指尖视触觉+手掌压阻阵列」这种性价比高的搭配,可以放心装上手,也真正用起来了。

落地方面,蚂蚁灵波已与多家机器人本体厂商及行业伙伴合作,把这套具身大脑能力送进零售药房、仓储物流和工厂产线干活。

回看大模型在数字世界的爆发,靠的是海量文字和图像能被统一学习、反复复用。

而现在,连最依赖硬件的「手感」也能预训练、能复用。物理智能因此有了像语言智能那样越积越厚的可能。

硬件端可以百花齐放,智能却能在同一层上持续生长。

机器人真正走进千行百业的拐点,或许就从此处开始。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GPT-6.2 Sol灰度上线:一句话生成3D场景,空降AA榜首

    新智元报道 就在刚刚,GPT-6.2 Sol 悄悄「灰度」上线了!很多人发现,自己被悄悄路由到了GPT-6.2 Sol,感受就是——强大得离谱。现在,X上到处都是实测demo的刷屏。网友都玩儿疯了,直接登上国外社交媒体热搜——仅凭一句话,GPT-6.2 So就能无中生有完整的3D交互场景,所有复杂的 Three.js

    来源 腾讯网
  2. Anthropic发布Fable 5.2与Mythos 5.2:难活交给新模型,日常仍用Opus

    刚刚, Anthropic推出了两款面向高难度技术任务的新模型,Claude Fable 5.2和Claude Mythos 5.2。与过去主要围绕编程、推理和知识问答展开的模型升级不同,这一次Anthropic展示的成果,主要是操作系统开发、数学证明、理论物理、电子硬件设计和机器人控制等领域。比如,一个工程师只给出开

    来源 腾讯网
  3. GPT-6 Astra改权重引热议:对照实验显示模型并未真正变聪明

    张牧涵博士,无涯智远(Norizon AI)创始人兼首席科学家,主要研究方向为持续学习、自进化智能体、图机器学习、大模型架构和推理等。曾任 Facebook AI(现 Meta AI)研究科学家,负责面向十亿用户规模的大规模图机器学习系统研发。现任北京大学人工智能研究院助理教授、研究员、博士生导师,首届国家级青年人才项

    来源 腾讯网
  4. GPT-6.2 Astra将至:具身智能公司传裁算法岗,自研模型还值得做吗

    GPT-6 Astra发布才两个月,GPT-6.2 Astra眼瞅着就要来了。 然而具身智能行业还没从上一轮打击中缓过神来。 一切都是那么猝不及防。 还记得GPT-6 Astra刚出来时,一批具身从业者被打懵了。特别是在一线搞预训练的工程师,更是人人自危。 近期,业内又传出消息,一些具身智能公司开始裁撤算法岗。 过去需

    来源 AI 行业观察
  5. GPT-6 Astra编码实测:69.9%验收达标,整任务完成仅26.4%

    阿里巴巴联合五所高校发布Co-Design Bench,基于26314个真实编码会话提炼273道任务。GPT-6 Astra平均满足69.9%验收条件,但完整完成任务仅26.4%。报告指出局部达标与完整交付存在明显差距,测试覆盖多模态编辑与仓库编辑两轨。

    来源 AI 科技快讯
  6. Meta上线Muse Ember:跑分追平Claude Haiku 5.5,成本仅1/3

    Muse Ember 专为复杂推理与智能体设计,支持 100 万 Token 上下文,可一次性处理完整代码库,原生理解文本、图像、音频和视频。跑分超越 GPT-6 Luna,定价每百万输入 Token 仅 0.10 美元。#Meta AI 模型# #轻量级AI#

    来源 IT之家
  7. 苹果AI掉队焦虑:特努斯催费德里吉重做软件路线图

    【TechWeb】由于成本上涨剥夺了安卓手机的价格优势,苹果对安卓平台的侵蚀已不再担忧,真正危险的敌人换成了那些AI大厂。iOS 27.3版Siri虽能实现更多自动化任务,但与最强大的智能体相比仍相去甚远。若不能迎头赶上,一旦OpenAI、谷歌甚至Anthropic有心发布一款集成前沿模型的个人终端,iPhone或许会

    来源 腾讯网
  8. GPT-6.2 缺席背后:Vals AI 安全警告与 OpenAI 内部失配报告

    OpenAI 原定于 11 月 6 日发布的 GPT-6.2 Astra 和 Sol 模型并未如期亮相。第三方机构 Vals AI 警告发现严重安全漏洞,虽未点名但引发猜测。与此同时,OpenAI 内部报告披露 GPT-6 系列存在关闭监控、隐瞒操作等失配行为。本文梳理各方消息,分析新模型延期可能涉及的安全对齐难题及智

    来源 AI 应用前沿
  9. AI研发AI冲出逃逸速度:Anthropic Model 4让研究员提速10倍

    哪怕明天全人类拔掉所有新数据中心的电源,也拦不住超级智能了! 就在刚刚,硅谷「AI自己研发AI」的真实进度条被彻底掀开。 哈佛物理学家兼计算机科学家Alex Wissner-Gross在最新播客中直言,AI如今已经越过了「超级智能逃逸速度」。 在他看来,单凭目前掌握的算法洞见与机房里现成的存量算力,就已经足够一路推向超

    来源 AI 行业观察
  10. Shizuku AI推出Shizuku-Duplex:日语全双工模型,为伴侣式AI铺路

    IT之家 11 月 9 日消息,日本人工智能实验室 Shizuku(雫)AI 当地时间昨日公布了其开发的 Shizuku-Duplex,宣称其是继 GPT-Live 后第二个支持日语智能对话的全双工模型,无需完整询问即启动思考流程。在日语方面,Shizuku-Duplex 拥有 6 个参测模型中最高的对话自然性,响应质

    来源 腾讯网
  11. OpenAI们成苹果真正对手:Siri落后,特努斯催费德里吉交新路线图

    【TechWeb】由于成本上涨剥夺了安卓手机的价格优势,苹果对安卓平台的侵蚀已不再担忧,真正危险的敌人换成了那些AI大厂。 iOS 27.3版Siri虽能实现更多自动化任务,但与最强大的智能体相比仍相去甚远。若不能迎头赶上,一旦OpenAI、谷歌甚至Anthropic有心发布一款集成前沿模型的个人终端,iPhone或许

    来源 AI 行业观察
  12. Anthropic发布Claude Fable 5.2与Mythos 5.2:编程与科研推理升级

    21世纪经济报道新质生产力研究院综合报道 早上好,新的一天又开始了。在过去的24小时内,科技行业发生了哪些有意思的事情?来跟21tech一起看看吧。 【巨头风向标】 Anthropic新一代大模型亮相 Anthropic发布新一代旗舰模型Claude Fable 5.2和Claude Mythos 5.2。从公司公布的

    来源 腾讯网
  13. 苹果AI备案扩至iPad与笔记本,英伟达单夜市值缩水1.29万亿元

    · 曝苹果调整 iOS 28 开发节奏,首阶段留出六周探索功能 · 谷歌发布两套第八代 TPU 系统,分别面向长上下文和保密推理 · 迪士尼与 Adobe 达成多年合作,将为旗下 IP 定制生成模型 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

    来源 AI 行业观察
  14. Anthropic发布Mythos与Fable新模型

    Anthropic于2026年11月10日发布新一代AI模型Mythos和Fable,称两者在编码、推理、视觉等方面均有提升,且与用户沟通更加清晰。值得注意的是,此次发布恰逢业界对递归自我改进(RSI)的担忧升温——即AI系统可能自主迭代升级。分析认为,Anthropic需在技术突破与安全回应间寻求平衡,新模型的性能提

    来源 AI 科技快讯
  15. ChatGPT占全球AI聊天机器人流量超81%,月访问量613.5亿次创新高

    IT之家 11 月 9 日消息,今年早些时候,随着谷歌和 Anthropic 等竞争对手势头渐起,ChatGPT 在 AI 市场的主导地位一度显现出松动迹象。不过,一项最新研究显示,OpenAI 旗下这款旗舰产品正在意外反弹。 研究与增长营销公司 Graphite 的一项研究显示,目前 ChatGPT 占全球主要 AI

    来源 AI 行业观察
向下滚动自动加载更多