蚂蚁灵波发布LingBot-Touch:触觉预训练模型打通多传感器数据

资讯 腾讯网 作者:腾讯网 全文 5432 字 · 约 14 分钟读完 分类机器人

作者 | 毛心如 机器人翻书时,手指沿着纸页边缘轻轻移动;它需要判断自己带起的是一页,还是两页。 拧瓶盖时,手腕转过相同的角度,瓶盖可能已经开始旋转,也可能只是指尖在盖沿打滑。 ....

所属频道 机器人与具身智能

机器人翻动书页时,手指会贴着纸边慢慢挪,它得分辨带起来的是一张纸还是两张。

拧瓶盖也一样:手腕转过的角度相同,瓶盖或许已经跟着转,或许只是指尖在盖沿打滑。

画面里看着差不多的动作,落到手指和物体的接触上,对应的状态可能完全两样。

精细操作最难啃的地方,恰恰藏在这些细微差别里。

视觉能帮机器人找到物体、判断位置和远近,可手指一旦碰上物体,接触点落在哪儿、受力有多重、有没有打滑,常常被遮挡,光看画面很难说清。

想把动作做稳,机器人除了看得见,还得知道自己摸到了什么。

灵巧手接下的精细活越来越多,机器人要解决的已不只是怎么抓住物体,还包括碰到之后怎么感知、怎么判断、怎么及时调整。

触觉就这样成了机器人感知体系里越来越要紧的一环。

问题也跟着冒出来:触觉传感器的技术路线还没收敛,各设备采的数据很难直接互通,在一款硬件上学到的触觉经验,也很难顺顺当当搬到另一款灵巧手上。

蚂蚁灵波最近发布的触觉预训练基础模型 LingBot-Touch,盯上的就是这道鸿沟。

它想把不同触觉传感器产生的信号转成统一、可复用的表征,让不同灵巧手和动作模型共享对接触信息的理解,同时给灵波的机器人通用大脑补上触觉感知这一环。

看得更清楚、想得更明白、干得更利索之外,机器人还得摸得更灵敏。

硬件在分叉,能力要收敛

眼下的触觉传感器,没有一条现成的标准答案。各类方案在感知精度、覆盖面积、响应速度、安装空间和成本之间各有取舍,厂商通常要照着灵巧手的结构和目标任务来挑。

目前比较典型的方案主要有三类:视触觉、磁触觉和压阻式:

三条路线各有各的长处:指尖要分辨细微形变,掌面要覆盖更大的接触区域,不同任务对压力、滑动和受力方向的要求也不一样。

硬件多样化是工程上的现实选择,麻烦的是它带来的数据差异。

拿抓握杯子来说,视触觉记的是形变图像,磁触觉读的是磁场变化,压阻式输出的则是电阻变化。各设备的触点排布、采样频率、数据维度和标定方式也都不一样。

对动作模型来说,这些信号很难直接摆到一起理解。换一次传感器,往往就得重新处理接口、标定和信号解算,上游模型所需的数据量因此减少,下游策略重新适配特定数据的工作量反倒增加。

时间一长,不同厂商和团队就容易形成各自割裂的数据与算法链条。

为了解开这个结,研究界开始试着建立更通用的触觉表征,研究重点也从单一传感器的特征提取,慢慢转向跨传感器学习。

Meta 等团队推出的 Sparsh,用超过 46 万张触觉图像做自监督预训练,主要面向视触觉传感器;T3 则把 13 种相机式触觉传感器、11 类任务的数据整合进 FoTa 数据集,靠共享 Transformer 学习跨传感器、跨任务表征。

这两项探索的范围,大体仍集中在视触觉领域。

图像、阵列和状态这几类触觉输入也被 FTP-1 纳入进来,信号先经不同编码器映射到同一个潜在空间,随后由共享触觉专家接手处理。预训练数据规模约 3000 小时,涉及 21 种传感器、26 个数据来源。

但碰到没见过的新传感器,还是得单独训练一套专属编码器,换硬件并不等于拿起来就能用。

TACTX 走得更远一些,尝试把视触觉、磁触觉和压阻式三类信号对齐,用成对接触数据学习共享表征,并检验跨传感器迁移是否可行。

这些研究的模型定位和实验设置其实各不相同:有的侧重解决视触觉传感器之间的泛化,有的把多种触觉信号纳入通用动作策略,还有的专门探索跨感知机理的表征对齐,因此不能简单按实验结果排出高低。

LingBot-Touch 的切入方式不一样:它把触觉理解能力单独训练成一个表征模块,供不同动作模型调用,从而减少对特定传感器和单一动作策略的绑定。

道理不复杂:机器人可以用不同的手,任务可以采用不同的动作策略,但碰到了什么、接触位置在哪里、受力如何变化、物体是否正在滑动,这些信息它们都得理解。

与其等硬件路线收敛,不如先在模型层建立一套共同语言。

触觉理解一旦能逐步摆脱对特定传感器的依赖,一款设备积累的经验,才有机会成为另一款设备继续学习的起点。

蚂蚁灵波之所以把触觉能力做成独立基础模型,出发点也在这里。

通用触觉底座的真考验:能迁移,也得真管用

要撑起这样的公共层,首先得有足够规模、足够多样的真实数据。

LingBot-Touch 用了 4983 小时的真实触觉记录,包含 464431 段交互、约 13.3 亿帧,覆盖抓握、旋转、滑动、擦拭、装配、双手配合以及操作易碎易变形物体等 24 类任务。

数据来自两条路径:

  • 一条是人戴着压阻式和磁触觉手套做日常操作,大部分时长由这条路径贡献;

  • 另一条是人遥操作搭载 Sharpa Wave 的双臂机器人,用来补充视触觉数据。

前者不依赖机器人本体,能覆盖更丰富的日常交互;后者提供的交互经验则更接近实际部署的硬件。

两类数据在任务类别上做了匹配,同时保留传感原理、布局和采样率上的差异。

数据越异构,就越需要一个能接住差异的公共层,而不是让每家厂商各攒一套互不相通的经验。

模型设计上,LingBot-Touch 主要做了三件事。

第一,为每个有效测点打上时间、手指身份和三维位置的标签,再把各类传感器的触点统一映射到指尖坐标空间里,使来源不同的信号能在一个共同的空间参照下对齐。

第二,不同原理的信号先经过各自的浅层编码器,再进入共享的 Haptic Transformer(触觉 Transformer),从统一的时空表征中提取接触特征。

训练方式也针对触觉信号的特点做了调整。触觉数据里有大量没有发生接触的时刻,原始读数往往接近零。如果只要求模型还原输入,它很可能靠预测大量无接触数据拿到较低的训练误差,却没有真正学会判断接触。

为此,LingBot-Touch 选用 Tactile-JEPA,不逐点重建原始信号,而是在潜在特征空间里推断被遮挡区域的接触情况。触点密度和位置也会被模型加入扰动,从而减少对固定传感器布局的依赖。

它真正想学到的,是接触发生在哪里、受力如何变化,以及这些变化随时间呈现出怎样的规律。

不过,模型设计有没有效,最终还要看换了传感器和灵巧手之后,这套能力能否继续发挥作用。

测试用的两只手分别是 Sharpa Wave 和 XHand。

Sharpa Wave 搭载的是预训练阶段接触过的视触觉传感器;XHand 身上的磁触觉传感器型号没在训练数据里出现过,分辨率、采样频率、触点布局也都对不上。

团队没去动已经训好的 LingBot-Touch 参数,直接拿它给 XHand 提触觉表征,然后只用这只手的任务示范去训下游动作策略。

结果说明,同一套表征能跨过传感器型号和灵巧手结构的差异。

边界得说清楚:复用的是理解接触的那部分能力,至于怎么控制一只新手,还是得靠任务示范去学。

换个说法,手换了,控制要重学,但“触觉怎么理解”这一课不用从头再上。

跨硬件迁移检验的是表征的通用性。另一项实验要看的则是:不同动作模型能不能把这套表征真正用起来。

两款手上加起来跑了 26 项真机任务,Sharpa Wave 占 20 项、XHand 占 6 项,翻页、拧瓶盖、拉拉链、插吸管、搬运易变形的杯子都在里面。参与的动作模型有 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex。

每一组都摆三种输入做对照:不给触觉、把原始触觉信号直接喂进去、用 LingBot-Touch 提取的特征。

两款手上的四种模型,平均成功率都在用 Touch 特征时排到第一。

平均分只是敲门砖,更该盯的是同一套特征能不能被不同策略稳稳调起来。

Sharpa Wave 配 π0.5 的拉拉链实验最说明问题:没有触觉时成功率 39%,直接把原始触觉信号输进去反而掉到 15%,换成 LingBot-Touch 特征后升到 59%。

拧瓶盖等任务也有类似的对照,结论是有信号不等于会用。原始读数里混着传感器自身的噪声、跟任务无关的维度,还有设备之间的分布差异,不处理就塞给动作模型,有时候反倒添乱。

从原始信号到决策真正需要的物理信息,中间缺一层适合模型理解的表征。触觉硬件管的是测得到,表征模型管的是用得上。

当然,提升幅度并非每个任务都一样大。有些任务上 Touch 带来的增益比较有限,跟直接输入原始信号的差距也不明显。

这意味着结论还需要更多真机验证,也需要更宽的任务分布来观察。

但跨手、跨策略的整体表现已经放出积极信号:把接触理解抽成一个独立模块,再接到现有动作模型上,这条路值得接着探。

部分任务上的差异同样在提醒,公共表征不是万能钥匙,效果还得看具体任务和传感器分布。

真机之外,团队还在 12 项仿真接触丰富任务里做了强化学习验证。

LingBot-Touch 平均成功率 68.95%,CNN 触觉特征为 45.59%,无触觉输入只有 21.42%;转盘子、转笔、平衡球这类接触持续变化、需要协调控制的任务,差距拉得最开。

仿真结果起补充作用,说明这套表征在不同接触动态下也能给出有效信息。

另外,从实验室走到真机,计算开销绕不开。

触觉的价值有一部分在于及时反馈:杯子刚沿指腹滑动时,机器人还有机会收紧手指;等物体已经脱手,再准地判断滑动状态也没用了。

与此同时,真机上视觉、空间感知和动作模型都要跑,能分给触觉模块的算力并不多。

为此,LingBot-Touch 分成 Tiny 和 Small 两个版本。Tiny 大约 532 万参数,论文里 26 项真机测试用的全是它。接到 LingBot-VLA、π0.5 和 T-Rex 上之后,模型参数量各自只多了约 0.13%、0.15% 和 0.16%。说到底,触觉表征光在实验里证明有效还不够,得足够轻,才进得了算力吃紧的机器人系统。

触觉基础模型怎么走到更多机器人上去?

一套触觉表征如果能跨不同传感器、灵巧手和动作模型复用,变的不只是模型怎么接,硬件、数据和算法之间的活儿也得分重新划。以前硬件厂商得围着自己的传感器做标定、降噪和信号解算,机器人团队还得按具体手型和操作任务去训策略。

环节与环节之间堆着大量适配工作,某套硬件攒下的数据和经验,别的团队未必拿得走。通用触觉表征则给出了另一种分工的可能:传感器厂商接着把精度、稳定性、耐用性和成本做上去,灵巧手厂商按应用挑感知方案,算法团队直接在现成的触觉表征上开发动作策略。

它替代不了传感器标定、器件补偿和本体控制,也不等于不同硬件一接上模型就能把所有任务干完。不过,共性的接触理解能力一旦能独立复用,团队就有机会少做重复的底层表征工作,把精力挪到硬件适配和具体任务上。

这还会让灵巧手在传感器配置上更放得开。指尖要识别微小接触形变,可以上视触觉;指腹和掌面要覆盖更大面积,压阻式阵列可以考虑;其他位置也能加磁触觉或柔性电子皮肤。未来一只灵巧手上同时装多种传感器,各管各更擅长的感知任务,再交给统一表征层整合,或许会成为一种新的设计思路。

对模型厂商和整机团队来说,独立的触觉表征同样多了一条接入路径。实验里,LingBot-Touch 不只接了灵波自家的 LingBot-VLA,也接了 π0.5、Diffusion Policy 和 T-Rex。也就是说,触觉能力有希望作为相对独立的模块,被不同技术路线的动作模型调用。

对蚂蚁灵波自己来说,LingBot-Touch 是具身原生通用大脑里又补上的一块。这套体系此前已经有负责空间感知的 Vision 和 Depth 2.0、理解环境变化的 Video 和 World 2.0、生成动作的 VLA 2.0 和 VA 2.0。

从构建思路看,这套体系是把机器人完成物理任务所需的能力一项项拆开、分别验证,再慢慢连成从感知、预测到执行的闭环。触觉补的,正是接触之后的感知与反馈。

眼下,蚂蚁灵波也在和乐聚、钛虎等本体伙伴,以及国大药房、隆盛等场景伙伴一起,围绕零售分拣、物流和工业场景做测试,推着这些能力从实验验证走向真实应用。

这也是具身原生模型和通用大模型在技术侧重上的一个差别:前者得直接处理物理交互中产生的力、形变和接触动态,再把这些信息变成机器人能用的决策依据。

当然,触觉技术不会因为一款模型发布就走向统一。不同传感器还会在分辨率、覆盖面积、响应速度和成本上继续演进,灵巧手也会按任务挑不同的硬件组合。

但有个问题必须解决:让这些设备攒下的接触经验不再彼此隔绝。LingBot-Touch 给了一个值得验证的方向——硬件保持多样,模型去学共同的接触表征,再交给不同的动作策略。

现在拿出的结果,还得靠更多本体、更多种类的传感器以及更多真实场景去检验。

不过它至少把一个关键问题推到了前台:具身智能的通用性,能不能从动作模型的复用,再往前走到物理交互经验的复用?

从物理世界的真实需要出发,把共性的能力沉淀成公共层,让不同团队在这个基础上继续摸索各自的硬件与任务——触觉基础模型更长远的价值,或许就落在这里。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 蚂蚁灵波开源LingBot-Touch:触觉基础模型让机器人摸得更灵敏

    【TechWeb】11月10日消息,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进

    来源 腾讯网
  2. 蚂蚁灵波开源 LingBot-Touch 触觉模型:26 项真机测试成功率最高 90%

    IT之家 11 月 10 日消息,今日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。IT之家从官方介绍获悉,基于近 5000 小时真实触觉数据预训练,LingBot-Touch 覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,让积累的“手感

    来源 腾讯网
  3. FFR机器人模型登顶仿真榜,贾跃亭披露两项业绩会安排

    截至11月6日,FFR旗下OmniMind模型在具身智能仿真评测平台RoboColiseum榜单中以0.8698分位居综合第一,超过英伟达GR00T N1.7、GPT-6 Astra等模型。FFR将于北京时间11月13日召开上市后首次业绩电话会,FFAI则定于11月17日举行。

    来源 凤凰科技
  4. 无境动力停摆:10亿订单与1.1亿融资背后,800万欠薪困局

    “你现在能不能联系上小飞,你什么时候能联系上他,他在干什么?” Tech星球获得的一份公司内部会议录音里,员工向公司高管急促的质问,撕开了具身智能赛道又一场泡沫破裂的现实。 被追问的崔小飞,是无境未来动力科技的实际控制人。 这家2026年2月才成立的机器人公司,曾快速打出高光叙事:6月官宣拿下近10亿元订单,7月落地1

    来源 AI 行业观察
  5. 云深处绝影X50四足机器人:50kg负载下以3m/s疾驰2公里

    11月6日,云深处科技正式发布四足机器人新产品——绝影X50。它通过“感控融合”全新升级,搭配高刚性高响应关节系统,实现了更大负载、更强通行与更稳姿态的综合突破。云深处进一步拓展了四足机器人在极端环境下的重载作业边界,为应急消防、能源电力等高风险行业解决痛点。 重载与通行,长期是四足机器人难以两全的难题:负载一加,爬坡

    来源 AI 行业观察
  6. ChatGPT占全球AI聊天机器人流量超81%,月访问量613.5亿次创新高

    IT之家 11 月 9 日消息,今年早些时候,随着谷歌和 Anthropic 等竞争对手势头渐起,ChatGPT 在 AI 市场的主导地位一度显现出松动迹象。不过,一项最新研究显示,OpenAI 旗下这款旗舰产品正在意外反弹。 研究与增长营销公司 Graphite 的一项研究显示,目前 ChatGPT 占全球主要 AI

    来源 AI 行业观察
  7. 豪森智能回应智元合作:人形机器人业务仍在探索应用阶段

    有投资者向豪森智能(688529.SH)提问,公司与智元具身机器人合作是否顺利?在具身智能数据采集方面有哪些突破? 11月9日,公司回答表示,公司与智元机器人的合作主要围绕人形机器人在工业场景中的应用探索,关于具身智能数据采集,公司正结合具体应用场景及工艺需求开展相关技术研发与验证。公司人形机器人相关业务目前仍处...

    来源 腾讯网
  8. 珞石机器人双11产线实探:人形机器人销量涨700%,供应链补课进行时

    每经记者:王郁彪 每经编辑:余婷婷近日,珞石机器人邹城工厂的产线在午后依然繁忙。机械臂一排排下线,工位上的指示灯不停闪烁。测试区内,一台工业机械臂正负载220公斤载重块反复起落,旁边另一台机械臂则在进行精细化的工业加工,动作轻得几乎听不见声音。 图片来源:每经记者 王郁彪 摄需求端的爆发让机器人制造的切面...

    来源 腾讯网
  9. 00后团队云望创新:三轮融资后推出A1 Lite,花1000多天做智能泡沫轴

    公司已经完成三轮融资,二代产品云望 A1 Lite 已正式在线下首发。 作者丨杨文静 编辑丨姚单 投资人只和他聊过一场足球,就做出了决定。 不久前,云望创新第二代全自动泡沫轴 A1 Lite 线下首发,雷峰网·鲸犀见到了这个团队。他们已经完成三轮融资,并以一年一代的进度在迭代产品。 这是一个 00 后团队,创始人孙英东

    来源 AI 行业观察
  10. 中国机器人走进都柏林机场:跑道检测从单次卖设备转向长期服务

    【文/观察者网 王勇 编辑/赵乾坤】从欧洲国际机场的跑道监测,到中东城市的市政道路清洁,中国机器人正在进入一个过去并不显眼、却与公共安全和城市运行密切相关的市场——基础设施智能检测。据英国广播公司(BBC)、美国《人物》杂志网站日前报道,中国制造的人形机器人正逐步走进全球多地机场,为道路基础设施做“CT”,...

    来源 腾讯网
  11. 英伟达GR00T 2:5次示范达95%,产线验证启动

    2026年11月9日,英伟达在CoRL 2026大会发布GR00T 2机器人世界行动模型,五次任务示范后在50项评测任务上成功率达95%,零示范条件下可完成其中40项。富士康用于服务器制造、西门子评估工业场景、Nexuni测试洗衣操作,标志着通用机器人基础模型首次进入多家企业产线验证阶段。同步发布Isaac Lab 3

    来源 AI 科技快讯
  12. 英伟达GR00T 2亮相:五次示范成功率95%,权重12月才开放

    2026年11月9日,英伟达在CoRL 2026大会发布GR00T 2机器人世界行动模型,五次任务示范后在50项评测任务上成功率达95%,零示范条件下可完成其中40项。富士康用于服务器制造、西门子评估工业场景、Nexuni测试洗衣操作,标志着通用机器人基础模型首次进入多家企业产线验证阶段。同步发布Isaac Lab 3

    来源 AI 行业观察
  13. 独家对话施晓鑫:人形机器人的终局,一半在手上

    「职场Bonus」(ID:ZhiChangHongLi) “艾莫,能助” · 01 灵巧手的三道坎 · 02 审美与拟人:跨越恐怖谷的方法 · 03 解读“艾莫”的组织 · 04 匠之心 · 05 施晓鑫四个月没有公开说过话了。 外界上一次听到他的消息来自6月初的那条朋友圈:“有幸在此驻足1675天,遇到这样一个可爱又

    来源 AI 行业观察
  14. 蚂蚁灵波开源LingBot-Touch:具身原生路线能否走通?

    近期,通用大模型在任务理解、复杂推理等能力上持续突破,机器人"大脑"走哪条技术路线,再次成为具身智能行业讨论的焦点:是接入通用大模型、以数字智能驱动物理动作,还是坚持具身原生、把物理感知和闭环操作作为底座? 11月10日,蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,给出了自己的答案。该模型基于近5000小

    来源 AI 行业观察
  15. 世界模型融资降温:上半年热钱汹涌,下半年一TS难求

    文章转载于量子位作者:衡宇轰动一时的田柯宇创业事件,可能只是年度风口“世界模型”急转直下的注脚。在舆论的热议中,VC资本对于创业者职业道德的要求,成了业内业外持续闲谈深思的一题。但水下,田柯宇所押注的“世界模型”赛道,正在从上半年热钱汹涌,转向了下半年一TS难求——资本确实在抬高世界模型投资意向书发出的...

    来源 腾讯网
向下滚动自动加载更多