蚂蚁灵波开源LingBot-Touch:近5000小时触觉数据训练机器人“手感”
近期,通用大模型在任务理解、复杂推理等能力上持续突破,机器人“大脑”走哪条技术路线,再次成为具身智能行业讨论的焦点。Anthropic最新发布的Claude Fable 5.2,展示了控制机器人拧瓶盖、操作拼图等能力,也在机器人仿真评测中取得明显进展。通用模型向物理世界延伸的潜力,正在得到更多验证。这也让一个问题变得更
近来,通用大模型在任务理解、复杂推理等方面接连取得突破,具身智能行业又把目光拉回到一个老问题上:机器人的“大脑”究竟该走哪条技术路线。
拧瓶盖、拼拼图,这些动作在
Anthropic最新发布的Claude Fable 5.2上已经能完成,该模型在机器人仿真评测里也有明显进步。通用模型向物理世界延伸,潜力正被一次次验证。
问题也因此更具体了:指令能听懂、步骤能规划之后,动作怎么才能稳稳当当地做出来?
11月10日,蚂蚁灵波科技把触觉基础模型LingBot-Touch开源,答案落在接触感知这一环。该模型用近5000小时真实触觉数据做预训练,磁触觉、视触觉、压阻式三类传感原理都覆盖在内,不同信号被转成统一的触觉表征,供各类灵巧手和动作模型调用。
它要补的是机器人碰到物体之后的判断能力:有没有抓稳、是不是在打滑、接下来该加力还是松手。
训练通用的“手感”
手感属于典型的默会知识。波兰尼的看法是,人知道的东西远比说出口的多。这类知识没法靠文字传授,只能在反复练习里习得,机器人想掌握,同样得靠经验积累。
机器怎么攒出这种手感?LingBot-Touch的训练方法给出了一个过程。
从学习时长看,LingBot-Touch预训练投入4983小时真实触觉数据,包含46.4万段交互、约13.3亿帧,动作涵盖抓握、旋转、滑动、擦拭、装配和双手配合。
近5000小时数据把三条触觉路线都收了进来:人戴触觉手套采集的2197小时压阻式数据、1136小时磁触觉数据,以及遥操Sharpa Wave双臂灵巧手机器人采集的1650小时视触觉数据。
其中三分之二的接触数据由真人戴手套采集,不依赖机器人本体,这为数据规模的积累提供了另一条增长曲线。
三类传感器的指尖大小、触点数量和排布各不相同,得在模型侧做对齐。LingBot-Touch的处理办法是把各种信号统一翻译成同一种触觉Token,每个Token都标注时间、手指编号和三维位置;训练时再对触点密度和位置加扰动,避免模型把某一款传感器的排布死记下来。
触觉信号本身很稀疏。灵巧手伸向目标、调整姿态的过程中,传感器读数接近零,有效信号只在接触那一瞬间出现,绝大部分时间是没有触觉信号的。若按“看到什么学什么”的路子训练,很可能什么都学不到。
LingBot-Touch换了个做法:把一段记录里的部分触点遮住,让模型依据其余触点的变化推断被遮区域可能发生了哪种接触,再放到特征空间里比对,不追求还原原始读数。这样训练的注意力就集中到了有接触的关键帧上。
端侧模型尺寸不能太大,杯子一旦开始打滑,留给触觉计算的时间窗口转瞬即逝。考虑到这一点,LingBot-Touch提供Tiny和Small两个版本,轻量化的Tiny版约530万参数,接入LingBot-VLA、π0.5和T-Rex后,参数量分别只增加0.13%、0.15%和0.16%。
参数量控制住了,效果却没有打折扣。
真机测试用了高自由度的Sharpa Wave和低自由度的XHand两款灵巧手,动作模型有四款:灵波自家的LingBot-VLA,以及外部的π0.5、Diffusion Policy和T-Rex。每种搭配跑三组对照——不用触觉、直接喂原始信号、用LingBot-Touch提取触觉Token。
两款灵巧手合计完成翻书、叠杯、搬运易变形杯、按软硬分拣、交接盒子等26项任务,四种动作模型的平均成功率,最高的都是使用LingBot-Touch的那一组。
技术报告里有个拉合拉链的场景:在Sharpa Wave上,π0.5不用触觉时成功率为39%,直接喂原始信号跌到15%,换成LingBot-Touch的触觉Token后回升至59%。
感知精度方面,LingBot-Touch定位接触中心更准,在Sharpa Wave上的平均定位误差为0.12毫米;作为对照的FTP-1即便配上平台专用适配器,误差也高达2.19毫米。
行业迎来制式化的解法
当前机器人触觉最主要的产业痛点,是不同硬件、不同任务攒下的触觉经验很难变成可复用的东西。
视触觉、磁触觉、阻压式三条传感路线并行推进,量纲、触点布局、采样频率都不一样。做动作模型的团队只能拿原始信号从头学起,每条路线都得自建采集管线、自己完成标定与标注;费大力气训出来的模型只服务单一厂商的灵巧手,硬件一迭代,又得推倒重来。
依赖触觉感知的精细作业,也就长期停留在低自动化水平。
以往做触觉算法,得针对每一款硬件型号逐个适配,走的是定制路线。定制带来的麻烦,要用标准化思路来解决。LingBot-Touch另辟蹊径,从传感原理入手做适配。
编码入口依照传感原理来设计,触点统一换算成标准化的指尖坐标,训练阶段再引入布局扰动,这样一来,同一原理下的新机型就能直接接进来。
“开箱即用”在真机测试中得到了印证。XHand所用的磁触觉传感器型号并没有出现在预训练数据里,灵波冻结了LingBot-Touch的参数,只用这只手的操作示范来训练动作策略,结果四种动作模型的成功率均明显上升。
LingBot-VLA在XHand上搬运易变形的杯子,直接读取传感器信号时成功率为58%,接入LingBot-Touch提取的接触信息后,成功率很快升至90%。换成新任务同样无需重训触觉模型,只要用少量示范数据把动作模型教会就行。
把接触信号统一翻译成同一种语言,整条产业链都能从中受益。
动作模型团队就是直接受益方,同一套Token可以接入π0.5、Diffusion Policy、T-Rex,更换模型时不用在触觉层反复投入。灵巧手和传感器厂商把标定、降噪、读数校正这些器件层面的基础工作做好,就能将更多研发资源投向精度与耐用性。
通用的手感让整机厂在选型上获得了自由。指尖用视触觉分辨细小接触,手掌铺压阻阵列感知大面积受力,这类混合方案从概念走向可行。应用方也是如此,工厂与仓库在选型时不必绑定某一款特定的灵巧手,可以按任务挑最合适的硬件,手感不再是换型的代价。
放到国内环境看,通用触觉模型还有一层特殊价值。国内灵巧手和传感器的种类是全球最多的,能采集到单一硬件覆盖不了的接触数据。多样性是富矿,却也容易让经验变得碎片化。通用触觉模型让不同技术路线从泾渭分明转为可以互补短板,让每一份硬件积累的数据都能发挥更大作用。
要让一套通用的手感真正铺开,生态支持缺不得。蚂蚁在具身智能上的布局,在LingBot-Touch发布前已见轮廓:本体这一头有乐聚、钛虎;落地场景上,国大药房、隆盛等企业已在零售分拣、物流分拣和工业场景里做商业化测试;数据体系则由简智科技参与共建。
代码与权重全部开源,外部团队下载即可使用,不用采一小时数据,也不用训一天模型,现有机器人搭载后就有手感。开放的同时,真实作业数据持续回流训练,用的人越多,回流的场景越杂,这也是灵波全站大脑很难被复制的原因之一。
真实世界没有暂停键
开源让手感可以外溢,但这条路能否持续领先,取决于对物理世界本身的判断。
9月,GPT-6 Astra发布后,多个研究团队把它迁移到机器人上做测试。
榜单上40个公开动作策略,RoboDojo的42项操作任务里,一个都没专门练过,综合得分照样全部压过。通用大模型对任务的理解和步骤规划,看上去已经能直接挪到机器人身上用。
短板也在同一批测试里露了出来。碰上要精度、要动态控制、要双手配合的任务,通用模型明显费劲,物体在手里转动时,几根手指之间的接触总协调不好。还有一项仿真行走测试,机器人走30秒,模型得被调用250次,平均下来每次接近40秒。原因是仿真算不完就得停下等着。
真实世界不会给任何暂停的机会,接触之后这一层,通用大模型短时间内无法补位。
首先,数据获取的难易度完全不同,语言与视觉模型的数据能从互联网上获取,培育手感的数据只能到物理世界采集。其次,触觉信号变化极快,留给推理的时间窗口转瞬即逝,处理它的模型要足够轻,才能嵌入真机回路。其三,拉合拉链的案例表明,原始信号直接灌给模型会适得其反,把接触信号翻译成模型可用的信息,需要专门的数据与专业训练。
通用大模型没填上的这块,正是蚂蚁灵波要打的方向。它走的是具身原生路线,想用一个大脑带动不同形态的机器人,省掉给每台硬件单独写程序这一步。
现阶段先把机器人需要的关键能力拆开研究和验证:LingBot-Vision与LingBot-Depth 2.0提供视觉与空间感知,LingBot-VLA 2.0负责理解指令、生成动作,LingBot-World 2.0与LingBot-Video让机器人感知世界如何随时间变化,LingBot-VA 2.0统一世界预测与动作生成,接触之后的处理由LingBot-Touch完成。
这些模型合起来覆盖机器人工作的完整链路,完成感知、预测、执行的闭环。
步骤上,灵波先把视觉、深度、触觉做扎实,再往下贯通。LingBot-Touch已经和VLA融合,接下来会把更多模态放进同一个模型里对齐,一点点拼成统一的大脑。通用大模型靠的是互联网数据,蚂蚁灵波的路子是在物理世界里攒出自己的优势。
以后的某个仓库里,机器人抓起一只从没见过的软包装袋,指尖碰到物体那一刻的判断,已经带着练熟的手感。灵巧手这场竞赛不会停,但新硬件、新任务不用再从零学起。