蚂蚁灵波:5000小时数据如何破解机器人手感难题?
Anthropic的Fable 5.2展示了通用大模型在机器人操作上的潜力,但精细操作仍依赖高质量触觉。蚂蚁灵波发布LingBot-Touch,通过近5000小时真实触觉数据预训练,统一了视触觉、磁触觉和压阻式三种传感器信号。实验显示,该模型能显著提升不同灵巧手在拧瓶盖、旋转物体等26项真机任务中的成功率,且具备跨硬件
通用大模型频频亮出本事,可机器人真正缺的,是那只手上的“感觉”。
这几天,AI圈子又被机器人相关内容占满了屏幕。
Anthropic 最新的旗舰模型 Fable 5.2 在演示中把魔方复原、瓶盖拧开,还画出了机器人。RoboDojo 基准测试里,它跑出 64.9% 的成绩,压过不少专攻机器人控制的 AI 系统。

从 GPT-6 Astra 一路到 Claude
Fable 5.2,这些通用模型其实在说明一件事:将来机器人或许不必每个动作都单独写一套代码,交给一个“大脑”统一指挥就行。

可演示视频里的顺滑,跟现实环境中的稳定操作,中间还差着一道坎。这道坎,就是物理世界里那些细小的变化。

就说拧瓶盖,人干这活儿想都不用想,机器人做起来却难如登天。手指先得摸到该抓的位置,劲儿使大了瓶身会变形,使小了就打滑拧不动。指尖挪动几毫米、受力稍微抖一下,成败就在此一举。光靠眼睛看(视觉)和脑子算(空间规划)不够用,还得有“手感”,也就是触觉。

具身智能的一个要害痛点也就在这里:怎么让机器人拿到跟人一样通用、一样细腻的触觉?

蚂蚁灵波(Ant Group Lingbo)这支国内团队选择的路,是做“具身原生”的基础模型。他们今天推出触觉基础模型 LingBot-Touch,想攻克的就是不同机器人、不同传感器之间“手感”无法通用这个难题。

机器人的“手感”,为什么没法共享?

触觉这词听着不复杂,无非是知道碰没碰上、使了多大劲。但落到工程上,坑大得很。

头一个问题是传感器种类太杂。眼下主流的技术路线,起码有以下三种:

- 视触觉:在指尖装一颗微型摄像头,观测弹性皮肤如何变形,据此推算出接触的位置和形状。
- 磁触觉:靠软质磁性材料变形后引发的磁场变化,感知有没有接触、受了多少力。
- 压阻式:利用材料受压后电阻发生的变化,把压力分布测出来。

这三种传感器工作机理各走各的路,输出信号的格式也完全对不上。输出的东西有的是图像,有的是磁场数值,还有的是电阻值。更头疼的是,各家品牌的灵巧手在传感器数量、摆放位置、采样频率上又各不相同。

要是每种传感器都单独训一个模型,那每换一只手、每换一种传感器,都得推倒重来。成本高不说,先前攒下的经验也全白费。A 机器人练成的“轻捏鸡蛋”手感,B 机器人压根用不上。

蚂蚁灵波团队想做的,是把这些异构数据“翻译”成同一种语言,让模型掌握背后共通的物理规律,而非死记某一类传感器的信号。
近5000小时真实数据,统一“触觉语言”
团队为此收集了近5000小时的真实触觉数据,覆盖46万多个交互片段、约13.3亿帧。放在触觉领域,这个量级相当可观。
数据来源分两块:三分之二由佩戴触觉手套的人类操作员贡献,他们在日常中完成各种抓握、旋转、滑动;三分之一来自遥操作机器人,用搭载Sharpa Wave灵巧手的双臂系统采集。人机混合的采集方式,既保证了多样性,也补上了机器人特定硬件下的真实交互信息。
数据到位之后,接着是处理。团队设计了一套基于JEPA(联合嵌入预测架构)的训练方法,取名Tactile-JEPA。
核心思路分两步。
第一步是空间对齐。
不同传感器的感知单元(Taxel)数量和位置各不相同。团队建立了一个统一的标准化指尖几何坐标系,把所有传感器的感知单元映射进这个三维空间。每个触觉信号Token都带上“五维地址”:时间、手指编号,以及三维空间坐标。这样一来,模型就能知道信号来自哪根手指的哪个位置、发生在什么时候。
第二步是统一编码。
团队没有硬把三种传感器的原始信号改成一样,而是给每种传感器配了轻量级的Tokenizer(分词器),转成统一接口的触觉Token。随后这些Token进入同一个共享主干网络(Haptic Transformer,简称HaT)学习。
这样做的好处是:底层保留各传感器的特性,高层学习通用的接触规律。比如视触觉看到的皮肤凹陷,和压阻式感受到的压力增加,在高层特征里都对应“接触发生”这一物理事实。
训练策略上用的是潜在空间预测。模型会遮住部分触觉信号,再根据剩下的信息去预测被遮挡部分的特征。触觉数据大部分时间是“零”(没接触),直接重建原始信号的话,模型会偷懒去预测背景噪声;放到潜在空间里预测,就能逼它去学真正有意义的接触动态变化。
真机测试:成功率大幅提升
理论再漂亮,也得上手试。团队在Sharpa Wave和XHand1两款不同的灵巧手上做了大规模验证。
先看模型懂不懂触觉。
冻结编码器的评估中,LingBot-Touch表现不错:30-50N测力范围内,接触力预测误差低于2N;接触中心定位误差达到亚毫米级;还能准确预测未来时刻的受力变化。可视化结果显示,模型学到的特征能平滑反映接触过程的动态演变,说明它确实“理解”了触觉的时间连续性。
再看能不能干活。
团队选了26项真机操作任务,涵盖物体旋转、精细抓取、易碎品操作等,把LingBot-Touch作为触觉模块,接入Diffusion Policy、π0.5、LingBot-VLA和T-Rex四种不同的动作模型。
结果很直观:加上LingBot-Touch之后,所有动作模型的成功率都涨了。
以Sharpa Wave为例,π0.5的平均成功率从47.56%跳升到68.58%;LingBot-VLA从45.60%提升到72.51%。在XHand1上提升同样明显,π0.5从49.71%涨到74.17%。
这说明LingBot-Touch提取的触觉表征是通用的,下游换成什么控制算法都能受益。不必为每个新算法重新训练触觉编码器,这点对工程落地很关键。
仿真环境下的极限挑战也值得一看。
12项仿真任务中,LingBot-Touch平均成功率达到68.95%,比不用触觉的方案高出47.53个百分点。需要持续调整的任务里优势尤其大:盘子旋转任务成功率高达97.4%,比基线高出14.5个百分点;球体平衡这种高难度任务,没有触觉的策略成功率是0%,用了LingBot-Touch后,Sharpa Wave达到67.7%。
训练曲线也显示,引入LingBot-Touch后,强化学习策略在早期就能拿到更高的累计回报,收敛更快、更稳。这意味着高质量的触觉表征降低了策略学习的难度。
对比竞品与规模效应
现有触觉模型FTP-1被拿来做了横向比较,LingBot-Touch在各项指标上均占优。接触力恢复任务里,误差从FTP-1的2.31N降到0.81N;空间感知方面,接触中心定位误差则由2.19mm收窄到0.12mm,精度提升了一个数量级。
落到真实机器人操作上,接入LingBot-Touch的策略平均成功率达到82.2%,接入FTP-1的则为67.5%。
团队同时验证了“大力出奇迹”是否成立,也就是Scaling Law。预训练数据从1000小时加到4000小时,模型性能一路往上走。可到了5000小时,小模型HaT-Tiny的性能开始趋于饱和;这时换上更大的模型骨干HaT-Small,性能又能随数据增加继续提升。
这说明触觉基础模型同样遵循规模法则——数据越多、模型越大,效果越好。后续想靠扩大数据规模来提升机器人智力,这条路也因此有了方向。
具身原生的未来:寻找共享的物理规律
回到最初的问题:机器人如何获得通用的物理操作能力?
蚂蚁灵波给出的答案是“具身原生”。在他们看来,机器人的身体结构、传感器布局虽然千差万别,可所处的物理世界遵循相同的规律,摩擦力、重力、形变这些物理量在不同机器人身上是相通的。
LingBot-Touch的价值,正是把这些跨硬件的通用触觉规律提炼了出来。以后机器人换个手、换个传感器,不必从头教它怎么“感觉”,微调即可。这与LingBot-VLA实现的“一脑多机”思路一脉相承,区别在于这次攻克的是更难标准化的触觉模态。
当然,眼下的验证主要还集中在两款灵巧手上,电容式传感器等其他类型尚未覆盖,长程复杂任务也有待进一步测试。不过这一步迈出去,意味着具身智能正在从“专用定制”走向“通用基础”。
当机器人不再需要为每一次抓握重新学习“手感”,它们离真正走进家庭、工厂,或许就不远了。