Fable 5.2能拧瓶盖了，机器人的“手感”靠什么补

通用大模型在机器人操作上又露了一手。Anthropic 最新旗舰 Fable 5.2 今天正式亮相。

官方演示里，这台由该模型操控的机器人顺利解开了魔方、拧开了瓶盖，还画出了机器人。

公开的 RoboDojo 基准测试中，Fable 5.2 拿到 64.9% 的成绩。Anthropic 表示，这一分数既压过使用同一测试框架的其他前沿模型，也高于大多数专为机器人控制打造的 AI 系统。

从两个多月前的 GPT-6 Astra 到如今的 Claude Fable 5.2，这些模型展示的花式操作，让行业看到了通用大模型驱动机器人的更多可能。可演示成功、仿真高分，是否等于机器人已经具备真正通用的物理操作能力？

机器人一旦“伸出手”，碰上需要精细操作的任务，真正的考验才刚开始。

拿拧瓶盖来说，手指得找准抓握点，施加恰当的力道，还要随瓶盖转动、指尖打滑的程度随时调整。几毫米的位移、细微的受力变化，都会左右一次操作成不成。

视频链接：https://mp.weixin.qq.com/s/6u78vpxsU_QIch-8oIywog

这类精细操作要求视觉、空间、触觉等多种物理模态配合。具身智能的一条重要技术路线，就是从机器人本体和真实物理交互出发，搭建面向物理世界的具身原生基础模型。

国内蚂蚁灵波正沿这条路推进，围绕机器人的物理感知、理解和操作需求持续搭建具身原生模型体系。今天发布的触觉基础模型 LingBot-Touch，就是该路线在高精度灵巧操作上的一次具体落地。

团队在过程中收集了近 5000 小时真实触觉数据，覆盖磁触觉、压阻式和视触觉三种传感技术，让模型去学不同传感器背后共通的接触规律。这些触觉表征还能接入不同的机器人动作模型，在不同灵巧手和真实任务中复用。

• 项目主页：https://technology.robbyant.com/lingbot-touch

• 技术报告：https://github.com/Robbyant/lingbot-touch/tree/main/paper

• GitHub 地址：https://github.com/Robbyant/lingbot-touch

• Hugging Face：https://huggingface.co/collections/robbyant/lingbot-touch

• 魔搭社区：https://www.modelscope.cn/collections/Robbyant/LingBot-Touch

围绕异构触觉数据预训练、统一表征学习和下游动作模型接入，LingBot-Touch 搭起了一套完整的技术方案。

下面从几个关键环节说起。

5000 小时真实数据，让不同机器人的“手感”可以共享

触觉看着只是感知接触，真要把它做成通用基础模型，比想象中复杂得多。

机器人做不同操作时，对触觉的要求并不一样。指尖捏一颗玻璃弹珠，要精准捕捉细微的接触位置和力度变化；手掌托举较大的物体，则要掌握不同区域的受力分布。操作部位不同、任务不同，对传感器感知精度、覆盖范围和体积的要求也各不相同。

眼下触觉传感器有多条技术路线，LingBot-Touch 这次重点覆盖三类：视触觉、磁触觉和压阻式触觉。

视触觉靠内部摄像头观察弹性表面的形变，能捕捉接触位置和轮廓等细节；磁触觉借助软质磁性材料形变引发的磁场变化来感知接触和受力；压阻式触觉则通过材料受压后的电阻变化，测出不同位置的压力分布。

三类传感器感知的都是手指与物体接触时的物理变化，可底层测量原理和信号表达方式完全不同。不同设备的感测单元数量、空间布局和采样频率也各有差异。

这就给触觉基础模型出了道难题：不同传感器采集的数据，怎么才能共同参与训练？若为每种传感器单独训练专用触觉模型，一款机器人积累的经验就很难直接搬到另一款上。哪怕动作模型已有较强的操作能力，一旦换了传感器，触觉信号的处理方式可能也得重新适配。

不同硬件、不同任务攒下的触觉经验，怎样才能变成可复用的基础能力，这是团队要回答的问题。

他们为此搭了一套多分支编码、共享主干的架构，并借鉴JEPA（Joint-Embedding Predictive Architecture）的思路，为触觉信号做出一套Tactile-JEPA训练方法。

第一道坎是不同传感器之间的空间对齐。

各类触觉传感器的Taxel（触觉感知单元）在数量、排列方式和空间分辨率上都不一样。把这些数据直接塞进同一个Transformer，模型很难判断某个传感器上的感知单元对应手指的哪个位置。

团队于是建起统一的标准化指尖几何坐标系，把不同传感器的感知单元映射到同一个三维空间里。

每个触觉Token由此带上五维地址：时间窗口索引1维、手指编号1维、三维空间坐标3维。模型拿到的信息不再只是某个传感器上的第几个测点，还包括触觉响应发生的时间、所属手指和对应的物理位置。

编码环节，LingBot-Touch没有要求三种传感器采用同一套原始信号处理方式，而是给压阻式、磁触觉和视触觉分别配上轻量级Tokenizer，把各自的原始信号转成统一接口下的触觉Token。

这些Token随后进入共享的Haptic Transformer（HaT），由同一套主干网络去学习不同传感器信号背后的接触规律。

各传感器的测量特点被保留下来，同时又能一起参与模型训练。传感器之间的差异交给各自的编码分支处理，更高层的触觉特征则由共享主干学习。

数据对齐之后，另一个问题浮上来：模型到底该怎么学触觉？

LingBot-Touch的做法是用Tactile-JEPA在潜在空间里做特征预测。具体流程是：先遮住一部分触觉Token，Context Encoder处理剩下的可见信息；Target Encoder meanwhile处理完整触觉序列，生成目标特征；Predictor再依据可见信息，预测完整序列各位置对应的潜在特征，并与目标编码器的输出对齐。

Target Encoder的参数由Context Encoder通过指数移动平均（EMA）更新，不直接参与梯度反向传播。被遮挡位置和可见位置的预测结果，模型都会进行监督。

这套设计跟触觉数据自身的特点有关。

触觉数据稀疏性很强。多数时间里手指并未接触物体，传感器记录中充斥接近零的背景信号。若直接优化原始信号重建，模型可能把大量精力耗在预测这些背景数据上。

放到潜在空间里预测，模型就不必费劲还原无接触的背景信号，转而借助真实交互数据中的时空关联，学习接触位置、受力大小及其动态变化相关的特征表示。

训练这套模型还需要数据。团队构建了一个多源触觉数据集，累计采集4,983小时真实触觉数据，涵盖464,431个交互片段、约13.3亿帧。

数据来自压阻式、磁式和视觉触觉传感器，覆盖抓握、旋转、滑动、擦拭、装配、双手协同，以及易碎、易变形物体的操作，来源有两种。

• 主体部分由佩戴触觉手套的人类操作员贡献。

• 另一部分来自遥操作机器人，采集设备是搭载Sharpa Wave灵巧手的双臂系统。

按总量算，触觉手套采集的数据占三分之二，遥操作采集的占三分之一。

这里有个思路：训练触觉基础模型，不必完全依赖机器人本体采集数据。

人类戴上触觉手套，日常操作中就能积累大量接触经验；再用机器人遥操作数据补上特定硬件上的真实交互信息，不同来源的数据就有机会一起参与基础模型训练。

触觉数据规模化，由此多了一条新路径。

26项真机任务

通用触觉究竟能否真正迁移过去，这是团队要回答的问题。

评估LingBot-Touch的下游能力，团队分了三块来做：触觉理解、真机操作和仿真操作。实验用到了Sharpa Wave与XHand1两款灵巧手，真机共26项任务，仿真共12项任务。

第一步要确认的是，模型对触觉到底有没有形成真正的理解。

这一环节采用冻结编码器评估，团队围绕接触力大小、空间几何结构、时间动态变化和跨模态对应关系四个维度，一共设计了五项任务。

结果出来了：预训练数据只用了1000小时，LingBot-Touch在五项任务上就都拿出了较强的表现。指尖测力范围30至50 N时，接触力预测误差不到2 N；空间感知上，接触中心定位误差为亚毫米级，接触面积估计误差低于2%；时间预测上，未来接触力大小的预测误差同样低于2 N。

光看数字还不够，团队又借助可视化手段考察LingBot-Touch的特征表示质量。

到了接触发生的阶段，不同特征点会连成一片平滑、延展的结构，正好对应触觉信号逐步变化的过程。各手指的触觉响应此消彼长，受力在手指之间重新分配，接触阶段也就顺着这些结构落在彼此相邻的区域里。

这说明LingBot-Touch不只是在区分接触与非接触两种状态，接触过程中连续变化的信息它也能保留下来，一次交互里触觉响应如何随时间演化，它同样抓得住。

触觉理解过关之后，落到真实机器人上，操作表现又是什么样？

团队随后把LingBot-Touch接到真实机器人策略上，看这些知识能不能变成实打实的操作能力。

真机实验同样覆盖Sharpa Wave和XHand1两款灵巧手。动作模型选了Diffusion Policy、π0.5、LingBot-VLA和T-Rex四种，LingBot-Touch则作为额外的触觉表示模块，接入下游后训练。

两款灵巧手加起来完成了26项真机任务，涵盖物体旋转、精细抓取、易碎与易变形物体操作，以及双臂协同等场景。

接入LingBot-Touch之后，几种动作模型的操作成功率都有明显改善。

拿Sharpa Wave来说，π0.5的平均成功率由47.56%升至68.58%，LingBot-VLA从45.60%升到72.51%，T-Rex则从44.06%提高到70.05%。

XHand1上也是同样的走势：π0.5的平均成功率从49.71%升到74.17%，LingBot-VLA由57.21%提高到75.04%。

提升不只出现在某一种动作模型身上。Diffusion Policy、π0.5、LingBot-VLA、T-Rex，同一套预训练触觉表征都能接进架构不同的策略模型，为它们补上触觉感知，不需要每种动作模型都单独重训一套触觉编码器。

真实世界换成仿真环境，这套触觉表征还管用吗？

团队把测试环境进一步扩展到仿真，看预训练得到的触觉知识能否迁移到不同的物理环境，又能否切实帮助强化学习策略学会精细操作。

表2给出的结果是，Sharpa Wave和XHand1两个平台的全部12项任务中，LingBot-Touch的成功率和累计回报都是最高的。按任务等权计算，其平均成功率达到68.95%，CNN触觉特征方案为45.59%，不使用触觉输入的方案为21.42%，分别高出23.36和47.53个百分点。

那些需要依据持续变化的接触状态做协同控制的任务，LingBot-Touch的优势更突出。Sharpa Wave平台上，盘子旋转任务成功率97.4%，笔旋转任务97.1%，分别比对应任务中表现最好的基线方案高出14.5和32.9个百分点。

球体平衡任务更能说明高质量触觉表征的分量。LingBot-Touch在Sharpa Wave和XHand1上分别拿到67.7%和35.9%的成功率，两款平台上最好的基线方案则分别是32.4%和10.0%。只给二值接触信号、或者干脆不用触觉输入的策略，在这两个平台上的任务成功率都是0%。

可见光把触觉观测引进来，并不等于操作效率和可靠性就会跟着上去。真正起决定作用的是触觉表征本身的质量。

下图中的训练曲线还显示，Sharpa Wave的笔旋转任务、两款灵巧手的球体平衡任务，以及XHand1的盲抓取任务中，LingBot-Touch都能让强化学习策略在训练早期拿到更高的累计回报。

这一训练趋势进一步表明，LingBot-Touch给出的触觉表征减轻了策略在“怎么用触觉信息”上的优化负担，也有助于让策略训练更稳定。

和现有的触觉模型放一起比，LingBot-Touch 强在哪些地方？

团队拿 LingBot-Touch 和 FTP-1 做了一次正面对比。五项触觉理解任务里，无论跑在 Sharpa Wave 还是 XHand1 平台上，LingBot-Touch 的成绩都更好。

接触力恢复这一项，Sharpa Wave 上的平均误差从 FTP-1 的 2.31 N 降到 0.81 N，XHand1 上则是由 3.72 N 降到 1.32 N。

空间感知的差距拉得更大：接触中心定位误差在 Sharpa Wave 上从 2.19 mm 降到 0.12 mm，在 XHand1 上从 5.89 mm 降到 0.16 mm。触觉到视频检索任务中，LingBot-Touch 的 Top-5 Recall 比 FTP-1 分别高出 56.13 和 41.13 个百分点。

真机操作方面，团队把两种触觉编码器分别接进 LingBot-VLA 做后训练，跑了五项真实机器人操作任务。结果 LingBot-Touch 把平均成功率从原始策略的 55.9% 拉到 82.2%，FTP-1 对应的是 67.5%。

数据不断加码，模型还能跟着变强吗？

团队接着测了 LingBot-Touch 的 Scaling 能力。预训练数据集被设成五种规模，从 1000 小时一路加到 5000 小时，各数据来源的占比保持不变。

下游触觉理解任务中，预训练数据从 1000 小时增至 4000 小时的过程中，HaT-Tiny 在空间结构、时间动态、接触力大小、跨模态对应关系四个方面的理解能力都在往上走。

数据加到 5000 小时，模型表现和 4000 小时那档基本打平。照这个结果看，到了这一数据规模，限制性能继续提升的可能是模型容量。

团队于是把骨干网络加大，模型升级成 HaT-Small。实验发现，更大的模型在各种数据规模下都有进一步提升，尤其是还能继续吃下新增的预训练数据来改善表现。这说明触觉基础模型的 Scaling 不能只堆数据，模型容量也得同步跟上。

真实机器人操作上也出现了类似的规模扩展趋势。

具身原生

找那些可以共享的物理规律

说回开篇拧瓶盖那个动作。接触状态、受力或滑移每变一次，机器人都得及时抓住这些物理信息，重新判断下一步怎么做。看着简单的操作，背后要多种能力配合：空间感知模型判断物体位置和距离，触觉模型捕捉接触与受力变化，世界模型学习环境如何随时间和动作变化，动作模型再据此生成和调整动作。

蚂蚁灵波具身原生机器人通用大脑的整体设计思路正是如此。在其技术体系中，空间与触觉感知、世界建模、动作生成分别由各自模型提供能力，再靠模型间的融合与协同，撑起从感知、预测到执行的完整链路。

这套架构也反映出蚂蚁灵波构建具身原生通用具身智能的技术思路：传感器布局、身体结构、控制方式可以各不相同，但不同机器人面对的物理规律有共性。基础模型要提炼出不同硬件都能用的规律，同时给具体本体留出必要的适配空间。

LingBot-VLA 已经验证了「一脑多机」走得通，LingBot-Touch 又把这一思路推到更难统一的触觉模态上。灵巧手换了触觉传感器，感知模型未必需要从头训练；机器人换了本体，也不必重新搭一套触觉感知能力。

当然，这种能力复用眼下还不是无条件的。LingBot-Touch 的真机验证集中在 Sharpa Wave 和 XHand 两款灵巧手上，预训练尚未覆盖电容式传感器。更多机器人形态、复杂环境和长程任务，还得靠更广泛的实验。

这一探索也带出具身基础模型走向通用化的两道关键考题：哪些规律能在不同机器人之间共享，哪些能力又必须结合具体本体重新学习？

这两者的边界一旦厘清，机器人就有机会省下针对不同硬件重复训练基础感知模型的成本，让更多真实交互经验在不同设备之间流动起来。