戴盟机器人Touch-R1：触觉推理模型入选NeurIPS
让AI「摸懂」物理世界，首个触觉推理模型Touch-R1，入选NeurlPS...
硬质塑料的外观之下，实际按上去却很软。视觉和触觉打架时，人一般会信手感，用触觉去纠正眼睛看到的错误；多模态模型的做法往往相反，更偏向视觉，结果把物体的真实物理属性判错。
图 1 研究概览：左侧为 Touch-R1 在触觉推理评测基准 TouchReason-Bench 上与其他代表性多模态大语言模型的对比，表现更优；右侧为 Touch-R1 依据触觉证据推翻视觉误判，把材料判定为橡胶
戴盟机器人团队与厦门大学、南京大学、大湾区大学、复旦大学合作提出 Touch-R1，把强化学习引入跨传感器触觉推理。论文已被 NeurIPS 2026 接收。团队还搭建了 TouchReason-1M 数据集和 TouchReason-Bench 基准，用于训练与评测。
-
论文标题：Touch-R1: Reinforcing Touch Reasoning in MLLMs
-
论文地址：https://arxiv.org/abs/2605.27154
-
项目主页：https://laiyingxin2.github.io/Touch-R1/
-
代码：https://github.com/laiyingxin2/Touch-R1
-
模型：https://huggingface.co/laiyingxin/Touch-R1
-
数据集：https://huggingface.co/datasets/laiyingxin/TouchReason
该研究把强化学习成体系地引入触觉推理模型，是首个触觉锚定物理R1模型。它让模型按触觉本身的特性来做可跨传感器的物理推理，把触觉物理认知从“看起来是什么”推到“实际是什么”，为更可靠的触觉推理蹚出一条新路。
01｜首个触觉锚定物理推理模型，为具身智能建立物理常识
人判断物体的物理属性，一般是先看，再上手摸一下，确认或者改掉前面的判断。“感知—验证—修正”这么一圈转下来，正是我们和物理世界打交道的重要方式。问题是，现在的大模型还是更倚重视觉。
视觉认得出物体，却摸不出硬度、粗糙度、摩擦、形变和受力，碰上透明、反光、被遮挡的物体更容易失灵。测试里，视觉和触觉信息打架时，GPT-4o、Gemini-2.5-Pro 等模型往往更信“看起来怎样”，而不是“摸起来怎样”。这种误判会让机器人抓取失败、弄坏物品，甚至带来安全风险。
要让模型读懂触觉，难在三处：触觉数据本来就少，触觉物理推理数据更少；软硬、粗糙这类物理属性多是序数型，不是类别型；不同传感器的信号还得理解得一致，判断才能对得上。Touch-R1 就是冲着这三点去的，让模型按触觉证据推理，纠正视觉误判。触觉到这里不再只是辅助信息，而是能改变判断的物理依据。
02｜为具身模型首创触觉数据体系，建立触觉推理的完整基础设施
团队先搭起大规模、跨材料、跨传感器的触觉推理数据集 TouchReason-1M，这是为具身模型首创的触觉数据体系，把多传感器视触觉数据、序数属性标签和可验证推理问答融在一起。数据集覆盖 1,000 余个日常物体和 9 大类材料，汇集 DM-Tac X、GelSight Mini、Xense 和 Tac3D 四种视触觉传感器。和以往的触觉数据集不同，所有物体的数据都在严格控制的标准动作和标准力下采集，物体之间因此可以横向对比。
TouchReason-1M 盯的是视触觉感知，这项技术能给大模型触觉推理提供分辨率足够高的触觉数据。不过，不同传感器的弹性体、标记点、光路与结构各不相同，同一个物体接触上去，图像表现天然就有差异。TouchReason-1M 没有把现成数据简单拼一拼，而是统一接触方式：从初始接触一直按压到 20N，再用标准力做完六种探索动作，同步记下原始触觉图像、形变、切向变化、深度变化以及物体接触视觉图像等数据。整个数据集包含 14,700 条有效触觉序列和 132.3 万个同步数据对，为模型跨传感器的一致性学习立下共同的物理参照。
训练分三段走。Touch-R1 先学接触过程中的动态规律，靠的是预测未来触觉帧；接着用结构化问答做监督微调，把“感知—比较—结论”这条推理链练出来；最后做针对触觉设计的 GRPO 强化学习。
跨传感器这一步，Touch-R1 把目标从“物理表征对齐”推到“物理属性推理一致”。不同传感器传回的触觉图像，模型会解析其中的物理属性，再做判断与比较，判断结果还受跨传感器一致性奖励约束，异构传感器之间的差异由此被消解，拿到的是真实、稳定的物理属性本质。模型另外加了序数奖励，让它摸得清硬度、粗糙度这些属性的程度关系；结构化格式奖励和触觉输入扰动则把它按在触觉证据上推理，少走只凭视觉猜答案、“答对但没摸懂”的捷径。
03｜触觉当推理证据，Touch-R1 九项性能大幅领先
团队还搭了一个触觉推理评测基准 TouchReason-Bench，用来检验模型能力。基准里有 4,800 组问答，考的是物理属性识别、序数推理、比较推理、跨传感器一致性以及视觉—触觉冲突处理；另有 200 个训练阶段没见过的物体，用来看模型的泛化表现。
在这个基准上，Touch-R1-7B 拿下物理属性识别、序数推理、跨传感器一致性等 9 项核心指标的最优成绩，综合分数 60.1。触觉专用模型 Octopi-13B 比它低 18.4 分，GPT-4o 低约 24.7 分，此前最强的触觉模型 SToLa 低 12.6 分。
Touch-R1 还演示了用触觉纠视觉错判的路子。外观看着像塑料的东西，模型把触觉形变和力 - 深度曲线放在一起看，判断出柔顺性，据此推翻视觉先验，材料结论改成了橡胶。这正是 Touch-R1 最关键的本事：它不光同时收视觉和触觉两路信息，还会在两边证据打架时掂量哪一路更可信。
架构里各部分的贡献，消融实验给出了更细的答案。冷启动监督微调、标准 GRPO、序数感知奖励、跨传感器物理一致性约束、结构化格式控制，各自带来了程度不一的性能提升。模型规模往上走，多项指标也稳定往上走，Touch-R1 的泛化潜力由此显现。
Touch-R1 的意义不止于让模型会做触觉推理。数据集、模型、评测基准凑成一套完整基础设施，触觉由此从辅助感知变成具身基础模型的核心模态。跨传感器一致的物理认知打底，触觉数据和模型能力才有了跨硬件迁移的可能；材料识别、质量检测、精密装配、易碎品抓取、柔性物体操作这些真实物理交互场景，也从中拿到底层能力。
作者介绍
这项工作的作者单位包括厦门大学、南京大学、大湾区大学、复旦大学以及戴盟机器人。赖映鑫是论文第一作者，身份为厦门大学博士生、戴盟机器人实习生；周亚飞为共同第一作者，在大湾区大学读硕士，同时也在戴盟机器人实习；通讯作者原玮浩，担任南京大学副教授，并任戴盟机器人首席 AI 科学家。
