蚂蚁灵波发布LingBot-Touch:全球首个通用触觉基础模型开源
通用大模型进入物理世界的速度,比很多人预想的要快。第一个高潮发生在9月,源于GPT-6 Astra的发布。它被OpenAI称为“世界上最好的计算机使用模型”,因为它不再局限于文本交互,而是能像人一样直接操作软件来完成复杂工作流。很快就有研究团队把它接到了机器人身上做测试。在RoboDojo的42项操作任务中,GPT-6
通用大模型走进物理世界,节奏比多数人估计得快。
9月,第一个高潮由
GPT-6 Astra的发布带来。OpenAI把它称作“世界上最好的计算机使用模型”——它不只停留在文本交互,还能像人一样直接操作软件,把复杂工作流跑完。
随后很快有研究团队将它与机器人对接做测试。RoboDojo的42项操作任务里,GPT-6 Astra没做任何针对性微调,综合得分就压过了榜单上全部40个公开动作策略。
北京时间11月10日凌晨,Anthropic推出Claude Fable 5.2。这个模型同样没专门练过机器人,在机器人仿真测试RoboDojo Sim中,成功率从上一代的27.6%升到64.9%。真机演示环节,它还操纵机械臂拧开了瓶盖、拼回了魔方。
同一天,蚂蚁灵波也亮出了自己的具身基础模型LingBot-Touch。按灵波的说法,这是全球首个真正意义上的通用触觉基础模型,也是其“具身原生”技术路线上补上的又一块能力拼图。
两款通用模型在具身领域超出预期的表现,让行业议论开来:通用大模型那套底层推理和规划能力,是不是也能直接搬到物理控制任务上,装进机器人里用。
不过,想让数字世界模型来解决物理智能的问题,难度其实不小。GPT 6和Fable 5.2属于数字世界模型,知识来自互联网上的文本和图像,它们处理的是“这件事是什么、该分几步做”这类语义理解。
物理世界要的却是对具体环境和情况作出反应。物理智能的核心难点,因此常常出现在“手碰到物体之后”——灵巧手触到物体的那一瞬,下一刻的姿态和力道该怎么快速调整?
第三方评测已经把这层差距摆了出来。Fable 5.2刚发布,更多检验还没展开,但在前面提到的RoboDojo评测里,研究者发现GPT-6 Astra的能力“两极分化”:需要语义理解的任务泛化得不错,一碰上高精度控制、动态控制或复杂的双臂配合,就明显吃力。
银河通用团队的系统评测结论也差不多:通用大模型能给出有用的任务决策,可离可靠的物理控制仍有距离。一项仿真行走测试中,机器人走30秒要调用模型250次,每次平均耗时近40秒,仿真只能停下来等它算完。真实世界不会为任何模型暂停。
蚂蚁灵波CEO朱兴直言,Claude Fable 5.2、GPT-6 Astra这类数字世界大语言模型越做越强,机器人在复杂任务推理和物理操作上跟着受益,“这一点我们很关注,也在积极吸收”。不过他话锋一转:产业一线跑下来,真想打通操作闭环,物理操作泛化性这道坎躲不掉,多数时候还得指望具身基础模型自己往前迈一步。
通用大模型能帮机器人更好地理解和推理任务与环境,但要补上物理感知与闭环操作这最后一环,还得靠生于物理世界的原生模型。高精度复杂操作,光懂语义显然不够,距离和触觉这些物理模态的感知同样缺不得。
此次开源的LingBot-Touch,基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,能把不同信号转成同一套触觉表征。这套能力可供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”之外,再补上精细操作需要的触觉感知。
两款灵巧手上的26项真机测试中,四种动作模型接入LingBot-Touch后,平均任务成功率提高约14到26个百分点。拿T-Rex动作模型控制Sharpa Wave灵巧手拧瓶盖来说,不带触觉时成功率是56.25%;把传感器原始信号直接喂给动作模型,只升到62.5%;换成LingBot-Touch的触觉表征,到了90%。
完成全部26项测试的,只是一个约530万参数的轻量版本,接入LingBot-VLA、π0.5、T-Rex后,模型总规模只增加约0.13%到0.16%。提升不是靠堆参数换来的;拧瓶盖的例子又说明,光把传感器接进来也不够,真正起作用的是从真实接触数据里学来的“手感”。这种“手感”,互联网上学不到。
这背后是灵波提出并坚持的“具身原生”路线。该路线想让物理智能有自己的“根”——在真实物理世界的场景中匹配数据、感官和相应的预训练,而不是只做嫁接在数字世界模型上的适配层。
灵波此前的通用大脑已经具备高精度空间感知、高动态环境交互和可泛化灵巧操作三项能力。新发布的LingBot-Touch则把LingBot-VLA模型接了进来,机器人的感知由此一路延伸到指尖。
这一步,是灵波为物理智能的技术突破去啃的一块硬骨头。
“具身原生”之路
要弄懂这个新的触觉模型,得回到灵波的技术起点。
今年1月,蚂蚁灵波发布首个通用机器人大脑LingBot 1.0。当时这套系统里的核心模型基于Qwen做后训练,这在彼时是很合理的选择:千问作为面向数字世界的通用大模型基座,语言、图像与推理能力都很强,把它“嫁接”到机器人上,是业内最主流的思路。
灵波团队很快在产业落地中意识到,机器人要在真实世界里干活,只有数字世界的能力不够。从“看视频识物”走到“伸手拿杯子”,它不只要认出物体是什么,还得判断距离多远、位置在哪、抓多紧不会滑、拧多大力不会碎。这些能力,通用大模型的语料里没有,架构里也不天然具备。
于是灵波做了一个当时看来相当重的决定——启动自研预训练,把基座模型自己从头做一遍。
7月,灵波把LingBot 2.0“大脑全栈”推了出来。这一版最要紧的变化,是灵波有了自家训练的预训练基模;围绕机器人在物理世界干活的实际需要,高精度空间感知能力得到补齐,模型也更看重物理规律的合理性和真实机器人部署的要求。借助LingBot-VA 2.0,“听懂指令、做出动作、按现实反馈随时调整”第一次被装进同一个框架。按灵波的说法,这也是行业内首个真正意义上的具身原生世界动作模型。
换句话说,“嫁接”这条路灵波亲身趟过;“具身原生”并非喊出来的口号,而是从落地一线总结出的结论。
到这时,灵波通用大脑已经具备三方面能力:高精度空间感知、高动态环境交互、可泛化灵巧操作。机器人因此看得更清楚、想得更明白、干得更利索。
可当团队把机器人真正摆进零售分拣、工业装配这些商业化测试场景,第四道鸿沟就露了出来——手碰到物体之后发生的事。
指尖夹起一枚玻璃弹珠,得分辨极小的接触位置变化;手掌托住一个包裹,得感知重量分布;拧瓶盖时,同样的手腕转角,可能是瓶盖动了,也可能是手指打了滑。这些场景里视觉是失灵的:接触点被手指挡住,画面看起来几乎一样,物理世界却已经发生了完全不同的事。
灵波之所以拍板要做触觉基础模型,直接动因正源于此。机器人是在真实物理世界里干活的:信息由传感器进来,动作又施加到周围环境中,所以它不光得看懂深度(Depth)这类空间层面的感知信息,还得应付触觉、力觉、温度这些靠接触才能拿到的模态。
于是,LingBot-Touch补上了触觉感知这一关键环节,强化机器人完成高难度灵巧操作所需的接触感知能力,让机器人“摸得更灵敏”。
让“触摸”的经验更通用
LingBot-Touch的一大特点是通用性:这款模型能兼容适配不同的传感器、不同的灵巧手、不同的动作模型和不同的下游任务,在各种各样的灵巧操作场景中,提供一层通用的接触感知模态底座。
产业背景是,眼下还没有哪一种传感器能在精细程度、反应速度、覆盖面积和成本上同时占优。这意味短期内不同技术路线会并行发展,不同的灵巧手产品会根据需要,选用不同的传感器方案。
问题是,如果每套动作模型都得从原始读数开始学,过去攒下的经验就很难积累。灵波想解决的就是这件事:让不同硬件在不同任务中积累的触觉经验,转化为可以通用、复用的基础能力。
LingBot-Touch的办法,是把这些不同的信号统一“翻译”成同一种语言——触觉Token。这样一来,动作模型不用管信号来自哪种传感器,都能从中读出“手指碰在哪、受力多大、有没有滑动”等接触信息。
简单来说,通用触觉模型能让不同硬件采到的数据放在一起训练,学到的能力又让不同的机器人都用起来。
在LingBot-Touch的对照实验中,保留原有的磁触觉或视触觉数据,再加入其他类型的触觉数据共同训练,模型对接触位置、面积和受力变化的判断都有改善。硬件厂商继续探索不同路线因此留出了空间,每一路硬件积累的数据也有机会发挥更大作用。
往远看,这件事的产业价值相当可观。做灵巧手的团队尽可继续打磨硬件,做动作模型的团队也能接着开发各自的策略;产业链上不同位置的玩家,都可以依托手里已有的接触感知能力,共同参与这只手翻页、拧盖、搬东西的训练。
与模型一同放出的,还有技术报告、代码和模型权重,项目主页、GitHub、Hugging Face 都已上线。灵波没打算把它做成只在自己体系里运转的产品,而是当成一层开放的行业基础能力对外推出。
产业端的生态合作同样在往前走。眼下蚂蚁灵波已经联手乐聚、钛虎等本体厂商,以及国大药房、隆盛等场景伙伴做商业化测试,涉及零售分拣、物流分拣、工业装配等场景;同时还与简智科技等数据伙伴一起搭建标准化数据体系。
回到物理智能的“第一性”
回过头看,LingBot-Touch的发布并不是另起炉灶的新故事,而是灵波“具身原生”路线走到今天,必然要落下的那一子。
机器人需要知道物体在哪里、距离多远,需要预测动作会怎样改变环境,需要理解指令并生成动作,需要感知手与物体接触之后发生了什么——一系列的LingBot模型家族,正是由此而来。
此番发布的触觉模型,补上的是机器人真正干活所需的第四道鸿沟。灵波通用大脑的本事,也从“看得清楚、想得了明白、干得利索”延伸到了“摸得灵敏”——空间感知、世界预测、指令理解、动作生成之外,又添上触觉这一“新感官”。
这背后,灵波的技术路线一直有一条非常清晰的底层逻辑:遵循第一性原理,从机器人在物理世界完成任务时共同需要的信息出发,来决定怎样设计模型、用什么数据训练。这也是蚂蚁灵波科技坚持具身原生核心主张、致力于打造跨构型机器人行业通用大脑的核心考量。
朱兴说:“按我们的体会,模态输入的质量,很大程度上就决定了动作输出能达到的上限。”他接着表示,以后不会只停留在视觉、深度和触觉上,还会不断补充别的物理感知模态,让动作模型拿到质量更高的输入。
说到通用大模型与具身模型的关系,朱兴的判断是:“自动驾驶领域其实已经上演过类似一幕:大模型显著提升了复杂场景下的理解和推理,可车能不能稳稳开下去,终究还得靠面向驾驶任务的闭环控制。”他补充说,在灵波看来,这两者更像是1+1>2的协同,会一起推动具身智能产业走向成熟。
想凑成 1+1>2,有个条件绕不开:两个“1”都得完整。按灵波的说法,通用大模型抬高的是机器人能理解的任务复杂度上限,具身原生模型抬高的则是物理操作泛化性的上限。要是具身这头只做成通用大模型的一个插件,算式就变成了“1+0.x”。而且通用大模型越强,对另一个“1”的要去反而越高。
这条路走起来慢,也显得重。可通用大模型加速进入物理世界之后,它的独特价值就显出来了:眼下人人都在争“通用大模型能不能吃掉具身智能”,灵波却用一整年时间给出了另一个答案——“物理世界的那部分智能,只能靠物理世界的数据来学。”