Claude Fable 5.2发布:能玩魔方拧瓶盖,大厂还缺什么数据?
编辑|山辉继 OpenAI 之后,Anthropic 也开始抢机器人公司的风头了。今天,Anthropic 发布了新模型 Claude Fable 5.2。除了常规的编程、推理能力升级,这次还有一个挺意外的看点:Claude 开始玩魔方、拧瓶盖,甚至能操控机器人画画了。前段时间,OpenAI 的 Astra 就已经在机
Anthropic 这回也来抢机器人公司的风头了,跟 OpenAI 之前一样。
新模型
Claude Fable 5.2 今天正式发布。编程、推理这些常规能力都有升级,但更让人意外的是另一面:Claude 能玩魔方、拧瓶盖,还能操控机器人画画。
OpenAI 的 Astra 前段时间刚在机器人操作任务上露过一手,现在 Anthropic 也跟上了。
这些本事,以前是具身智能公司花大力气训练专用模型才做得出来的。现在通用基础模型也伸脚踩进了这块地。
难免有人担心:机器人公司辛辛苦苦训出来的模型,哪天会不会被基础模型「吞掉」?
这个争论已经持续了一段时间,眼下还没有定论。但不管最后操控机器人的是通用大模型、VLA 还是世界模型,都绕不开一个基础问题:它们对物理世界的经验从哪来?
物理经验能不能直接从通用基础模型用的常规数据里涌现出来?至少前段时间针对 Astra 的一项研究给出了相反的信号:事情没这么简单,OpenAI 在训练中可能用了专门的机器人数据,GPT-6.1 Sol 和 Gemini Argon 也接受过类似训练(参见《GPT-6 Astra 的机器人能力被扒:可能接受过专门训练》)。
换句话说,这轮通用模型在机器人任务上表现亮眼,未必是智能凭空冒出来,更可能是数据在底下撑着。
即便是通用大模型,也得靠训练数据补上对真实世界的理解。模型能力越往上走,具身智能能走多远,就越看背后数据基础设施给不给力。
真实物理接触所产生的数据,正是机器人掌握精细操作绕不开的一环。
触觉数据因此在机器人研究圈子里越来越受重视。Meta FAIR 拿出的 Digit 360 触觉传感器与 SparAsh 触觉模型,做的就是让机器获取并读懂更丰富的接触信息。触觉数据的分量,也随之水涨船高。
国内还真有人在认真啃这块硬骨头。
简智自打成立起,就扎在产业链更靠上的位置——做数据基础设施。从头戴的第一视角设备,到手上的数据手套,他们要回答的其实是同一个问题:人在真实世界里的操作,怎么才能尽量完整、准确地转成模型能学的数据。
这条产品线近日迎来更新:数据手套 Dex 2.0 和第一视角头戴设备 DAS Ego 2.0 同时亮相。第一视角视觉、腕部近场视觉、手部运动与触觉几路信息合在一起,搭出一套多层次的 Human Data 采集体系。
道理不难懂:一次真实操作中,看、动、摸本就同时发生。眼睛先锁定目标,手再靠近、抓握,触觉则告诉你握没握稳、打没打滑。少掉哪一路,模型学到的都只是一个残缺的故事。
要把「完整」落到实处,先得厘清:一次操作里,每一路信息各自担什么角色。
在简智的技术方案里,触觉并非一块单独添上的拼图。环境与人体运动由第一视角视觉记录,被遮挡的手部操作细节靠腕部相机补足,关节运动和物理接触则由外骨骼与触觉传感器直接测量。
几路信息凑到一起,才构成完整的多模态 Human Data。腕部相机加进来之后,采集系统既留住了第一视角的环境信息,又更贴近手指与物体真正发生交互的位置。
近距离视觉与高精度触觉数据一旦准确对应,图像、关节运动和接触状态之间就能建立起联系,模型学习精细操作时也便有了更完整的监督信息。
更关键的一步,是简智想让高精度运动与触觉数据充当 Ground Truth,帮视觉模型把图像与真实物理接触对应起来。
反过来讲,视觉也要从触觉里学东西,而不只是拿触觉去补视觉看不到的部分。
数据采集设备的设计思路也跟着变了:不再一味往上堆传感器,而是按任务需要让多种模态互相补充、互相验证,最终把整套 Human Data 生产体系的有效性提上去。简智拿出的 DAS 2.0 数据采集方案就沿着这条路走,把第一视角视觉、腕部近场视觉、手部关节运动和触觉信息凑到一起。几类设备能分开用,也能按任务灵活拼起来,真实场景的覆盖面扩大了,精细操作需要的物理信息也留住了。
Dex 2.0 把两个难处一起处理了:手部运动怎么测,触觉怎么记。它用约 60g 的侧置外骨骼和约 3mm 的微型仿生关节,把机械结构放在手指侧面,动作干扰尽量压小的同时,关节运动直接记下来。再配上全掌覆盖的半柔性压阻式电子皮肤,手跟物体接触时的压力信息也能同步拿到。
有些方案靠磁场测量间接把手部姿态重建出来,Dex 2.0 走的直接关节测量路线不一样:外部磁场和金属环境对姿态估计的干扰能压下去,运动与触觉数据的精细采集也一并顾到。
DAS Ego 2.0 的升级落在两处:指尖细节追得更准,全身运动记得更全。六摄像头系统把水平视野扩到 340°,人体运动和周围环境能被看到的范围大了;指尖追踪精度提到 4mm,精细操作里的位置估计误差也就少了。说到底,Ego 2.0 不只看手指在局部怎么动,转身、弯腰、伸展这些动作里的全身协调也一并管,模型拿到的人类操作过程因此更完整。
Ego、Dex 和 Wrist Camera 一起干活,再加上 DFM(Data Foundation Model)处理全身运动数据,简智想让环境视觉、局部操作、关节运动和触觉信息在同一个数据体系里对齐。
放到机器人训练上看,数据就不再是几段互不相干的视频或传感器读数,而有机会把一次操作从观察到接触、再到动作调整的物理交互过程完整讲清楚。
从模态叠加到协同学习,
触觉数据如何补上关键一环?
硅谷大厂接连扎进具身智能,机器人要干的事早已不只是某个固定场景里的单一任务,更复杂、更精细的操作也得拿得下。这就意味着,模型不光要学动作轨迹,还得弄明白人在真实环境里怎么看、怎么判断、怎么碰到物体,以及收到反馈后怎么调整动作。数据采集因此被提出了新要求。
人类数据得足够丰富,场景和操作覆盖得够多;同时还得足够准,能把真实操作中的关节运动和物理接触还原出来。只盯着采集规模,未必撑得起模型对精细操作能力的训练。
问题是,眼下各种采集方式各有各的短板。只靠第一视角摄像头,记录环境和人类操作是方便,可手和物体互相遮挡这一关很难绕开;再加近距离相机,接触位置、多指协同这些细节能补上一些,真实的接触力却依然测不到。
数据手套能给出更精确的关节运动和触觉信息,代价是设备更复杂、采集成本更高。那有没有一种方案,既用上视觉采集的规模化优势,又靠高精度触觉数据把关键的物理信息补齐?
简智机器人的做法不是二选一,而是让不同模态一起干活。
针对不同层次的数据需求,简智搭了三套采集方案:
Ego 单独采集:用第一视角视觉记录周围环境、人体运动以及人与物体之间的关系,适合在不同真实场景中开展数据采集。
Ego + Wrist Camera:加装腕部相机,从更近的视角补充手指与物体的接触、分离,以及多指配合等精细操作细节。
Ego + Dex:把第一视角视觉和数据手套结合起来,进一步记录原生关节运动和全掌触觉,得到视觉、动作与物理接触相互对应的高精度多模态数据。
这三种方案对应着不同的采集成本,但更关键的是,数据之间能彼此配合。以 Ego + Dex 采集到的高精度运动与触觉数据为例,它能充当 Ground Truth(真值),给视觉模型带去更直接的物理交互监督。
只要模型学会了视觉画面与真实接触状态之间的对应关系,就有机会仅凭视觉输入,推断出那些原本很难直接看到的触觉信息。换句话说,触觉不只弥补了视觉中缺失的物理信息,还可能反过来教会视觉去理解接触。
想让这种协同真正落地,各模态数据在时间上必须对得准。简智为此对相机模组和通信控制做了内部重构,靠无线硬件同步做到标称 1ms 级的头手时间对齐,尽量不让视觉、关节运动和触觉信息之间发生错位。
从只用视觉,到加入近距离视角,再到引入高精度运动与触觉真值,简智想搭的并不是一套简单堆传感器的采集系统,而是一条让不同模态互相补充、互相促进的数据生产路线。高精度数据为大规模视觉采集提供监督,不同采集方案一起服务于模型训练——这才是简智多模态 Human Data 方案更值得关注的地方。
从手部到全身:如何记录完整的人类操作?
简智此次发布的新品能适配不同场景。Dex 2.0 是一只兼顾手部运动捕捉与全掌触觉感知的数据手套,DAS Ego 2.0 则是一套第一视角头戴式多模态采集设备。一个盯手部精细运动,一个负责全身视觉记录,合起来试图更完整地还原人在真实环境中的操作过程。
Dex 2.0:让动作自然发生,让关节运动直接测量
Dex 2.0 要回答的核心问题是:怎样在不打扰人自然操作的情况下,把手部运动准确记下来?
传统数据手套要把传感器或机械结构装在手背、指尖这些地方,打字、贴面拾取、掌内旋转这类精细操作难免受干扰。另一类方案靠柔性传感器或视觉关键点,得从形变或图像里间接反推关节角度,遮挡一来就容易失准。
左:Dex 2.0 侧置仿生外骨骼;右:传统背置式外骨骼。
简智的做法是把主要结构挪到手指侧面,做成侧置仿生外骨骼,机械关节因此更贴合人手的自然运动轴,指背、指腹和掌面这些关键操作区也空了出来。微型磁编码器被集成进仿生关节内部,局部关节转角直接读取,再经运动学标定还原出完整手部状态。
侧置结构带来的好处,是让手尽量不被采集设备本身束缚住。
重量上,Dex 2.0 的外骨骼主体控制在约 60g,微型关节结构缩小到约 3mm。轻,长时间戴着负担小;小,机械结构才能贴近人手的自然运动轴,少占手指的活动空间。
测量端则用 21 个独立关节编码器直接记录手部运动,支持 21 DoF 测量,关节角度分辨率 0.2°,指尖空间位置精度约 1mm。
也就是说,佩戴者得能自然地做完精细动作,设备还得把动作是怎么完成的尽量准确地记下来。放到机器人训练里看,前一点决定数据真不真实,后一点决定这些动作能不能被有效学习和复现。
除了运动数据,Dex 2.0 还集成了半柔性压阻式电子皮肤,用来记录手与物体接触时的触觉信息。
但实际用起来,材料拉伸、褶皱、滑移都会产生误信号,传感单元排得密,彼此之间还容易串扰。简智为此自研了石墨烯喷涂的触觉传感方案,靠半柔性材料和多层结构设计,改善形变响应与信号稳定性。
触觉测量上,Dex 2.0 用 16 块触觉传感器、980 个感知单元覆盖手部接触区域,空间分辨率达到 1mm,接触发生的位置及其变化能记得更细。
不过,触觉数据要用于模型训练,光靠感知单元排得密还不够,还得能分清真正的接触和传感器自身冒出来的误信号。
拿手指只有一小块区域碰到物体来说,理想的触觉数据应该如实反映真正受压的那部分,而不是让四周根本没碰上的感知单元也跟着出现明显反应。
简智的做法是用半柔性压阻式材料配合信号处理设计,把感知单元之间的串扰压下来。串扰水平低于 1% FS,非接触区域乱出响应的情形因此变少,接触分布数据的可信度也就跟着提高。
与其一味堆触点数,不如把串扰和误触发管住——这对模型建立准确的动作与接触对应关系更有帮助。
DAS Ego 2.0:看清指尖,也看见全身
Dex 2.0 主要盯的是手部运动和触觉信息的精细采集,DAS Ego 2.0 则把数据采集的空间范围又往外扩了一圈。
以往的第一视角数据采集,大多围着固定桌面操作转,记录的主要是双手和周围物体的交互。可机器人一旦开始学移动操作,人转身、弯腰、伸展,还有身体各部位之间的配合,同样成了重要的训练信息。
第一视角采集难在哪?不光是看清人手在做什么,还得尽量准确地还原手与物体之间的空间关系,以及人在操作时身体的协调运动。
为此,DAS Ego 2.0 从精度和视野两头对视觉系统做了升级。
精细操作这块,核心摄像头由 200 万像素升到 500 万像素,指尖追踪精度提高到 4mm。指尖位置估得更准,模型在抓取、接近、接触这些动作上的判断误差就能少一些。碰到小物体、窄空间,几毫米的偏差就可能牵连后面的动作规划。
全身运动这块,六摄像头系统把水平视野从 270° 拉到 340°。视野大了,转身、弯腰、侧身时丢掉的信息就少,模型除了看局部手部动作,也能拿到更完整的身体运动和环境关系。
精细操作和全身协调,这套设计两头都顾到了。放到复杂、连续的真实场景任务里,第一视角数据也因此更合用。
视觉之外,设备还装了 200Hz IMU 和麦克风,惯性信息与环境音频可以同步录下来。真实采集环境里光线往往不理想,团队针对弱光、光线切换和强光眩光下的成像做了优化。
规模化采集这块,DAS Ego 2.0 改进了佩戴结构,加入头姿检测、头发遮挡检测,批量数据后处理能力也做了提升。磁吸电池允许不关机更换,单电池包能撑约 2.5—3 小时,MCAP 标准数据格式同样在支持之列。
Dex 2.0 盯的是手指关节的细微变化,Ego 2.0 记录的是人体在真实环境中的连续运动,两者各自补上了人类操作数据的一个维度。不过这些信息未必非得同时采集。任务该配哪种设备组合,不同模态的数据又能不能互相补充,才是简智这套采集体系接下来真正要看的地方。
从采集到训练,什么样的数据才真正有价值?
机器人模型要学的是物理交互过程,训练数据就得把这个过程描述得完整、准确。
拿抓取物体来说,同样是抓,模型不光要看手指怎么动,还得知道手指碰到了哪里、接触状态怎么变,以及操作失败之后人是怎么调整动作的。
这些信息在不在,决定了数据是停留于简单的动作记录,还是能变成真正支撑模型训练和评测的样本。
所以模型需要足够多样的真实操作经验,才能适应不同环境、物体和任务。与此同时,数据还得有可靠的运动测量、清晰的任务过程、准确的物理交互信息。
简智围绕这一需求提出了 Training-ready 数据标准,讲的是真实自然、操作闭环完整、精度达标,外加足够的多样性。
真实自然排在前面。采集设备不能过多干扰人的操作,录下来的应当是人在真实场景里的自然动作与操作过程,而非为了迁就设备刻意演出来的动作。
操作闭环完整则是另一条。数据不能只记动作,从任务开始到最终结果的全过程都要覆盖,相似物体、相似动作还得能清楚区分。桌面上摆着三个红色球,数据只写「拿起一个红色球」不够,究竟拿起的是哪一个必须写明。触觉信息也能帮着确认接触状态与操作结果。
第三点要看精度是否达标。手部位置、关节角度这类空间信息之外,运动过程中的速度、加速度等相对变化同样得稳住,测量一旦波动,就会干扰模型学习。
多样性同样得够。不同场景、不同物体、不同动作都要覆盖,操作失败以及失败之后的调整过程也不能落下。这样模型不只学会怎么把任务做完,还能接触到真实操作里的变化和不确定性。
除了不依赖本体的 Human Data 采集,Dex 2.0 还支持灵巧手遥操作。无本体模式下,设备记录的是人在真实场景里的自然操作;遥操作模式下,人手的运动状态可以转成机器人关节的控制输入,并针对不同灵巧手的自由度、关节布局、运动范围和控制接口做适配,机器人执行状态与任务结果也会同步记录。
两种模式合到一起,「人会做」就能转成「机器人能做」。
再配上 Ego 头环,操作时的环境信息也能一并记下来。模型学到的不只是手指怎么动,还包括这些动作发生在什么场景、是为了完成什么任务。
想让机器人「干活」,谁来做好基础工作?
机器人行业最近确实热闹。「通用大模型指挥机器人玩魔方」这类精彩演示一个接一个。不过把目光从聚光灯下移开,很多不那么显眼的问题还等着有人来解决。
比如,采集设备怎样做到既够精确,又不妨碍人正常活动?摄像头、关节编码器和触觉传感器的数据怎么准确对应起来?收集到的数据又怎么保证真能拿去训练模型?
这些问题看着琐碎,却直接关系到机器人能从真实世界里学到多少东西。
简智打创业第一天起就把方向定在Human Data上,一路做到今天,成了一家面向物理AI模型的数据与评测基础设施公司。
跟直接下场做具身模型相比,搭数据基础设施这件事更靠底子,也更熬人。设备研发只是其中一块,人体运动测量、多模态同步、数据标准化、机器人适配,样样都要啃。有些难题在现有市场上根本找不到现成的合适方案。
拿触觉来说,传感器不是往手上一装就能用。接触和压力得记准,对自然动作的干扰还得尽量压小,长期用下来稳不稳定也要顾到。简智为此持续投触觉材料和电子皮肤的自主研发,光相关材料方案就迭代了约九个月。
相机模组和多模态同步系统也是同样的路子。简智没有完全依赖现成方案,而是更想攥住关键技术的迭代能力,让产品能跟着真实的数据需求随时调整。
技术自研之外,开源这件事简智一直在做。
刚起步的团队训练机器人模型,常常算法还没开始研究,先被数据卡住了。简智的看法是,具身智能还在快速探索期,不是每个研究团队都有条件从头搭一套数据采集系统。
开放的高质量数据能帮更多团队省掉重复投入,把资源挪到模型训练、算法验证和新技术探索上去。
正在进行的机器人学术顶会CoRL上,简智带来的Dex 2.0与Wrist Camera组合方案吸引了不少人,大家围着数据采集方式聊了很多。
模型和机器人本体之外,一个很实际的问题大家都关心:真实世界里的操作数据,怎么才能更方便、更准确地拿到手?
以前,机器人企业靠专门训练的模型,能在部分操作任务上占住优势。可现在 OpenAI、Anthropic 这类基础模型厂商也杀进了物理世界,这种优势守起来越来越吃力。
真正不好替代的,反倒是真实场景里攒下的操作经验,以及细到受力和形变层面的物理交互数据。技术热点一轮轮换,可机器人学习真实世界所需的数据基础设施,依旧是具身智能往前走的要害。
越来越多真人的技能能变成机器可学的经验,越来越多研究者也能踩着已有的数据积累继续往前,到那时机器人才能从「会动」变成「会干活」。