简智机器人发布DAS 2.0两款采集新品:人类数据采集难在哪?
让触觉教视觉,原来Human Data还能这么玩!
触觉反过来教视觉,人类操作数据的采集原来还有这种思路。
田晏林从凹非寺发来报道,内容来自量子位公众号。
AI已经在研究怎么自己教自己了,机器人却还得靠人类动作补课,这反差够大的。
Agent、Coding Agent、RSI(递归自我改进)这些词,眼下在AI圈里一个赛一个热。
做具身智能的人压力不小,心里甚至有点「要被通用大模型比下去」的恐慌。
就在前几天,Claude方面发文称,Fable 5.2没有针对特定任务做过专门训练,却表现出操控物理机器人的本事。
没过多久,Google DeepMind也推出新一代VLA模型,并称其为目前能力最强的同类模型。
技术比拼打得热闹,厂商真正抢的其实是更下面一层的东西——数据。
眼下业界比较认可的路径,是采集真实的人类操作数据(Human Data),拿大量现实交互把通用机器人喂出来。
想法听着挺好,真动手才知道没那么简单。
视频是拍下了操作过程,可手指一旦被挡住,细小的动作就可能看不清楚;就算动作全拍进去了,接触发生在哪一刻、力度有多大,只看画面照样判断不出来。
那给人手装传感器呢?设备本身可能干扰自然操作,材料形变和信号干扰也会让触觉数据出现偏差。
况且一项任务要记的不止手部动作,从靠近目标、调整身体姿态到完成操作,前后一整套动作都得录下来。
结果Human Data采了一大堆,决定操作成败的关键信息反倒漏了不少。
11月9日,在2026 CoRL(机器人学习会议)上,简智机器人推出DAS 2.0旗下两款新品,想从底层硬件和系统层面入手解题。
其中一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0,另一款是灵巧手数据采集手套DAS Dex 2.0。
此外还配合Ego+Wrist Camera(腕部相机)双视角采集方案,补上第一视角容易漏掉的手部细节。这一方案目前也受到不少前沿AI实验室关注。
这么一来,人类那些常被忽略的「小动作」,也能被机器人逐帧拆解研究了。
人类数据采集,是时候升级了。
说到底,Human Data并不是架个摄像头、把人类干活的过程录下来就算完。
同样一段人类操作,记录的信息不同,机器人最终学到的本事可能差出很远。
况且不同任务所需的数据也各不相同。
有些任务要看清完整操作流程,有些要盯住手指的细微动作,还有些只看视频远远不够,必须把真实接触测出来。
可要真为了采全数据,难道得让每个采集员从头到脚都套上设备?
简智的做法,是让各类采集设备各有分工、又能协同作业:一部分管全局,一部分专盯手部细节,还有的负责测量真实接触。到了需要联合采集的时候,这些训练信号可以在时间和空间两个维度上对齐。
眼下,其Gen DAS数据采集体系主要给出三种配置。Ego担纲第一视角,把人类操作时的环境、动作和任务过程记下来,场景差异、操作习惯,乃至操作失败后怎么调整,都在记录范围内。
如果觉得头上的摄像头离手太远,可以在Ego基础上再加一个Wrist Camera,等于给手部操作开了个「专属机位」。头戴相机能看见人伸手去拿零件,可手掌一挡,零件怎么对准、手指又做了哪些细微调整,就未必看得清了。
腕部相机离操作区域更近,手与物体之间的相对运动、接近方向,以及画面里可见的局部形变,都能持续记录下来。再配合相机标定和轨迹重建,不同视角记录的动作还能对应起来。
再往下,碰上要精确测量手指动作和真实接触的任务,就得请出Dex数据手套。Ego+Dex的组合能直接记录关节运动和触觉信息,视觉难以判断的物理接触,由此补上实测依据。
三种配置分别覆盖任务背景、局部动作和原生物理测量,需要什么信息,就搭配相应的设备。
而在这套体系里,简智首先升级的是机器人的「眼睛」。
DAS Ego 2.0这次最直观的变化,是摄像头更能打了:整机搭载6颗全局快门摄像头,支持30fps同步成像,水平视野扩大到340°。
340°是什么概念?水平方向差不多绕了一整圈。除了身后很小一块区域,周围大多数方向都能被镜头覆盖。
人干活时,注意力也许集中在眼前的零件上,可周围环境同样在影响下一步动作。从货架上取下物品,转身放到另一张工作台,途中怎么移动、周围有没有障碍、目标在什么位置,都可能左右任务能否顺利完成。
视野更广,设备就有机会在同一时刻留下更多环境信息和动作线索。机器人以后要学的,也不必只有手上那几秒钟。
除了视野,摄像头像素提升是另一个大升级。6颗摄像头中,2颗主相机升级至500万像素,另外4颗为200万像素,指尖追踪标称精度可达4mm。
在相同视场和拍摄距离下,从200万到500万像素,图像宽、高方向的采样密度各增加约58%。
手指、物体边缘这些细小结构,有机会获得更丰富的图像信息。
但模型训练不是拍高清纪录片。新增的细节没被用进训练,拍了也等于白拍。
怎么让这500万像素真正派上用场?其实有两条路子可走。
第一条路,是把监督标签做得更好。
画面清晰度上来之后,算法定位手部关键点、重建运动轨迹都会更准,动作标注的偏差也能压下去。
哪怕训练时喂给模型的是低分辨率画面,更可靠的动作标签照样能带来好处。
第二条路,是让模型实实在在看到更多细节。
否则,前面辛苦拍下的高清素材,训练时一律压成小图,手指和物体之间的那些关键变化又丢了。
训练阶段可以用局部裁剪、多尺度输入等做法,尽量把手部操作区域的视觉信息留住,让新增的像素真正起作用。
只是训练时想用上这些细节,采集现场就得先把画面完整地存下来。
录到一半设备没电,或者头发挡住了镜头,画质再高也没用。
Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。
配套App能检查头部姿态、识别头发遮挡,还提供一键录制、标准MCAP格式和批量后处理等功能。
单拎出哪一项看,似乎都算不上特别炫酷的技术。
可一旦几十人、几百人同时采数据,少一次中断、少一段废片,采集流程就更统一,数据质量也更有保障。
这些细小的改进攒到一起,就是效率和质量的实打实差距。
眼下,Ego 2.0单季度「有效数据」交付量已从十万小时级提升到百万小时级。
手指上的真实接触,怎么才能采得准?
当然,头戴设备再能打,也有自己搞不定的事。
尤其是手指碰到物体的那一刻。
拧瓶盖时有没有打滑?拿起杯子时握得够不够紧?这些藏在接触面上的变化,摄像头未必看得见。
可具身智能圈早就发现,想把人类的真实「手感」采回来,麻烦还真不少。
首先,设备自己可别添乱。
传统外骨骼如果太厚,容易占用手指和掌面的操作空间。原本轻轻松松就能完成的捏取、抓握,戴上设备反倒变得别扭。
要是操作者自己的手都没法自在地动,那机器人学回来的动作,源头不就已经偏了?
为此,Dex 2.0把外骨骼的主体结构移到了手指两侧,让机械关节尽量贴住人手的运动轴,指背、指腹和掌面都被让了出来,自然操作受到的打扰随之减少。
手指能自由活动了,传感器那边又可能冒出「假信号」。
手指弯曲、材料被拉伸,传感器都可能跟着起反应。有时候只碰了一个点,旁边的触点也一起有动静。
手还没真正接触,信号先跳了起来,模型于是被喂进了「触觉幻觉」。
这次Dex 2.0改用自研的半柔性压阻式电子皮肤,主攻的就是误报问题,设法把材料形变、通道串扰带来的信号与真实物理接触分开。
硬件配置上,单手装了16块触觉传感器,触觉感知单元合计980个。
触觉空间分辨率1mm,最小检测力0.1N,采样频率100Hz。
此外,Dex 2.0还配上自研的「微型磁编码器」,单手由21个独立关节编码器负责记录,支持21DoF运动捕捉,指尖位置精度标称小于1mm。
手指碰到物体的位置、接触力强弱的变化,都因此有了更细的测量依据。
前两个难题有了着落,还有一道关卡同样考验设备。
做过数据采集的人都清楚,录几段Demo不难,连着采上一个月就是另一回事了。
今天测得挺顺,到了明天做同样的动作,触觉信号说不定就变了样。
要让触觉真正成为机器人的学习素材,单次精度之外,长期稳定性也得算进去。
在已经完成的一个月持续采集中,Dex 2.0在相同条件下重复同一动作,触觉响应保持了一致。
触觉采得准、测得稳,接下来要回答的是:这些数据怎么落到机器人身上。
Dex 2.0提供无本体和遥操两种采集模式。
对于这些真实触觉数据,简智还打算让它们发挥另一个作用:给视觉模型当老师。
前面提到的Ego+Wrist Camera,这里就派上用场了。
头戴相机负责记录整个任务过程,腕部相机随手动起来,盯住人手和物体之间的细微变化。
以把零件推入卡槽为例。
零件怎么靠近卡槽、边缘有没有相对位移,甚至一些肉眼可见的局部形变,腕部镜头都能拍到。
但画面里的这些变化,对应的是什么样的接触状态?
只凭摄像头,这个判断还真不好下。
简智眼下在试一条路:Ego、Wrist Camera和Dex同步配对采集,让第一视角、腕部近景跟Dex实测的关节、触觉数据一一对上。
这么做的效果,好比给视觉模型备好一份附了标准答案的习题。
相机标定、轨迹重建、多视角对齐这几步走下来,模型就有机会弄明白一件事:画面里出现某种变化时,手指到底是怎么碰上去的。
配对监督、知识蒸馏等手段接着上,真实触觉里学到的东西,就能搬到更轻的视觉方案里去。
这条路真要跑通,以后不戴Dex手套,光靠Ego加Wrist Camera,也有望判断碰没碰、碰在哪儿,手部追踪还能做到像素级精度。
再往远处想一步:从回答“眼下碰没碰到”,走到预判“下一步会出什么状况”。
这事儿挺有意思——高精度触觉数据,说不定能拉着低成本视觉数据一块儿往上走。
不过话说回来,这还是一条第探索中的技术路线。
物体的重量、藏在背后的接触,这些信息未必能从画面里读出来。模型给出的接触状态预测,也替代不了真实测量。
真实触觉究竟能把多少“手感”教给视觉,最后还得看模型训练得怎么样、实际任务里表现如何。
从一双手,到一整套动作
手指上的功课补齐了,机器人就能学会人类干活了吗?
差得还远。
就说搬箱子,人得先走过去、站好位,再弯腰伸手抓住箱子,最后起身搬走。
要是只记录手部操作那几秒钟,机器人也许学会了怎么抓,可怎么靠近、接下来怎么干,照样一头雾水。
这次简智把Wholebody(全身动作)放进DAS数据体系,想把这些容易漏掉的环节补上。
拆开看是三个层面:
- 策略层:人怎么接近目标、怎么选站位、什么时候换个位置观察,都记下来。
- 协调层:躯干、肩臂和手部如何配合,把一次操作做完,同样记录在案。
- 执行层:拿起物体之后怎么起身、转向、搬运,把前后动作串起来。
照这个思路,机器人要学的就不只是手上那几下。
可人类动作录得再全,机器人也没法直接照搬。
人形机器人、移动机械臂、固定工位上的夹爪,身体结构和运动能力差得不少。
人做起来轻松的动作,换到不同机器人身上,还得按各自的运动约束重新适配。
想照搬人类的操作,先得掂量自己的“身板”扛不扛得住。
换句话说,原始数据必须尽量完整、准确。不同设备拍下的画面、关节动作和触觉信号,时间上不能有偏差。
试想一下,视频里手指刚碰上物体,触觉信号却慢了一拍。模型手里明明攥着“标准答案”,结果答案对不上题。
DAS Ego 2.0和Dex 2.0是两款独立设备,靠统一时钟、硬件触发和相机曝光控制,能把头手时间对齐做到约1ms级。
1ms究竟有多关键?
按手部运动速度0.5m/s来算,1ms的时间错位,对应约0.5mm的运动距离;错开10ms,就对应约5mm。
这还只是时间错位造成的几何偏差,不算设备整体的定位误差。
可放到接触、旋转、松手这类快速动作上,几毫秒的差距,就可能让画面里的动作和传感器测到的接触状态对不上。
采得再细,时间对不齐,模型照样可能学偏。
眼下,简智的数据产品已经在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。
连AI模型研发团队都下场拼数据了,具身圈的压力只会越来越大。
不过也别急着替谁下定论。从视觉、动作到真实触觉,Human Data已经采得越来越细。
接下来就看谁能把这些数据真正用起来,把人类的本事学到手。通用大模型已经把题目摆到这儿了,机器人们,该交卷了。