大模型控机器人之后,Human Data采集难在哪?
田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 连AI都开始琢磨怎么自己教自己了,机器人却还在为学习人类动作狂补课?! 现在AI圈里,Agent、Coding ....
田晏林,发自凹非寺
量子位 | 公众号 QbitAI
AI都开始琢磨怎么自己教自己了,机器人却仍在为学人类动作大量补课。
Agent、Coding Agent、RSI(递归自我改进)——眼下AI圈这些概念一个比一个热。
搞具身智能的人压力不小,心里甚至隐隐犯嘀咕:会不会被通用大模型甩在后面?
就在前几天,Claude发文称,Fable 5.2没有针对特定任务做过专门训练,却表现出操控物理机器人的本事。
没过多久,Google DeepMind又推出新一代VLA模型,并称其为迄今能力最强。
技术竞赛打得热闹,厂商真正争的却落在了底层——数据。
目前业内公认的高效办法,是采集真实的人类操作数据(Human Data),拿海量现实交互去喂通用机器人。
想法挺好,真动手才知道没那么简单。
视频能把操作过程拍下来,可手指一被挡住,细微动作就看不清了;动作全拍到了,接触发生在哪一刻、使了多大劲,靠画面仍然难判断。
那就给人手装传感器,可设备会干扰自然操作,材料形变和信号干扰还会让触觉数据出现偏差。
况且一项任务从走近目标、调整身体到完成操作,整套动作都需要记录下来。
结果Human Data采了一大堆,决定操作成败的关键信息反倒漏掉不少。(cry)
11月9日,在2026 CoRL(机器人学习会议)上,简智机器人发布DAS 2.0旗下两款新品,想从底层硬件与系统上找答案。
其中一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0,另一款是灵巧手数据采集手套DAS Dex 2.0。
再配合Ego+Wrist Camera(腕部相机)双视角采集方案——这是眼下不少前沿AI实验室都在关注的路子——第一视角容易漏掉的手部细节也能补上。
这样一来,人类那些常被忽略的「小动作」,机器人也有机会逐帧研究了。
Human Data,也该进化了
说起来,Human Data并不是架个摄像头、把人类干活的过程录下来就完事。
同样一段人类操作,记录的信息不同,机器人最后学到的本事可能差得很远。
而且不同任务要的数据并不一样。
有的要看清完整操作过程,有的得盯住手指那点细微动作,还有的光看视频不够,必须把真实接触测出来。
可总不能让每个采集员都穿上一身装备,就为了把数据采全吧?
简智的解法,是让各类采集设备各有分工,同时又能协同作业。
其中有的设备管整体环境,有的专攻手部细节,还有的负责测真实接触。要联合采集时,这些训练信号在时间与空间上都能对齐。
眼下,简智的Gen DAS数据采集体系一共给出三种配置。
Ego管的是第一视角,把人类操作时的环境、动作和任务过程记下来,涵盖不同场景、不同操作习惯,连操作失败后怎么调整也一并记录。
要是觉得头上那台摄像头离手太远,可以在Ego之外再加一个Wrist Camera,等于给手部操作单开了一个「专属机位」。
头戴相机能拍到人伸手去取零件,可手掌一挡,零件怎么对准、手指又做了哪些细微调整,就未必看得清楚。
腕部相机贴近操作区域,能连续记录手和物体之间的相对运动、接近方向,以及画面里可见的局部形变。
再配合相机标定和轨迹重建,不同视角记录的动作也能对应起来。
再进一步,遇到要精确测量手指动作和真实接触的任务,就该Dex数据手套上场了。
Ego加Dex这套组合,能直接记录关节运动和触觉信息,为视觉难以判断的物理接触补上实测依据。
三种配置分别覆盖任务背景、局部动作和原生物理测量。需要哪类信息,就配相应的设备。
在这套体系里,简智最先动手升级的,是机器人的「眼睛」。
DAS Ego 2.0这回最直观的改动,是摄像头更能打了。
整机装了6颗全局快门摄像头,支持30fps同步成像,水平视野扩大到340°。
340°是个什么概念?
水平方向上差不多绕了一整圈。除了身后很小一块区域,周边大多数方向都在镜头覆盖范围内。
人干活时,注意力也许集中在眼前的零件上,可周围环境同样在影响下一步动作。
从货架上取下物品,转身放到另一张工作台,路上怎么走、周围有没有障碍、目标处在什么位置,都可能左右任务能否顺利完成。
视野宽了,设备就有机会在同一时刻留下更多环境信息和动作线索。
机器人以后要学的,也不必只盯着手上那几秒钟。
视野之外,另一项大升级是摄像头像素的提高。
6颗摄像头里,2颗主相机升到500万像素,另外4颗为200万像素,指尖追踪标称精度可达4mm。
视场和拍摄距离相同的情况下,从200万到500万像素,图像宽、高两个方向的采样密度各提升约58%。
手指、物体边缘这类细小结构,就有机会拿到更丰富的图像信息。
可训练模型不是拍高清纪录片。新添的细节没喂进训练环节,照样是白费功夫。
这500万像素怎么才能真正派上用场?眼下有两条路子可走。
头一条是改进监督标签。
画面清楚了,算法定位手部关键点、重建运动轨迹就更准,动作标注的偏差也随之变小。
哪怕训练时喂给模型的是低分辨率画面,动作标签更可靠,模型同样能沾光。
第二条路子,是让模型真的看到更多细节。
否则,前面费劲拍下的高清视频,一到训练就被压成小图,手指和物体之间的那些关键变化又丢了。
训练阶段可以靠局部裁剪、多尺度输入这类做法,尽量把手部操作区域的视觉信息留住,让新增的像素真正起作用。
只是训练时想用上这些细节,采集现场得先把画面完整存下来。
录到一半设备没电,或者头发挡住了镜头,画质再高也没用。
Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。
配套App能检查头部姿态、识别头发遮挡,还提供一键录制、标准MCAP格式和批量后处理等功能。
单独拎出哪一项看,似乎都算不上多炫的技术。
可真到几十人、几百人同时采数据,少一次中断、少一段无效视频,流程就能更统一,数据质量也更有保障。
这些细小的改进攒在一起,就是效率和质量上实打实的差距。
现在,Ego 2.0单季度「有效数据」交付量已从十万小时级升到百万小时级。
手指上的真实接触,怎样才能采得准?
话说回来,头戴设备再强,也有它办不到的事。
特别是手指碰到物体的那一瞬间。
拧瓶盖时打没打滑?端起杯子时握得够不够紧?这些接触面上的变化,摄像头未必看得见。
而具身智能圈早就发现,要把人类真实的「手感」采回来,麻烦事不少。
头一条,设备本身别添乱。
传统外骨骼做得太厚,容易挤占手指和掌面的操作空间。本来随手就能完成的捏取、抓握,戴上设备反而别扭。
人手都没法自然操作,机器人学到的动作,岂不是从源头就走了样?
Dex 2.0的做法是把外骨骼的主要结构挪到手指侧面,让机械关节尽量贴近人手的运动轴,指背、指腹和掌面因此腾出了空间,对自然操作的干扰也随之减少。
手指能动得开了,传感器却可能“乱报信号”。手指一弯、材料一拉伸,传感器就可能跟着产生响应;有时候明明只碰了一个位置,相邻触点也一起有反应。
手还没碰上,传感器倒先激动了。这不就是给模型造出“触觉幻觉”嘛。
针对误报,Dex 2.0换上了自研的半柔性压阻式电子皮肤,力求把材料形变、通道串扰带来的信号和真正的物理接触分开。硬件上,单手配16块触觉传感器,触觉感知单元共980个。
触觉空间分辨率1mm,最小检测力0.1N,采样频率100Hz。
它还搭载了自研的“微型磁编码器”,单手由21个独立关节编码器负责记录,支持21DoF运动捕捉,指尖位置精度标称小于1mm。
手指碰到物体的位置、接触强弱的变化,由此有了更细的测量依据。
两个大麻烦解决之后,还有一关同样考验设备。
做过数采的人都清楚,采几段Demo不难,连着采一个月就是另一回事了。今天测着正常,明天做同样的动作,触觉信号可能就变了样。
触觉要真正成为机器人的学习资料,单次精度之外,长期稳定性也得算进去。
在已完成的一个月持续采集中,Dex 2.0于相同条件下重复同一动作,触觉响应保持一致。
采得准、测得稳,接下来要回答的是:这些数据怎么用到机器人身上。
Dex 2.0支持无本体和遥操两种采集模式。
这些真实触觉数据,简智还想让它们派上更有意思的用场——给视觉模型当老师。
前面提到的Ego+Wrist Camera,头戴相机记录整个任务,腕部相机跟着手一起移动,盯住人手与物体之间的细微变化。
比如把零件推入卡槽,腕部镜头能看到零件怎样接近卡槽、边缘有没有相对位移,甚至某些可见的局部形变。可画面里的这些变化,到底对应怎样的接触状态?
只看摄像头,还真不容易判断。
简智眼下正在探索Ego+Wrist Camera+Dex同步配对采集,把第一视角、腕部近景与Dex实测的关节、触觉数据一一对应起来。
这等于是给视觉模型配了一套附答案的练习。
借助相机标定、轨迹重建和多视角对齐,模型有机会从中学会一件事:画面里出现哪些变化时,手指实际产生了什么样的接触。
真实触觉里学到的信息,还能靠配对监督、知识蒸馏等办法,迁移到更轻量的视觉方案上。
这条路要是走通了,以后不戴Dex手套,单靠Ego+Wrist Camera,也有望判断有没有发生接触、接触落在哪块区域,并拿到像素级精度的手部追踪。
甚至能再往前迈一步:从判断「现在碰没碰到」,转向预测「接下来会发生什么」。
这挺有意思——高精度触觉数据有机会拉着低成本视觉数据一起「升级」!
不过眼下,这还是一条处在探索阶段的技术路线。
物体有多重、有没有被遮挡的接触,这些信息未必能从画面里看出来。模型预测出的接触状态,也没法直接顶替真实测量。
真实触觉究竟能教会视觉多少「手感」,说到底还要看模型训练和实际任务的表现。
从一双手,到一整套动作
手指上的功课补齐了,机器人就能学会人干活了吗?
差得还远。
就说搬箱子,人会先走过去,找好站位,再弯腰、伸手、抓住箱子,最后起身搬走。
如果只记录手部操作的那几秒,机器人也许学会了怎么抓,但怎么靠近、抓完之后怎么接着干,它还是一头雾水。
这次简智把Wholebody(全身动作)纳入DAS数据体系,就是想把这些容易被漏掉的过程补回来。
具体分三个层面:
策略层:记录人如何接近目标、怎么选站位,以及什么时候调整观察位置。
协调层:记录躯干、肩臂和手部如何配合,完成一次操作。
执行层:记录拿起物体之后,怎样起身、转向、搬运,把前后动作串起来。
这么一来,机器人要学的就不只是手上那几个动作了。
可人类的动作再完整,机器人也没法直接照搬。
人形机器人、移动机械臂、固定工位上的夹爪,身体结构和运动能力差得不少。
人轻松能完成的动作,换到不同机器人身上,还得按各自的运动约束重新适配。
想抄人类的作业,也得先看看自己的「身板」允不允许。
也就是说,原始数据必须尽量完整、准确。特别是不同设备采集的画面、关节动作与触觉信号,时间上不能出现错位。
试想,视频里手指刚碰到物体,触觉信号却慢了一拍——模型手里拿的明明是「标准答案」,却答错了题。
DAS Ego 2.0和Dex 2.0是两款独立设备,但靠统一时钟、硬件触发和相机曝光控制,头与手之间能做到约1ms级的时间对齐。
1ms是什么概念?
按手部运动速度0.5m/s算,1ms的时间错位对应约0.5mm的运动距离;错开10ms,对应约5mm。
这算的是时间错位带来的几何偏差,不是设备整体的定位误差。
但接触、旋转、松手这类快速动作,几毫秒的差异就可能让画面里的动作和传感器测到的接触状态对不上。
采得再精细,时间对不齐,模型照样可能学跑偏。
眼下,简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。
连AI模型研发团队都下场卷数据了,具身圈的压力只怕会越来越大。
不过也别急着给谁判输赢。
从视觉、动作到真实触觉,Human Data已经越采越细。
接下来看的是谁能把这些数据真正用好,把人类的本事学到手。
通用大模型已经把题目出到这儿了,机器人们,该交卷了。