大模型控机器人之后,Human Data采集难在哪?

资讯 腾讯网 作者:腾讯网 全文 4954 字 · 约 13 分钟读完 分类机器人大模型

田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 连AI都开始琢磨怎么自己教自己了,机器人却还在为学习人类动作狂补课?! 现在AI圈里,Agent、Coding ....

所属频道 模型发布机器人与具身智能

田晏林,发自凹非寺

量子位 | 公众号 QbitAI

AI都开始琢磨怎么自己教自己了,机器人却仍在为学人类动作大量补课。

Agent、Coding Agent、RSI(递归自我改进)——眼下AI圈这些概念一个比一个热。

搞具身智能的人压力不小,心里甚至隐隐犯嘀咕:会不会被通用大模型甩在后面?

就在前几天,Claude发文称,Fable 5.2没有针对特定任务做过专门训练,却表现出操控物理机器人的本事。

没过多久,Google DeepMind又推出新一代VLA模型,并称其为迄今能力最强。

技术竞赛打得热闹,厂商真正争的却落在了底层——数据。

目前业内公认的高效办法,是采集真实的人类操作数据(Human Data),拿海量现实交互去喂通用机器人。

想法挺好,真动手才知道没那么简单。

视频能把操作过程拍下来,可手指一被挡住,细微动作就看不清了;动作全拍到了,接触发生在哪一刻、使了多大劲,靠画面仍然难判断。

那就给人手装传感器,可设备会干扰自然操作,材料形变和信号干扰还会让触觉数据出现偏差。

况且一项任务从走近目标、调整身体到完成操作,整套动作都需要记录下来。

结果Human Data采了一大堆,决定操作成败的关键信息反倒漏掉不少。(cry)

11月9日,在2026 CoRL(机器人学习会议)上,简智机器人发布DAS 2.0旗下两款新品,想从底层硬件与系统上找答案。

其中一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0,另一款是灵巧手数据采集手套DAS Dex 2.0。

再配合Ego+Wrist Camera(腕部相机)双视角采集方案——这是眼下不少前沿AI实验室都在关注的路子——第一视角容易漏掉的手部细节也能补上。

这样一来,人类那些常被忽略的「小动作」,机器人也有机会逐帧研究了。

Human Data,也该进化了

说起来,Human Data并不是架个摄像头、把人类干活的过程录下来就完事。

同样一段人类操作,记录的信息不同,机器人最后学到的本事可能差得很远。

而且不同任务要的数据并不一样。

有的要看清完整操作过程,有的得盯住手指那点细微动作,还有的光看视频不够,必须把真实接触测出来。

可总不能让每个采集员都穿上一身装备,就为了把数据采全吧?

简智的解法,是让各类采集设备各有分工,同时又能协同作业。

其中有的设备管整体环境,有的专攻手部细节,还有的负责测真实接触。要联合采集时,这些训练信号在时间与空间上都能对齐。

眼下,简智的Gen DAS数据采集体系一共给出三种配置。

Ego管的是第一视角,把人类操作时的环境、动作和任务过程记下来,涵盖不同场景、不同操作习惯,连操作失败后怎么调整也一并记录。

要是觉得头上那台摄像头离手太远,可以在Ego之外再加一个Wrist Camera,等于给手部操作单开了一个「专属机位」。

头戴相机能拍到人伸手去取零件,可手掌一挡,零件怎么对准、手指又做了哪些细微调整,就未必看得清楚。

腕部相机贴近操作区域,能连续记录手和物体之间的相对运动、接近方向,以及画面里可见的局部形变。

再配合相机标定和轨迹重建,不同视角记录的动作也能对应起来。

再进一步,遇到要精确测量手指动作和真实接触的任务,就该Dex数据手套上场了。

Ego加Dex这套组合,能直接记录关节运动和触觉信息,为视觉难以判断的物理接触补上实测依据。

三种配置分别覆盖任务背景、局部动作和原生物理测量。需要哪类信息,就配相应的设备。

在这套体系里,简智最先动手升级的,是机器人的「眼睛」。

DAS Ego 2.0这回最直观的改动,是摄像头更能打了。

整机装了6颗全局快门摄像头,支持30fps同步成像,水平视野扩大到340°。

340°是个什么概念?

水平方向上差不多绕了一整圈。除了身后很小一块区域,周边大多数方向都在镜头覆盖范围内。

人干活时,注意力也许集中在眼前的零件上,可周围环境同样在影响下一步动作。

从货架上取下物品,转身放到另一张工作台,路上怎么走、周围有没有障碍、目标处在什么位置,都可能左右任务能否顺利完成。

视野宽了,设备就有机会在同一时刻留下更多环境信息和动作线索。

机器人以后要学的,也不必只盯着手上那几秒钟。

视野之外,另一项大升级是摄像头像素的提高。

6颗摄像头里,2颗主相机升到500万像素,另外4颗为200万像素,指尖追踪标称精度可达4mm。

视场和拍摄距离相同的情况下,从200万到500万像素,图像宽、高两个方向的采样密度各提升约58%。

手指、物体边缘这类细小结构,就有机会拿到更丰富的图像信息。

可训练模型不是拍高清纪录片。新添的细节没喂进训练环节,照样是白费功夫。

这500万像素怎么才能真正派上用场?眼下有两条路子可走。

头一条是改进监督标签。

画面清楚了,算法定位手部关键点、重建运动轨迹就更准,动作标注的偏差也随之变小。

哪怕训练时喂给模型的是低分辨率画面,动作标签更可靠,模型同样能沾光。

第二条路子,是让模型真的看到更多细节。

否则,前面费劲拍下的高清视频,一到训练就被压成小图,手指和物体之间的那些关键变化又丢了。

训练阶段可以靠局部裁剪、多尺度输入这类做法,尽量把手部操作区域的视觉信息留住,让新增的像素真正起作用。

只是训练时想用上这些细节,采集现场得先把画面完整存下来。

录到一半设备没电,或者头发挡住了镜头,画质再高也没用。

Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。

配套App能检查头部姿态、识别头发遮挡,还提供一键录制、标准MCAP格式和批量后处理等功能。

单独拎出哪一项看,似乎都算不上多炫的技术。

可真到几十人、几百人同时采数据,少一次中断、少一段无效视频,流程就能更统一,数据质量也更有保障。

这些细小的改进攒在一起,就是效率和质量上实打实的差距。

现在,Ego 2.0单季度「有效数据」交付量已从十万小时级升到百万小时级。

手指上的真实接触,怎样才能采得准?

话说回来,头戴设备再强,也有它办不到的事。

特别是手指碰到物体的那一瞬间。

拧瓶盖时打没打滑?端起杯子时握得够不够紧?这些接触面上的变化,摄像头未必看得见。

而具身智能圈早就发现,要把人类真实的「手感」采回来,麻烦事不少。

头一条,设备本身别添乱。

传统外骨骼做得太厚,容易挤占手指和掌面的操作空间。本来随手就能完成的捏取、抓握,戴上设备反而别扭。

人手都没法自然操作,机器人学到的动作,岂不是从源头就走了样?

Dex 2.0的做法是把外骨骼的主要结构挪到手指侧面,让机械关节尽量贴近人手的运动轴,指背、指腹和掌面因此腾出了空间,对自然操作的干扰也随之减少。

手指能动得开了,传感器却可能“乱报信号”。手指一弯、材料一拉伸,传感器就可能跟着产生响应;有时候明明只碰了一个位置,相邻触点也一起有反应。

手还没碰上,传感器倒先激动了。这不就是给模型造出“触觉幻觉”嘛。

针对误报,Dex 2.0换上了自研的半柔性压阻式电子皮肤,力求把材料形变、通道串扰带来的信号和真正的物理接触分开。硬件上,单手配16块触觉传感器,触觉感知单元共980个。

触觉空间分辨率1mm,最小检测力0.1N,采样频率100Hz。

它还搭载了自研的“微型磁编码器”,单手由21个独立关节编码器负责记录,支持21DoF运动捕捉,指尖位置精度标称小于1mm。

手指碰到物体的位置、接触强弱的变化,由此有了更细的测量依据。

两个大麻烦解决之后,还有一关同样考验设备。

做过数采的人都清楚,采几段Demo不难,连着采一个月就是另一回事了。今天测着正常,明天做同样的动作,触觉信号可能就变了样。

触觉要真正成为机器人的学习资料,单次精度之外,长期稳定性也得算进去。

在已完成的一个月持续采集中,Dex 2.0于相同条件下重复同一动作,触觉响应保持一致。

采得准、测得稳,接下来要回答的是:这些数据怎么用到机器人身上。

Dex 2.0支持无本体和遥操两种采集模式。

这些真实触觉数据,简智还想让它们派上更有意思的用场——给视觉模型当老师。

前面提到的Ego+Wrist Camera,头戴相机记录整个任务,腕部相机跟着手一起移动,盯住人手与物体之间的细微变化。

比如把零件推入卡槽,腕部镜头能看到零件怎样接近卡槽、边缘有没有相对位移,甚至某些可见的局部形变。可画面里的这些变化,到底对应怎样的接触状态?

只看摄像头,还真不容易判断。

简智眼下正在探索Ego+Wrist Camera+Dex同步配对采集,把第一视角、腕部近景与Dex实测的关节、触觉数据一一对应起来。

这等于是给视觉模型配了一套附答案的练习。

借助相机标定、轨迹重建和多视角对齐,模型有机会从中学会一件事:画面里出现哪些变化时,手指实际产生了什么样的接触。

真实触觉里学到的信息,还能靠配对监督、知识蒸馏等办法,迁移到更轻量的视觉方案上。

这条路要是走通了,以后不戴Dex手套,单靠Ego+Wrist Camera,也有望判断有没有发生接触、接触落在哪块区域,并拿到像素级精度的手部追踪。

甚至能再往前迈一步:从判断「现在碰没碰到」,转向预测「接下来会发生什么」。

这挺有意思——高精度触觉数据有机会拉着低成本视觉数据一起「升级」!

不过眼下,这还是一条处在探索阶段的技术路线。

物体有多重、有没有被遮挡的接触,这些信息未必能从画面里看出来。模型预测出的接触状态,也没法直接顶替真实测量。

真实触觉究竟能教会视觉多少「手感」,说到底还要看模型训练和实际任务的表现。

从一双手,到一整套动作

手指上的功课补齐了,机器人就能学会人干活了吗?

差得还远。

就说搬箱子,人会先走过去,找好站位,再弯腰、伸手、抓住箱子,最后起身搬走。

如果只记录手部操作的那几秒,机器人也许学会了怎么抓,但怎么靠近、抓完之后怎么接着干,它还是一头雾水。

这次简智把Wholebody(全身动作)纳入DAS数据体系,就是想把这些容易被漏掉的过程补回来。

具体分三个层面:

  • 策略层:记录人如何接近目标、怎么选站位,以及什么时候调整观察位置。

  • 协调层:记录躯干、肩臂和手部如何配合,完成一次操作。

  • 执行层:记录拿起物体之后,怎样起身、转向、搬运,把前后动作串起来。

这么一来,机器人要学的就不只是手上那几个动作了。

可人类的动作再完整,机器人也没法直接照搬。

人形机器人、移动机械臂、固定工位上的夹爪,身体结构和运动能力差得不少。

人轻松能完成的动作,换到不同机器人身上,还得按各自的运动约束重新适配。

想抄人类的作业,也得先看看自己的「身板」允不允许。

也就是说,原始数据必须尽量完整、准确。特别是不同设备采集的画面、关节动作与触觉信号,时间上不能出现错位。

试想,视频里手指刚碰到物体,触觉信号却慢了一拍——模型手里拿的明明是「标准答案」,却答错了题。

DAS Ego 2.0和Dex 2.0是两款独立设备,但靠统一时钟、硬件触发和相机曝光控制,头与手之间能做到约1ms级的时间对齐。

1ms是什么概念?

按手部运动速度0.5m/s算,1ms的时间错位对应约0.5mm的运动距离;错开10ms,对应约5mm。

这算的是时间错位带来的几何偏差,不是设备整体的定位误差。

但接触、旋转、松手这类快速动作,几毫秒的差异就可能让画面里的动作和传感器测到的接触状态对不上。

采得再精细,时间对不齐,模型照样可能学跑偏。

眼下,简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。

连AI模型研发团队都下场卷数据了,具身圈的压力只怕会越来越大。

不过也别急着给谁判输赢。

从视觉、动作到真实触觉,Human Data已经越采越细。

接下来看的是谁能把这些数据真正用好,把人类的本事学到手。

通用大模型已经把题目出到这儿了,机器人们,该交卷了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GroundingPI:机器人为何抓歪杯子?缺的是像素级定位

    你有没有想过一个问题:一个能和你聊天、能写代码、知识渊博的AI,为什么让它去控制一个机械臂抓一个杯子,经常会抓歪?这听起来有点反直觉。毕竟这些大模型能通过各种考试,能解释量子力学,怎么连"杯子在哪里"这种简单问题都答不准?答案藏在一个被长期忽视的环节里:这些AI大多是用来聊天和看图说话的,它们擅长说出"这...

    来源 腾讯网
  2. 王兴兴谈具身智能:只差几毫米,2027年或成临界点

    王兴兴认为,当前瓶颈在于模型与物理世界之间那道微小却顽固的鸿沟——大模型看似规划逻辑通顺,一旦落到末端接触、精细操作等物理世界层面的问题就立马束手无策,导致机器人无法根据人类指令,稳定完成工作任务。 另一方…

    来源 搜狐科技
  3. 摩根大通:2030年美国产量30万至40万台,人形机器人商业化在即?

    IT之家 11 月 12 日消息,据路透社今天(12 日)报道,摩根大通最新预测显示,随着人形机器人从技术展示走向商业化应用,美国人形机器人产量到 2030 年将达到 30 万至 40 万台,2035 年进一步增至约 150 万台。劳动力短缺、使用成本下降和产能扩大,正推动制造、物流和仓储企业采用人形机器人,以替代重复

    来源 腾讯网
  4. 文心5.5 Flash Preview实测:编程提速,网页游戏双场景交付

    在11月12日开幕的百度世界大会2026上,这家曾开国内AI先河又略显波折的巨头发布了一系列前沿新品。其中尤为引人注目的,就是最新基础模型文心5.5 Flash Preview(ERNIE 5.5 Flash Preview)。百度基础模型研发部负责人孙天祥也首次公开亮相,介绍了这款新模型的参数规模和核心优化方向。按照

    来源 腾讯网
  5. 港科广与欧拉万象推出SLA:RoboDojo真机榜平均得分42.3分登顶

    把空间理解放进基础模型的持续学习过程,机器人能否更好地应对现实中的变化?机器人伸手抓取果蔬时,有人把目标挪走了。原本放好的物体,又被扔回桌面。另一组实验里,桌面不断升降,夹爪需要跟上目标的高度变化。同样是抓取和放置,空间关系一变,已经学过的技能还能不能继续用?图 1 SLA 真机操作视频香港科技大学(广州)与欧拉万象(

    来源 腾讯网
  6. 腾讯元宝搜索上线:千亿索引长尾召回超94%,广告不干预自然排序

    本文来源:时代周报 作者:杨静菩腾讯再次押注C端搜索产品。11月11日,腾讯C端AI搜索产品元宝搜索正式对外开放,入口为独立官网或新版QQ浏览器。这是腾讯在搜搜、搜狗之后,再一次把通用网页搜索摆到C端台面上,也是第一次由大模型贯穿检索全流程。腾讯在搜索市场不是新手。2006年上线的搜搜曾拥有独立网页搜索入口,2013年

    来源 腾讯网
  7. 百度上线词元所:大模型交易所怎么让Token日均7000亿有处可查?

    为解决这一落地难题,百度正式推出大模型交易平台词元所。词元所希望汇聚好的模型和模型提供商,让企业乃至个人都能便捷地找到、购买和使用可信的模型Token。向客户提供中立可信、公开透明的模型交易服务。词元所上线一个月以来,入驻供应资源已超100个,日均调用次数突破5000万,日均调用Token超7000亿。

    来源 TechWeb
  8. 连文昭回国创业:源络机器人进实验室,自主科研闭环还有多远?

    2023 年,连文昭决定离开硅谷,回国创业。这个决定背后,是他在机器人领域十多年的积累。连文昭曾先后在 Vicarious 从事通用人工智能研究、在 Google X 任资深研究科学家、在 Figure AI 任技术总监,并是 Figure AI 的初创成员之一。经历了从通用人工智能探索到机器人模型、软硬件协同的不同阶

    来源 腾讯网
  9. 百度上线词元所:大模型交易平台能否破解落地难题?

    为解决这一落地难题,百度正式推出大模型交易平台词元所。词元所希望汇聚好的模型和模型提供商,让企业乃至个人都能便捷地找到、购买和使用可信的模型Token。向客户提供中立可信、公开透明的模型交易服务。词元所上线一个月以来,入驻供应资源已超100个,日均调用次数突破5000万,日均调用Token超7000亿。

    来源 TechWeb
  10. 李彦宏发布词元所:大模型交易平台上线月余,日均调用Token破7000亿

    李彦宏表示,当一个开发者或者一家企业,真正想把模型用起来的时候,往往会发现模型越多,选择越困难。同一款模型有的贵,有的便宜,来源五花八门,质量参差不齐,选来选去就是不放心,不敢用。词元所就是为了解决这个难题而生,宣称是一个中立、可信的大模型交易平台。

    来源 IT之家
  11. 百度上线词元所:模型交易平台日均调用Token超7000亿

    【TechWeb】11月12日消息,百度世界2026开幕式上,百度创始人李彦宏表示,模型迭代速度非常快,今年前9个月,几乎每天都有不止一款新模型发布,与此同时,对模型的调用需求也迎来大爆发。由此催生的一批词元中转站,“并不对模型的效果、服务的稳定性、响应速度等负责,甚至连模型的真实性都无从考证”。 为解决这一落地难题,

    来源 AI 行业观察
  12. Grok Bot 1.0正式发布!马斯克教AI和你的团队一起工作

    机器之心编辑部感觉 xAI 改成 SpaceX Super Intelligence 之后,马斯克在 AI 上很久没有过什么大动静了。就在刚刚,Grok Bot 1.0 版本正式发布了。「机器人可以共享,并且比以往任何时候都更具协作性和能力。」按照 SpaceX Super Intelligence 的说法,新版的 G

    来源 腾讯网
  13. a16z 提出 B2A 经济:AI Agent 成互联网主要用户

    智东西11月12日消息,近日,硅谷知名风投机构a16z官网刊文《Welcome to the B2A Economy》(欢迎来到B2A经济时代),提出新判断:AI Agent正在成为互联网的主要用户,企业未来不仅要争夺人类消费者,还要争夺AI Agent带来的流量和订单。 过去几十年,互联网公司一直在想办法阻止机器人访

    来源 AI 行业观察
  14. 谷歌Gemini眼镜395美元起:隐私优先能否避开Glass老路?

    谷歌正式发布首款搭载Gemini AI的智能眼镜,起售价395美元。产品由谷歌联合三星、Gentle Monster和Warby Parker共同打造,主打隐私保护,试图避免Google Glass当年的覆辙。在Meta Ray-Ban智能眼镜打开市场后,谷歌携大模型能力重返可穿戴赛道,智能眼镜的AI助手之战正式打响。

    来源 AI 科技快讯
  15. 算力租赁改按Token分成:周咏降固定租金,头部客户试点

    自2026年一季度起,保底+Token超额分成的算力计价方案开始在国内头部算力租赁服务商与头部大模型、Agent应用厂商之间试点落地,目前仍属于小范围探索,集中在推理业务占比高、调用量具备增长预期的战略客户,尚未向中小客户、训练类订单铺开。

    来源 凤凰科技
  16. 京东5年采购300万台机器人;地瓜机器人牵手珞石,S600适配iNex

    本期速览:1. 无界动力算法负责人李一贤加入哈啰Robotaxi;2. 地瓜机器人与珞石机器人达成合作;3. Meta与傅利叶联合开发人形机器人Max;4. 京东宣布五年采购300万台机器人;5. 蚂蚁灵波开源触觉模型LingBot-Touch;6. 宇树与中石油拟合资布局工业具身智能;7. 银河星仔ET1获CES 2

    来源 腾讯网
  17. 智谱MiniMax等大模型厂商:Token订阅最低三折,首战双11

    11月11日,天猫商城的天猫AI空间站显示,智谱、MiniMax、千问AI、Qoder等大模型厂商,相继推出五折甚至三折的Token(词元)订阅套餐。这是大模型厂商首次集体参与“双11”网络促销活动,也是其加速向C端(消费端)商业化进程的重要营销事件。

    来源 华尔街见闻
  18. 谷歌上线Gemini 4 Hydrogen:3.8 Flash退役,发布节奏变了

    谷歌正式发布Gemini 4 Hydrogen,一改Carbon与Argon缓慢谨慎的安全发布节奏,以更快速度推向市场,并取代服役已久的3.8 Flash。本文梳理此次发布的策略转变、模型定位与行业影响,分析谷歌在模型迭代速度与安全治理之间如何重新取舍,以及这一动作对整个大模型竞争格局可能带来的连锁反应。

    来源 AI 科技快讯
向下滚动自动加载更多