Ego数据效果被质疑：5-10小时才顶1小时UMI，简智朱雁鸣怎么看

最近「海外独角兽」那篇 Robotic 专题提到，UMI 需求变多，一个原因是 Ego 数据效果不理想。其实好几家头部公司跟我聊过类似的情况：Ego 的 Scaling law 很难跑出验证，UMI 就容易得多。

问题出在采集精度和信息量上，所以有些公司又转回去用 UMI 了。按训练效果来重新调整数据，这种做法我挺支持；这么看，Ego 数据的边界差不多也快摸清了。

......

预训练规模已经到 220 万小时，但同样一小时数据，能帮上多少忙并不一样。我们汇总了一些信息，大致 5-10 小时的 ego 数据训练效果，可能才抵得上一小时 UMI。

这也让我意识到，预训练阶段就得把动作信息的密度和精度当回事。有些关节和接触信息在采集环节没留下来，后面再想办法补，难度会非常大。

模型侧的需求我大概已经 Get，数据侧的一些想法，还想听听供应商怎么说。之前一直听说简智团队联创朱雁鸣这半年都在北美跑业务，对国外公司的信息了解得比国内快一些。

10 小时 Ego 等于 1 小时 UMI 的原因，我相信他心里肯定清楚，所以我们很幸运约到朱总聊了两个小时。

To be honest，九月就有投资人 push 我们深度调研一下简智，这次总算等到了合适的机会 hh。

这次聊的内容非常非常多，比如怎么看 Ego 精度，怎么看 human data，比如为什么选在这个节点发新的手套和头环，还有他们自己认为的壁垒是什么。今天把一些关键信息和我们内部的看法写下来，也希望能和大家多交流数据层面的观点。

话不多说，我们开始吧。

数据形态的终局是什么。

先从「数据升维到 Human data」说起，这是一个大前提。朱雁鸣对行业的判断是，机器人会越来越像人，从身高、尺寸、关节、手，再到腰部和全身的运动。简智之所以选 human data，也是因为数据得跟着人走，不能只服务某一款或者某几款机器人。

按这个逻辑，他对 human data 的定义比较宏观：

朱雁鸣：human data 不是一个单一维度的数据要求，我认为它就是一个人的全部。它包含语言，可能承载着人的思考过程；包含人对环境的认知；包含视觉，因为人需要基于视觉去做空间规划；也包含触觉、力反馈，甚至包含接触之后的二次运动。

早几年，大家盯的基本都是手，下半身干脆不动，两条机械臂配一个夹爪就把活干了。

往后走到全身人形这一步，腰和腿也得算进来。单目 ego 头环装不下这么多信息，于是市面上多目头环慢慢多起来，图的就是把人体的运动信息记全。

为什么要把数据采得更全？朱总讲了他的道理，大意有几层。

从高维往低维走，比反过来容易。

眼下的本体数据，多半只覆盖现在这台机器能做的事。哪天硬件本体大改，这批本体数据还值不值同样的价，就不好说了。

可要是把人的复杂运动和各类信息都存下来，之后再往某种机型上映射，降维这条路就走得通。

人的动作落到本体上，多数时候是做减法：砍掉一部分信息，去掉几个自由度，再添些运动限制。

说白了，先把人的动作和交互采得足够全，等机器人真需要时，可挑的信息就更多。

这个方向我认。

麻烦也有。「能降维」不等于「降维就管用」。人的手指根数、身材比例、机器人的关节限制，彼此都对不上，留哪些动作、改哪些动作，最终还得看模型跑出来的效果。

这套逻辑，他们内部还在验证。

朱总举了个例子：五指的操作可以映射到两指的 UMI 上，他们内部靠这个也拿到了些有用的数据。

简智做数据升维，走的就是这条路——采集时尽量把原始的多模态信息留住。DAS 2.0 正是在这个设想下推出的新一代产品。

快速过一遍：一台 Ego 2.0 头戴六目相机，一副 DEX 2.0 数采手套，外加配套的腕部相机。

横向视野从上一代的 270° 提到 340°，朱总说，主要是想多抓些环境信息，把空间定位做得更准。

相机还往额头前挪了挪，视野往下调，画面里腰以下的身体占比因此能变大。

我追问了一句：这改动是你们自己发现的，还是客户提的？

朱总说，是自发做的。一代时也试过拍全身，可真实场景里遮挡太多，有时一挡十几秒，光靠上下文很难补准。

写到这里，我想起觅蜂。此前聊过，他们给原始数据分级，思路差不多：现在用不上的，以后未必用不上。

信息采得多了，精度还得跟上。

单目 Ego 头环一个大几千块，量大了价格还能再谈，但指望它把定位误差压到极小，不现实。

哪些信息值得直接测下来，好给模型一个更可靠的参照？

这就说到手套了。这些数据怎么进预训练、中训练和后训练，我们跟朱总也聊得很细，后面再讲。

手套已经发了不少，简智背后的逻辑是什么？

数采手套这段时间看得实在太多，临界点此前就聊过。让大模型简单搜了一下，光公开信息里能查到的手套发布就有一大堆。

上半年大家嘴上还分遥操手套、数采手套，最近一两个月，说法变成了两种都要兼顾。国内公司爱卷，这股劲头确实厉害。所以我也犯嘀咕：简智这时候挤进来卷手套图什么？采集人类动作和触觉拿去训练，这套故事谁都会讲。

而且简智这回的 DAS DEX 2.0，走的是外骨骼路线。我一开始以为会像下面这样，外面挂一堆结构件。

等看到实物，才发现跟想的不一样。外骨骼是侧着装的，这么设计，对动作的干扰就小了不少。

那接下来要问的就是：简智肯付这个代价，是想多记下点什么？

手套这块聊得挺多。天南问：最近见到的织物手套偏多，你们怎么选了外骨骼？

朱雁鸣答：说到底还是图好上手、精度要准。你刚才提到的外骨骼手套那些老问题，我们这种侧置方案基本不会碰上。另外我们想直接把手部动作和姿态记下来。

跟 IMU 或者 EMF 比，这样会更准。至于织物手套为什么不做，除了精度够用，我们更在意鲁棒性，得耐造。能给操作提供更稳的触觉信息，这些都在 DEX 2.0 设计时考虑进去了。

天南问：你几次说到原生动作，是不是更多在强调外骨骼这件事？朱雁鸣答：对。比方说从指尖轨迹出发，映射进一个标准手模型，再加约束去还原姿态，看着可能差不多，可跟人当时的实际运动还是有出入。我们想把原生的关节运动也留下来，当作额外信息交给模型。

DEX 2.0 的做法是把磁编码器塞进外骨骼关节，直接读机械关节的转角，再靠标定把手部状态还原出来。

天南问：电子皮肤你们用压阻方案，不同手套之间的一致性怎么保证？朱雁鸣答：得处理材料和加工工艺造成的差异，不然用起来会漂。我们花了不少时间找材料，在会形变的那一层用多孔结构，想靠孔的变化把一致性拉上来。

感知单元用的是石墨烯喷涂，同样是从制造一致性出发考虑的。

前面说的运动信息交给什么模型，我也追着问了。朱总说，他们内部在做不少数据处理的模型。这块我挺有兴趣。

我的看法是，就算手套把触觉和姿态都做扎实了，中短期内数据需求恐怕还是不大，价格摆在那儿。需求要是不大，做这事的意义又在哪？这是我最近一直想不通的点。

朱总的回答里有一条我觉得有价值：他想用手套采回来的高精度数据，去改进那些没戴手套采到的数据。简智把采集分成了三种。

• 据朱雁鸣介绍，简智把数据采集拆成三条路线。最基础的是纯Ego，只记录人、环境和操作的上下文，铺量最容易；往上加腕部相机，近处的手和物体能拍得更清楚；再加手套，就多出关节运动和触觉的测量。

CoRL 的同学也跟简智反馈过，北美现场不少 frontier lab 对简智最新的 wrist camera 挺感兴趣。这里也蹲一下后续的使用反馈~

手套采到的数据可以直接用，朱雁鸣还希望它能给前两种采集方式提供参照。他用的词是 ground truth，也就是真值。

要把这些信息用到更多数据里去，就得靠简智内部的数据处理模型。聊到这里，是我这次感触最深的一部分。

数据公司自己训模型，背后是怎么想的？结论先摆出来：简智想靠自己的模型，让没戴手套采到的数据也变得更准，说白了就是拿自己升维的数据去提升低维数据的信息量。我觉得这一点比较重要，稍微展开说说。

之前和大家聊过，单纯做数据采集本质上是服务业，所以我一直很关心数据 infra 公司的壁垒到底在哪。如果数据供应商自己训模型，其实能积累更多 knowhow。

朱雁鸣提到的 DFM，就是想把手套等不同模态的信息放到一起，做标注、补全和校验。

这么看，手套在这里更像一把尺子。直接采回来的数据除了售卖，还多了一层价值。尤其在手套还没大规模铺开的时候，我认可用高精度数据去帮更大规模视觉采集的思路。

我当时追问了一句：这样会不会让简智原先卖的 Ego 数据也变得更有价值？朱雁鸣给了肯定的回答，还说客户会更愿意 pay more。他也分享了自己对模型投入的看法。

朱雁鸣表示，对数据 infra 这块依然看好，能做的事不少，只是部分方向商业化难度偏高，模型就是一例。内部讨论之后，团队还是决定继续投入，也希望把自身对数据的理解做更充分的验证。客户的反馈要听，但自己也得有判断，不然就会一直落在客户后面，赶不上对方的创新节奏。

这句话我觉得挺深刻。结束和朱雁鸣的交流之后，我们内部也讨论了不少。

担心也有。其一，数据公司未必有足够强的模型能力；其二是模型在现有场景数据上收敛之后，客户未来换场景——比如新需求是跨国——还能不能处理好。

投入很大却跟不上新变化，会不会反倒成了负资产？这个问题也摆出来，大家一起聊聊。

我的看法是，数据质量想做好，光靠人工标注肯定不够。客户开口就是一个月内交五十万小时。你交不出来，人家就换别人。

这么短时间，怎么既保量又保质地交付？所以不做自己的数据infra，大概率上不了最大的牌桌，这已经是所有数据供应商绕不开的基础能力。

可它也是把双刃剑。做得好，领先一大截；做砸了，真可能变成负资产。数据公司的壁垒，还得靠这些具体交付和改进一点点攒出来。

同样是卖数据，各家的想法差别不小。除了前面聊的主线，我们还谈到后训练、采购、运营，以及不同客户对数据的理解。下面按原意精简整理，同一话题下的讨论合到一起，各自的判断照旧保留。分享给大家。

天南：你们讲的人类经验，主要用在预训练，还是也能进后训练？往后机器人大量部署起来，长期看会不会还是真机数据为主？

朱雁鸣：我认为人的数据可以进后训练。以前的难处，一是精度不够，二是信息不完整，很难映射到机器人身上。假如一段人扫地的数据能准确映射过去，机器人也能把这个操作做下来，那它就有机会起到和遥操数据相近的作用。这正是我们想达到的目标。

部署之后的真机数据也有价值，失败和重试尤其如此。不过我还在意另一件事：机器人原先不会的东西，怎么拿到一个正确示范。比如它本来不会跳，光靠已有的部署数据，这个示范就很难得到。

上面这个问题，我的看法有所保留。现阶段我支持探索人类的数据，但长期更倾向部署后的真机数据。未来一两年，后训练的主力大概率还是遥操，或者同构的无本体数据。遥操和接管同样能给正确示范，人的数据可以先放到动作容易迁移、结果容易验证的任务里去试。

中训练上也会有分歧。朱总希望把高精度信号更早放进预训练，少一点后面补课的需求，他并没有否定中训练会长期存在。我们依旧认为，本体铺开以后中训练会更重要，具体本体的适配需求也还在。

不过，如果今天能买到的ego加手套数据都只要几美金，采集效率还很高，那眼下不少分歧都会收敛。

下一个问题。

天南：大模型厂商对Ego数据的需求在增加，但大家怎么用这些数据，是不是仍有分歧？和具身公司的需求又有什么不同？

朱雁鸣：分歧确实有。同样是Ego数据，有的需求是让模型理解更多环境和信息，有的则想提升规划能力，这两种目标对数据的要求不一样。只看别人买了很多Ego、却不知道具体怎么用，很容易走偏。具身里一些做落地的团队，会更具体地盯住某些任务和场景，希望任务范围能收敛下来。

天南问到，外购的遥操数据如果跟自己的本体不适配，为什么还会有人买，这个 Gap 你们怎么处理。朱雁鸣说，他接触到的客户会指定设备，比如要求采集用的手和最后部署的手是同一款。客户买的不只是数据，还包括供应商的运营能力和场景资源，让供应商按要求组织采集。设备有时客户自己提供，有时由供应商采购。

天南接着问，数据这门生意的运营挺重，你们自己怎么看里面的壁垒。

朱雁鸣认为，运营能力里很关键的一条是能不能采到多样性的数据。他说公司现在很少谈众包，因为有些容易获得的数据，继续加规模的价值已经开始变薄。比如超市场景的数据已经很多，客户下一步可能要的是工厂、制造业或医疗相关的内容，而进这些场景，需要不一样的运营能力。

还得往任务下面多看看。餐馆擦桌子和在家擦桌子，模型最后学到的可能还是同一种动作，场景不同，不能就认定动作也足够多样了。

回到 human data 这件事，朱雁鸣觉得这是一个公司的立命之本。作为一家公司，肯定要先有质才有量，这也是他们强调数据模态要更丰富的原因。光有量没有质，大概率成不了一家大公司，或者很难做到行业领先。

天南问，你们同时接触国内外的客户，在对数据的理解上看到了哪些不同。

朱雁鸣说，他接触的一些海外团队会往任务和场景下面再看一层。除了场景和任务的多样性，他们还关注动作的多样性、标注的多样性。训练时到底严格控制动作还是控制结果，也会影响对数据的要求。另外，人的数据和机器人是什么关系，他们会先放下某个具体本体的限制，再去想这些数据能提供什么。

国外还有一点在他看来难能可贵，很多人创业不会考虑做大而全的东西，会更务实一些。

天南问，随着大模型继续进入具身，数据的需求结构会发生什么变化。

在朱雁鸣看来，System 2 与 System 1 所代表的高层理解、动作规划会持续走向融合，而底层运动控制则可能长期独立存在。高层理解这一侧，还需要把对空间和物理的认知补足；底层运动控制那一侧，重点则落在运动和接触上。

把时间拉长来看，这些能力终究要协同起来。以端着盘子穿过餐馆为例，身旁有人来回走动，得避让，有时还会碰到人，光会端起盘子远远不够。策略得跟着环境以及他人的变化随时调整，对动作和物理信息的要求也随之更完整。

尾声。

今天要和大家分享的内容，差不多就是这些。

和朱总的交流还是挺深入的，对我们内部理解数据这件事也提供了不少新的视角。

尤其是当你听到了不同角度的声音。比如算法、评测、供应商，他们是怎么看数据，未来会有哪些判断、分歧和共识。这也是为什么我会和大家交流的原因，在嘈杂的时代，众说纷纭中抓到自己的理解。

很有趣。