中国AI「魂穿」卓别林《淘金记》：1925年黑白默片第一视角体验开放

新智元报道  

平时看小说，主角“魂穿”的桥段不少见。可要是让AI也来一次“魂穿”，回到1925年的黑白默片《淘金记》，直接钻进卓别林的第一视角，睁眼那一刻会是什么光景？

低头看，自己两只手正攥着刀叉，切的是餐盘里那只出了名的煮皮鞋；再一抬头，对面坐着饿得发慌的大胡子同伴。

镜头一转，换成《夺宝奇兵》主角的视角：幽暗古墓中，左手探着机关，右手捏住沙袋，一眨眼就把黄金神像换了出来。

《侏罗纪公园》里那间幽暗又逼仄的地下配电室，角色站在仪表盘前紧急操作。生成的画面中，青色3D手部骨骼把手指逐一拨动发光开关的细小动作都还原了。

这一连串横跨百年的“赛博魂穿”，都出自刚发布的新模型Exo2EgoPolicy。这是一个跨视角生成模型，能把任意第三人称旁观镜头一键切换成操作者本人的第一人称视角（Ego View），同时实时描出左右手每根手指的3D手部骨骼（Ego Skeleton）。

多人同框、镜头频繁切换、运镜幅度大，这类复杂场面它也能把第一视角转换做得顺滑。《闻香识女人》那场有名的探戈，宴会厅里人头攒动，原片镜头在全景和近景之间来回跳。

模型自始至终死死盯住阿尔·帕西诺演的盲人中校。生成的第一视角里，中校双手牵着女伴，在白色三角钢琴旁旋转，手部骨骼和乐手方位一点不差。

再换到1952年《雨中曲》的大雨街头，吉恩·凯利撑着黑伞仰头转圈。第一人称视野里，漫天雨丝立刻落下，握紧伞柄飞速旋转的雨夜街景也随之出现。

镜头乱切的好莱坞大片都能随便魂穿，日常家务这类小事自然更不成问题。

办公桌前，有人把水瓶收进网篮，第一视角里手指抓握、放下的3D骨骼轨迹都跟得明明白白；还是这张桌子，有人顺手叠起一件红T恤，把旁观画面喂进去，马上就能生成带鱼眼畸变的胸前第一视角。

双手3D骨骼捏住衣角折叠的节奏，跟原片动作对得严丝合缝。转到茶水间，拉开门从冰箱里取饮料、拧开瓶盖，生成的画面把冰箱内部多层隔板的几何纵深完整保留了下来。

右手拉门、左手取瓶，手指骨骼细节在第一视角下照样看得清。再从微波炉里端出热好的盒饭，转身走向长桌，第一视角稳稳锁住双手托住餐盒边缘的骨骼姿态。

走动时，桌面和走廊的光影变化也自然连贯。

电影和短视频拍了一百多年，摄影机基本都站在旁观者的第三视角上。现在不用深度相机，也不用标定参数，Exo2EgoPolicy把百年影像从「旁观视角」还原成「第一视角」这道难关给攻下来了。

看到这儿，你大概会以为又是哪家视频大模型公司在秀肌肉。结果出人意料：做出Exo2EgoPolicy的，是做机器人的中国具身智能独角兽——维他动力（Vbot）。

他们盯上的是具身智能行业头疼很久的头号难题：训练数据的多样性（Diversity）和海量规模（Scale）怎么一起拿到。同一时间，端到端通用数据管线Vbot Echo和采集应用Echo App也一并推出，即日起向所有人全面开放。

网上那些海量第三人称视频，或者手机支在桌边随手拍的收碗碟、做咖啡画面，都能直接喂进系统。机器人转眼就「魂穿」进拍摄者的视角，沿「Exo → Ego → Ego Skeleton」算出三维关节轨迹和物理接触力。

人形机器人真机拿到这组数据，站在桌前当场就能自己动手干活。

一家机器人公司肯花这么大力气，教AI学会「魂穿」第一视角，图的是具身智能行业缺数据这个老难题。

就在几天前，Anthropic发布了Claude Fable 5.2。在双臂机器人基准RoboDojo上，它仅凭摄像头画面指挥机器人，成功率从上一代的27.6%升到64.9%。

大脑越变越强，这点已经不用多说。

但脑子灵光归灵光，手上的活儿还是得靠大量具身操作数据一口一口喂。

维他动力的团队对这一点感受很深。

创始人余轶南是地平线001号员工、前智能驾驶总裁，联创宋巍是地平线前软件平台总架构师；另一位联创秦海龙曾任千里智驾首席科学家、蔚来自动驾驶高级总监，赵哲伦曾任理想汽车第一产品线营销负责人。

这帮人在自动驾驶里摸爬了十年，转向具身智能之后很快就发现：机器人缺数据，缺得比自动驾驶厉害多了。

为了把采集成本压下来、把数据量提上去，全球具身智能圈把能试的方案试了个遍——真机遥操作、ALOHA、UMI夹爪，还有第一人称（Egocentric）穿戴式视频。

硅谷独角兽Physical Intelligence和英伟达前不久推出的EgoScale，都在大规模收集第一视角的人类视频。

然而，不管是让采集员头顶绑GoPro、手里攥UMI夹爪，还是套上笨重的外骨骼，最后都卡在同一个地方：

穿戴式采集设备把硬件成本抬高了一大截，操作员在真实场景里的干活效率也被拖得够呛。

整个具身智能行业，一直没等到一种既能保证数据多样性（Diversity）、又能拿到海量规模（Scale）的方案。

维他动力想破这个局，眼睛盯上了人类世界里规模最大、来源最杂的视频金矿——互联网。

大语言模型能席卷全球，靠的就是把互联网上现成的数万亿Token文本消化掉。

人类已经攒下的视频世界里，YouTube平均每天新增超过2000万条视频，TikTok每天上传的内容更是超过1亿条。

互联网视频本来就五花八门、体量惊人，里面躺着数百亿小时人类做饭、叠衣、收纳的真实经验。

可这座金矿摆在面前，机器人以前是一口也咽不下去。

头一只拦路虎，是90度的视角错位。网上绝大多数视频拍的是第三人称，而具身智能要的是第一人称。

第二只拦路虎，是第一视角下的三维手部骨骼（Ego Skeleton）与物理力学信号缺失。人和机器人的身体结构、关节约束完全两回事，手部关节轨迹和接触力数据对不齐，机器人照样动不了。

要是能把海量互联网视频准确转成第一人称视角，再把「Exo → Ego → Ego Skeleton」整条链路打通，具身智能的数据难题就真能解开。

Vbot Exo2EgoPolicy和Vbot Echo，就是冲着这件事来的。

要让AI隔着屏幕完成跨视角的「魂穿」、再把精准动作提炼出来，硬件数据缺失和手部变形失真这两道坎必须迈过去。

网络上能获取的视频资源，本身既缺少深度传感器采集的数据，也不带相机标定参数。

普通视频模型即便能合成出画面，一旦手和物体发生接触，生成结果也容易糊成一片。

针对这个痛点，维他动力把三维几何约束和手部骨骼监督直接嵌入Exo2EgoPolicy的视频生成主干。

主干选用的是140亿参数、50层的H3 Ref2VA DiT视频生成网络，前端并接了两路编码器。

其中一路是冻结的H3 Video VAE编码器，负责抽取原视频的外观参考特征；另一路交给Qwen多模态编码器，解析画面语义和文本指令。再叠加多镜头拼接训练，电影里机位切得再频繁，目标人物也能被牢牢锁定。

研发团队在训练前半程注入了6D普吕克（Plücker）相机光线投影，给模型搭起理解三维空间的「空间脚手架」。

训练进入后半程，相机光线末端的随机门控开关被直接关掉，外部几何输入彻底归零。

技术报告给出的结果是：撤掉带噪声的外部先验之后，流匹配误差反而降低了7.9%至11.2%。

这样一来，模型在推理阶段完全不再依赖外部硬件，只凭一段普通视频就能还原三维空间。

在546段真实场景片段的评测里，零先验推理的Exo2EgoPolicy全面压过仍需几何先验输入的开源基线EgoX。

长时序PSNR提升了3.25 dB，视频生成FVD误差更是直降39.8%。

还有一步同样关键：为打通「Exo → Ego → Ego Skeleton」，团队在DiT主干底部同时挂上了两个核心模块。

其中之一是三分类手物语义掩码头，另一个是两阶段手部几何读取头（H3 Hand Readout）。

语义掩码头给双手区域施加2.0倍损失权重，对被操作物体施加1.5倍权重，把模型的注意力往手物接触区域上引。

手部读取头先在模型第20层对齐ACE-Ego-Hand空间表征；到第39层隐藏状态，它就能直接回归出左右手各21个关键点（42维坐标）的手部Skeleton。

实测数据表明，这套监督机制把手部关键点定位精度（PCK@5%）从11.52%翻倍拉到20.02%。

面对没见过的新场景，手部关节有效覆盖率也能达到98.92%，为下游提炼机器人操作轨迹铺好了高精度底座。

从Exo到Ego再到Ego Skeleton的感知表征打通之后，接下来要解决的是把手部骨骼变成机器人真正使得出的力气——端到端通用数据管线Vbot Echo与Echo App正是承担这一步的主角。

这套工具链从今天起面向所有人全面开放，任何人都能直接上手使用。

既不用购置遥操作设备，也无需往身上套那些拖慢效率的外骨骼。

只要在手机上打开Echo App，普通用户就能调用手机自带的ToF深度传感器或双目相机，采集门槛一下就降了下来。

实拍演示里，有人把手机支在木桌旁，随手拍下19秒的画面——把桌上彩色盘子收进木盒，拍完点击上传就行。

视频进了Vbot Echo的云端管线，智能清洗模块先动手：高糊、黑屏与静止帧被自动剔除，再按动作完整度打分。

伸手抓盘子、放盘子的有效片段拿到1.00分，予以保留；站在桌边发呆观察的无效片段得0.00分，被自动剔除。

清洗后的视频紧接着穿过Exo2EgoPolicy，转成第一视角与手部Skeleton，进入统一时空人机物交互（HOI）重建模块。

场景三维点云、任务语义与手部骨骼被系统对齐在同一时空下，再结合目标机器人的关节约束，完成跨本体运动重定向。

接下来，仿真环境重演机器人与物体的接触过程，算出真实的接触力与关节力矩，把「如何发力交互」的训练依据补齐。

在意式咖啡机的精细操作测试里，操作员只用第三视角拍下双手接粉、研磨与转移手柄的过程。

仿真环境中的双臂机械臂，便能依据提取出的Ego Skeleton，同步复现出全套双手协同操作！

桌面收纳的真机实验中，经过防穿透与轨迹误差校验的多层训练数据，被直接喂给双臂人形机器人真机。

还是同一张木桌，双臂人形机器人无需人遥操作，自己伸出机械夹爪拈起桌上的蓝盘子与绿盘子，稳稳放进木盒中央。

一段19秒的手机视频，就这样成了机器人的一次真本事。

这套管线的能耐不止桌面家务，户外街头的双人全身互动同样能一把拿下。

路边长椅上，两名男生完成起身、擦肩交错行走与换位落座，Vbot Echo对整段视频做了4D时空重建。

重建后的画面可以在虚拟视点A和视点B之间自由切换，还能一键魂穿进黑衣男生的第一视角，看对方迎面走来。

通过统一时空HOI对齐，两名男生的全身动作与三维街道被实时解算成青色与橙色的数字人网格。

这批全身交互数据随即同步映射到两台人形机器人身上，驱动真机模型完成交错走位。

同一条管线还一口气打通了林荫步道、长阶梯、障碍平台与户外车辆等12组复杂真实场景。

具身智能要走向通用，就得突破数据供给的边界，让机器人的学习经验从有限的采集现场扩展到真实的广阔世界。

过去靠堆砌真机遥操作、ALOHA、UMI和穿戴式设备，硬件成本高昂不说，真实作业效率也被严重拖累。

通用机器人要的数据，既得多样（Diversity），又得海量（Scale）；靠专用采集资源不断铺开的做法，这两头始终顾不全。

维他动力这次让Exo2EgoPolicy、Vbot Echo与Echo App三者协同，为行业搭起了一套全新的数据基础设施：

Exo2EgoPolicy做的是把互联网上的第三视角视频转成机器人能用的第一视角素材——YouTube每天新增2000万条、TikTok每天新增超1亿条，这些内容都在它的处理范围之内。Vbot Echo接着沿「Exo → Ego → Ego Skeleton」这条链路走，配合物理仿真闭环，把视频画面一步步炼成可执行的机器人训练数据。

采集这一端，Echo App把门槛压到了最低：不用穿戴任何设备，入口就装在每个人的手机里。

「Fable 5.2们」让机器人的大脑越练越聪明。喂养这颗大脑的人类经验，如今在规模（Scale）和多样性（Diversity）上同时取得了突破。

全网沉睡的百亿小时第三视角视频，再加上普通人手机里的随手拍，从此都成了机器人持续进化的来源。