Exo2EgoPolicy模型发布：把第三人称镜头转成第一人称视角

新智元报道  

小说里主角「魂穿」的桥段大家见得多了，可AI也来玩这一手，恐怕没几个人设想过。

假设把AI送回1925年的黑白默片《淘金记》，让它以卓别林的第一视角睁眼，眼前会是什么景象？

往下一看，自己的两手正攥着刀叉，切餐盘里那只出了名的煮皮鞋；抬眼一望，对面坐着饿得发慌的大胡子同伴。

镜头一转，换成《夺宝奇兵》主角的视角：昏暗古墓中，左手去试机关，右手攥着沙袋，一眨眼就把黄金神像换成了替身。

再到《侏罗纪公园》那间又暗又窄的地下配电室，角色正对着仪表盘紧急操作。

生成的画面里，青色3D手部骨骼逐个拨动发光开关，连这点细微动作都没漏掉。

这一串横跨百年的「赛博魂穿」，都出自新近发布的跨视角生成模型Exo2EgoPolicy。

任意第三人称的旁观镜头，它都能一键转成操作者本人的第一人称视角（

多人同框、镜头频繁切换、运镜幅度又大，这类复杂场面下，它转出的第一视角照样顺滑。

《闻香识女人》里那段经典探戈，宴会厅里人头攒动，原片镜头在全景与近景之间反复跳。

模型全程咬住不放。

生成的第一视角中，中校双手牵着女伴，绕白色三角钢琴旋转，手部骨骼和乐手位置对得严丝合缝。

再看1952年《雨中曲》的大雨街头，吉恩·凯利握着黑伞仰头转圈。

第一人称视野里，雨丝漫天落下，握紧伞柄飞速旋转的雨夜街景随即铺开。

好莱坞大片镜头乱切都能随意魂穿，换成日常家务自然更轻松。

办公桌前有人伸手，把水瓶收进网篮，第一视角连手指抓握、放下的3D骨骼轨迹都看得一清二楚。

还是办公室桌前，有人顺手叠起一件红色T恤，旁观画面一喂进去，带鱼眼畸变的胸前第一视角立马输出。

画面中双手3D骨骼捏住衣角折叠的节奏，和原片动作分毫不差。

走到茶水间，拉开门取饮料、拧开瓶盖，生成画面把冰箱内部多层隔板的几何纵深完整保留了下来。

右手拉门、左手取瓶，手指骨骼的细节在第一视角下同样清楚。

从微波炉里端出热好的盒饭，转身走向长桌，第一视角稳稳锁住双手托住餐盒边缘的骨骼姿态。

走动之间，桌面与走廊的光影变化也衔接得自然流畅。

人类拍电影、拍短视频拍了一百多年，摄影机基本都站在旁观者的第三视角上。Exo2EgoPolicy把这道坎迈了过去：不用深度相机，也不用标定参数，百年影像里的「旁观视角」能被还原成「第一视角」。

乍一看，这像是哪家视频大模型公司又在秀肌肉。结果出人意料——做出Exo2EgoPolicy的，是一家做机器人的中国公司。

他们要啃的是行业里悬了很久的头号难题：训练数据的多样性怎么保证。同步亮相的还有端到端通用数据管线与采集应用Echo App，即日起向所有人全面开放。

网上海量的第三人称视频能直接喂给系统；手机支在桌边随手拍下的收碗碟、做咖啡画面，同样能喂进去。机器人随即「魂穿」进拍摄者视角，顺着「Exo → Ego → 」一路算出三维关节轨迹与物理接触力。

人形机器人真机拿到这组数据，站在桌前当场就能自己上手干活。

一家机器人公司肯下这么大力气，教AI学会「魂穿」第一视角，图的是具身智能行业纠缠已久的数据稀缺难题。

就在几天前，Anthropic发布了……在双臂机器人基准上，成功率从上一代的27.6%飙到64.9%。

大脑变强的速度摆在那儿。不过脑子再灵光，手上的功夫还是得靠海量具身操作数据一点点喂出来。

维他动力团队对这一点体会很深。创始人余轶南是地平线001号员工、前智能驾驶总裁，联创宋巍是地平线前软件平台总架构师。

另一位联创秦海龙曾任千里智驾首席科学家。这支队伍在自动驾驶深耕十年，转进具身智能赛道后很快发现：机器人缺数据的程度，比自动驾驶厉害得多。

为了把采集成本压下来、把数据量做上去，全球具身智能圈把各种路子试了个遍——真机遥操作……

硅谷独角兽

让采集员头上绑GoPro、手里握UMI夹爪，或者穿上沉重的外骨骼，都绕不开同一个瓶颈：穿戴式设备既把硬件成本抬了上去，又严重拖累操作员在真实场景里的作业效率。

整个行业始终缺一套方案，既能满足数据多样性（Diversity），又能拿到海量规模（Scale）。

维他动力把破局的方向定在了互联网上。人类世界规模最大、来源最广的视频资源就摆在那儿。大语言模型能席卷全球，靠的正是消化互联网上现成的数万亿Token文本。

YouTube平均每天新增的视频超过2000万条，TikTok每天上传的内容更是超过1亿条。互联网视频本身足够多样、体量也够大，里头躺着数百亿小时人类做饭、叠衣、收纳的真实经验。

问题是，面对这座金矿，机器人此前一口都吃不下。

第一道坎是90度的视角错位：网上绝大多数视频拍的都是第三人称，而具身智能要的是第一人称。第二道坎是缺东西——第一视角下的三维手部骨骼（Ego Skeleton）和物理力学信号都没有。

人类和机器人在身体结构、关节约束上完全不同，手部关节轨迹和接触力数据对不齐，机器人照样动不起来。

只要能把海量互联网视频精准转成第一人称视角，再把「Exo → Ego → Ego Skeleton」这条链路打通，具身智能的数据难题就真能解开。

Vbot Exo2EgoPolicy与Vbot Echo就是冲着这件事来的。

让AI隔着屏幕完成跨视角「魂穿」、再提炼出精准动作，硬件数据缺失和手部变形失真这两道坎必须迈过去。网上能下载的视频，既没有深度传感器数据，也没有相机标定参数。

普通视频模型就算能生成画面，手和物体一接触也容易糊成一团。维他动力的做法，是把三维几何约束与手部骨骼监督直接融进Exo2EgoPolicy的视频生成主干。

主干是140亿参数、50层，前端并联了两路编码器，其中一路用的是冻结的

另一路调用

训练前半程，团队注入了6D普吕克（Plücker）相机光线投影，给模型搭起理解三维空间的「空间脚手架」。

到了后半程，相机光线末端的随机门控开关被直接关掉，外部几何输入彻底归零。

按技术报告的说法，撤掉带噪声的外部先验后，模型在推理阶段彻底不再依赖外部硬件，一段普通视频就能直接还原三维空间。

在546段真实场景片段的评测里，零先验推理的Exo2EgoPolicy全面压过了仍需输入几何先验的开源基线，还把长时序

更关键的一步，是团队为了让「Exo → Ego → Ego Skeleton」这条路走通，在DiT主干底部并排装了两个核心模块：三分类手物语义掩码头，以及两阶段手部几何读取头（

语义掩码头的做法是给双手区域压上2.0倍损失权重，被操作的物体则是1.5倍，让模型把注意力集中到手和物体接触的地方。

手部读取头先在模型第20层做对齐，到第39层隐藏状态时，直接回归出左右手各21个关键点，也就是42维坐标的手部Skeleton！

实测数据摆在那里：这套监督机制下，手部关键点定位精度做到20.02%，相当严苛；换到没见过的新场景，手部关节有效覆盖率还能达到98.92%，下游提炼机器人操作轨迹因此有了高精度的底子。

从Exo到Ego再到Ego Skeleton的感知表征已经打通，接下来要解决的，是让「手部骨骼」变成机器人真正「使得出的力气」。

端到端通用数据管线Vbot Echo和Echo App就是干这个的。更关键的是，这套工具链从今天起向所有人全面开放，谁都能直接上手。

遥操作设备不用买，拖累效率的外骨骼也不用穿。普通用户在手机上打开Echo App，调用手机自带的ToF深度传感器或者双目相机，低门槛采集就能开跑。

实拍演示中，手机往木桌旁一支，随手拍下19秒把桌上彩色盘子收进木盒的画面，点一下上传就行。

视频进了Vbot Echo云端管线，智能清洗模块先动手：高糊、黑屏、静止帧自动剔除，再按动作完整度打分。伸手抓盘子、放盘子的有效片段拿1.00分，保留；站在桌边发呆观察的无效片段得0.00分，自动清掉。

洗干净的视频接着穿过Exo2EgoPolicy，转成第一视角和手部Skeleton，进入统一时空人机物交互（场景三维点云、任务语义与手部骨骼被对齐到同一时空下，再结合目标机器人的关节约束，完成跨本体运动重定向。

之后，仿真环境里重演机器人与物体的接触过程，把真实的接触力和关节力矩算出来，补上「如何发力交互」这块训练依据。

意式咖啡机的精细操作测试里，操作员只用第三视角拍下双手接粉、研磨、转移手柄的过程。仿真环境中的双臂机械臂根据提取出的Ego Skeleton，把整套双手协同操作同步复现了出来。

桌面收纳的真机实验则是另一条路：经过防穿透与轨迹误差校验的多层训练数据，直接喂给双臂人形机器人真机。还是同一张木桌，机器人不用人遥操作，自己伸出机械夹爪拈起蓝盘子和绿盘子，稳稳放进木盒中央。

一段19秒的手机视频，到头来真让机器人练成了一手实在本事。

桌面上的家务只是这套管线露的一小手，户外街头两人全身互动同样拿得下来。

路边长椅上，两名男生起身、擦肩交错走过、再换位坐下，Vbot Echo对这段视频完成了整体处理。

重建出来的画面，可以在虚拟视点A与视点B之间随意切换，也能一键钻进黑衣男生的第一视角，看对方迎面走过来。

统一时空HOI对齐一上，两名男生的全身动作连同三维街道，被实时解算成青色和橙色的数字人网格。

全身交互数据随即同步映射到两台人形机器人上，真机模型照着完成交错走位。

同一条管线还连着跑通了林荫步道、长阶梯、障碍平台和户外车辆等12组复杂真实场景。

具身智能要往通用走，数据供给的边界就得先破，机器人的学习经验不能只来自有限的采集现场，得铺到真实世界的广阔天地里去。

以往的路子是堆真机遥操作、ALOHA、UMI和穿戴式设备，硬件花钱多，真实作业效率还被拖得很厉害。

靠专用采集资源铺摊子的模式，通用机器人要的数据多样性（Diversity）和海量规模（Scale），它两头都顾不全。

这一回维他动力把Exo2EgoPolicy、Vbot Echo与Echo App三者拧到一起，给行业垫起一套新的数据基础设施：

YouTube一天新增2000万条、TikTok一天新增超1亿条的互联网第三视角视频，由Exo2EgoPolicy精准转成机器人第一视角素材；

Vbot Echo沿着「Exo → Ego → Ego Skeleton」和物理仿真闭环往下走，把视频画面炼成机器人能执行的训练数据；

采集入口则由Echo App塞进每个人的手机里，零穿戴负担，门槛压得很低。

「Fable 5.2们」把机器人的大脑越练越聪明，喂养这颗大脑的人类经验，也终于在规模（Scale）与多样性（Diversity）上一起有了突破。

全网沉睡的百亿小时第三视角视频，再加上普通人手机里的随手拍，从此都成了机器人持续进化的来源。

具身智能的数据，从此不再是问题！