维他动力Exo2EgoPolicy:跨视角视频生成打通具身数据链路
让人类经验成为机器人持续进化的源泉。本文为IPO早知道原创作者|Stone Jin微信公众号|ipozaozhidao据IPO早知道消息,Vbot维他动力于11月13日正式发布跨视角数据生成模型 Exo2EgoPolicy、端到端通用数据管线 Vbot Echo,并同步推出配套数据采集应用 Echo App。通过跨视角
据IPO早知道消息,维他动力此次发布的是Exo2EgoPolicy、端到端通用数据管线。
跨视角视频生成、端到端数据处理,再加上门槛不高的真实场景采集,这三者被维他动力串成一条完整链路:从获取数据、生成处理,一路走到产出机器人训练数据。海量通用第三视角视频与真实世界的人类操作经验,由此变成机器人能用的训练素材,具身智能的规模化数据生产体系也搭了起来。
这是一款面向真实操作场景的跨视角视频生成模型。
它要做的事,是把第三视角画面转成具身所需的第一人称视角。
具身智能行业被数据问题困扰已久,这一点无法回避。为了用更低的成本采到更多数据,业界试过不少采集方式——
维他动力盯上的是规模最大、来源最广的那类视频数据:互联网。互联网视频体量大、天然多样,可绝大多数是第三人称视角,并非具身智能需要的第一人称视角。照此推理,只要有一个模型能把海量互联网视频精准转成第一人称视角视频,具身智能的数据难题就有望真正解开。Vbot Exo2EgoPolicy 就是在这样的背景下诞生的。
具体来看,Exo2Ego Policy Model 是维他动力发布的跨视角视频生成模型,面向真实操作场景。第三视角中的人物动作、物体交互和场景信息,它都能转成对应操作者的视角。核心价值在于:那些原本并非为机器人训练而采集的海量通用视频,可以转化成更贴近机器人观测条件的学习素材,具身智能训练数据的来源随之拓宽。
技术实现上,模型以视频生成主干为核心,配上视觉编码与语义理解,在第三视角和第一视角之间建立起动作联系:谁在操作、双手怎么动、正在接触什么物体、操作如何随时间展开,这些都能识别出来。有了这层基础,模型再联合生成连续画面中的空间结构与外观细节。
真实视频的复杂性、机器人学习对数据的需求,是 Exo2EgoPolicy 设计时绕不开的两件事,它因此具备两项核心技术优势:
先说兼容性。面对多人同框、机位变化和镜头切换这类复杂的互联网视频,Exo2EgoPolicy 会把人物、动作和场景线索放在一起理解整个操作过程,同时允许指定目标角色,生成的第一视角画面始终围绕同一个操作者展开。
还原质量方面也有针对性设计。训练时把相机几何、手部结构和真实操作数据引进来,让模型去学物体的空间布局、双手与物体的接触关系,以及不同视角之间的外观对应。几项约束叠加之后,生成结果的结构更合理、材质细节更清楚,运动也更连贯。
落到实际使用,用户只给一段第三视角视频就行,深度数据和相机标定信息都不用另外提供,跨视角视频生成直接完成。
再往前一步,是端到端通用数据管线与配套数据采集应用的配合,为具身智能数据的规模化生产提供支撑。
在维他动力看来,具身智能数据要上规模,三项能力得一起建。头一项是拓宽数据来源,把互联网上海量的通用第三视角视频变成机器人可以利用的学习资源;第二项是提升数据的可训练性,把视频里的几何、语义、运动和物理交互信息转成结构化的训练数据;第三项是降低采集门槛,让更多人能方便地记录并上传真实操作数据,来源和场景覆盖就能持续扩大。这三项互相配合,机器人学习经验的来源拓宽了,从真实数据采集、生成处理到机器人训练数据产出的整条链路也打通了,具身智能数据的规模化生产因此有了支撑。
针对这一难题,维他动力还拿出了端到端通用数据管线。
采集端,。相比依赖
有了这些基础,管线先做动态场景重建、语义理解、人体与物体姿态估计以及时间序列对齐,把统一时空的
运动学层面,管线结合目标机器人的身体结构和关节约束,通过
另外,管线还会做物理一致性与质量校验,检查运动稳定性、物体穿透和轨迹跟踪误差,校验结果不断回流优化,形成“生成—适配—仿真—校验—优化”的
要真正解开具身智能在数据获取上的死结,维他动力的思路是让人类积累的操作经验变成机器人持续进化的养料。
具身智能要想走向通用,数据供给的边界必须先被推开:机器人可以拿来学习的经验,应当从有限的采集现场,延伸到人类每天与真实世界打交道的那片广阔空间。靠添设备、扩场地、加采集人员来堆数据,规模与多样性这两项需求很难被长期满足。反观人类已经建起的视频世界,内容体量持续膨胀,跨地域、跨场景、跨任务的操作经验正藏身其中,可挖掘的空间很大。人类经验通往机器人能力的那条路径,正是具身智能要打通的。
Exo2EgoPolicy 的做法是:借跨视角生成把通用视频的学习价值释放出来,再经结构化处理、动作适配与物理验证,将符合条件的人类操作转成机器人训练数据;采集门槛也被压低,更多真实场景与长尾技能得以持续汇入这套体系。说到底,机器人训练数据的增长,有望不再依赖专用采集资源的扩张,转而走向对海量人类经验的规模化利用,规模与多样性一起往前突破。
维他动力瞄准的,是把具身智能的数据获取瓶颈从根上破开,让人类经验成为机器人不断进化的源头。日常生活与生产实践中源源不断产生的操作经验,只要能持续变成机器人的学习资源,具身智能就有望拿到一套面向真实世界不断扩展的能力底座——机器人学习的边界由此伸向人类经验的广度,通用机器人也才有机会走进千行百业和日常生活。