维他动力Exo2EgoPolicy:跨视角视频生成打通具身数据链路

资讯 腾讯网 作者:腾讯网 全文 2065 字 · 约 6 分钟读完 分类模型发布上市视频生成机器人

让人类经验成为机器人持续进化的源泉。本文为IPO早知道原创作者|Stone Jin微信公众号|ipozaozhidao据IPO早知道消息,Vbot维他动力于11月13日正式发布跨视角数据生成模型 Exo2EgoPolicy、端到端通用数据管线 Vbot Echo,并同步推出配套数据采集应用 Echo App。通过跨视角

所属频道 模型发布融资与资本机器人与具身智能视频图像生成
让人类经验成为机器人持续进化的源泉。

IPO早知道原创,微信公众号|ipozaozhidao


据IPO早知道消息,维他动力此次发布的是Exo2EgoPolicy、端到端通用数据管线。


跨视角视频生成、端到端数据处理,再加上门槛不高的真实场景采集,这三者被维他动力串成一条完整链路:从获取数据、生成处理,一路走到产出机器人训练数据。海量通用第三视角视频与真实世界的人类操作经验,由此变成机器人能用的训练素材,具身智能的规模化数据生产体系也搭了起来。


这是一款面向真实操作场景的跨视角视频生成模型。

它要做的事,是把第三视角画面转成具身所需的第一人称视角。


具身智能行业被数据问题困扰已久,这一点无法回避。为了用更低的成本采到更多数据,业界试过不少采集方式——


维他动力盯上的是规模最大、来源最广的那类视频数据:互联网。互联网视频体量大、天然多样,可绝大多数是第三人称视角,并非具身智能需要的第一人称视角。照此推理,只要有一个模型能把海量互联网视频精准转成第一人称视角视频,具身智能的数据难题就有望真正解开。Vbot Exo2EgoPolicy 就是在这样的背景下诞生的。



具体来看,Exo2Ego Policy Model 是维他动力发布的跨视角视频生成模型,面向真实操作场景。第三视角中的人物动作、物体交互和场景信息,它都能转成对应操作者的视角。核心价值在于:那些原本并非为机器人训练而采集的海量通用视频,可以转化成更贴近机器人观测条件的学习素材,具身智能训练数据的来源随之拓宽。


技术实现上,模型以视频生成主干为核心,配上视觉编码与语义理解,在第三视角和第一视角之间建立起动作联系:谁在操作、双手怎么动、正在接触什么物体、操作如何随时间展开,这些都能识别出来。有了这层基础,模型再联合生成连续画面中的空间结构与外观细节。


真实视频的复杂性、机器人学习对数据的需求,是 Exo2EgoPolicy 设计时绕不开的两件事,它因此具备两项核心技术优势:


先说兼容性。面对多人同框、机位变化和镜头切换这类复杂的互联网视频,Exo2EgoPolicy 会把人物、动作和场景线索放在一起理解整个操作过程,同时允许指定目标角色,生成的第一视角画面始终围绕同一个操作者展开。

还原质量方面也有针对性设计。训练时把相机几何、手部结构和真实操作数据引进来,让模型去学物体的空间布局、双手与物体的接触关系,以及不同视角之间的外观对应。几项约束叠加之后,生成结果的结构更合理、材质细节更清楚,运动也更连贯。



落到实际使用,用户只给一段第三视角视频就行,深度数据和相机标定信息都不用另外提供,跨视角视频生成直接完成。


再往前一步,是端到端通用数据管线与配套数据采集应用的配合,为具身智能数据的规模化生产提供支撑。


在维他动力看来,具身智能数据要上规模,三项能力得一起建。头一项是拓宽数据来源,把互联网上海量的通用第三视角视频变成机器人可以利用的学习资源;第二项是提升数据的可训练性,把视频里的几何、语义、运动和物理交互信息转成结构化的训练数据;第三项是降低采集门槛,让更多人能方便地记录并上传真实操作数据,来源和场景覆盖就能持续扩大。这三项互相配合,机器人学习经验的来源拓宽了,从真实数据采集、生成处理到机器人训练数据产出的整条链路也打通了,具身智能数据的规模化生产因此有了支撑。


针对这一难题,维他动力还拿出了端到端通用数据管线。



采集端,。相比依赖



有了这些基础,管线先做动态场景重建、语义理解、人体与物体姿态估计以及时间序列对齐,把统一时空的


运动学层面,管线结合目标机器人的身体结构和关节约束,通过


另外,管线还会做物理一致性与质量校验,检查运动稳定性、物体穿透和轨迹跟踪误差,校验结果不断回流优化,形成“生成—适配—仿真—校验—优化”的


要真正解开具身智能在数据获取上的死结,维他动力的思路是让人类积累的操作经验变成机器人持续进化的养料。


具身智能要想走向通用,数据供给的边界必须先被推开:机器人可以拿来学习的经验,应当从有限的采集现场,延伸到人类每天与真实世界打交道的那片广阔空间。靠添设备、扩场地、加采集人员来堆数据,规模与多样性这两项需求很难被长期满足。反观人类已经建起的视频世界,内容体量持续膨胀,跨地域、跨场景、跨任务的操作经验正藏身其中,可挖掘的空间很大。人类经验通往机器人能力的那条路径,正是具身智能要打通的。


Exo2EgoPolicy 的做法是:借跨视角生成把通用视频的学习价值释放出来,再经结构化处理、动作适配与物理验证,将符合条件的人类操作转成机器人训练数据;采集门槛也被压低,更多真实场景与长尾技能得以持续汇入这套体系。说到底,机器人训练数据的增长,有望不再依赖专用采集资源的扩张,转而走向对海量人类经验的规模化利用,规模与多样性一起往前突破。


维他动力瞄准的,是把具身智能的数据获取瓶颈从根上破开,让人类经验成为机器人不断进化的源头。日常生活与生产实践中源源不断产生的操作经验,只要能持续变成机器人的学习资源,具身智能就有望拿到一套面向真实世界不断扩展的能力底座——机器人学习的边界由此伸向人类经验的广度,通用机器人也才有机会走进千行百业和日常生活。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 海康机器人完成股改及上市辅导备案,累计服务客户超2万家

    IT之家 11 月 13 日消息,海康威视今日(11 月 13 日)在互动平台表示,海康机器人已完成股份制改制及上市辅导备案,IPO 相关进展请以官方披露信息为准。IT之家查询公开资料获悉,海康机器人是面向全球的机器视觉和移动机器人产品及解决方案提供商,业务聚焦工业物联网、智慧物流和智能制造,前身为海康威视机器视觉业务

    来源 腾讯网
  2. 星动纪元机器人双11分拣峰值1500件/小时:具身智能首迎大促检验

    机器人首闯双11。本文为IPO早知道原创作者|Stone Jin据IPO早知道消息,星动纪元自研具身分拣机器人日前投入中国邮政及顺丰的双十一大促分拣保障,在混杂包裹、异形件并存的仓库工况下,实现峰值 1500 件 / 小时的独立分拣作业,成为国内较早参与电商大促高峰考验的具身智能方案。每秒 20-30 次实时决策,扛住

    来源 腾讯网
  3. 百度一镜自研视频模型:0.2元/秒,数字人8-9种微表情

    【环球网科技综合报道】11月12日,在2026百度世界大会上,百度一镜发布视频生成自研模型,并带来三大核心能力升级。此次升级不仅将视频生成成本下探至0.2元/秒,更实现了每秒8-9种微表情的拟真控制,以及低于2秒极速响应的全画幅实时交互。同时,重磅推出“短漫剧Studio”,一站式打造爆款短剧并支持一键转绘,大幅降低出

    来源 腾讯网
  4. 谷歌Gemini Decisions API上线:100个问题0.41秒,输出Token不收费

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月12日消息,今日,谷歌宣布推出Gemini Decisions API,该API可通过同日新发布的模型Gemini Decision 1调用。与传统生成式模型不同,Gemini Decision 1可以直接评估输入内容,并针对最多1000个预设问

    来源 腾讯网
  5. MiniMax开源H3-Image图像模型:10秒出4K图,支持16图融合

    智东西11月11日报道,昨天深夜,MiniMax正式发布新一代图像生成模型H3-Image,并同步开放模型权重。 根据不少网友的实测反馈,H3-Image的水准已经能和全球顶级的图像生成模型掰手腕,在开源图像模型中达到SOTA水平。速度方面,H3-Image高速版可以在10秒左右生成一张4096×4096像素(16MP

    来源 AI 行业观察
  6. 平头哥启动港股IPO:阿里仍控股,超60%收入来自外部客户

    (本文作者为 反应堆Reactor,钛媒体经授权发布)文 | 反应堆Reactor国产算力赛道,又迎来一位重磅 IPO 选手。11月10日晚,阿里巴巴公告,旗下芯片子公司平头哥已申请独立上市。公告显示,2026 年 9 月 11 日,平头哥就以保密方式向港交所递交 A1 上市申请,计划发行 H 股登陆港交所主板。截至目

    来源 腾讯网
  7. OpenRouter并入Stripe:400款模型、790万亿Token的去向

    感谢IT之家网友 lous、咩咩洋 的线索投递! Stripe 昨日(11 月 11 日)发布博文,宣布全球最大 AI 模型 API 聚合平台 OpenRouter 已正式并入旗下,并共同携手帮助企业探索新的商业模式,并优化词元(Token)路由和用量。 Stripe 对 AI 领域的布局,正在进一步延伸至企业如何选择

    来源 AI 开发者社区
  8. 速腾聚创联手BitRobot:发布100小时RoboCap LiDAR-100数据集

    【TechWeb】11月12日消息,11月11日CoRL2026期间,速腾聚创宣布与BitRobot达成战略合作,双方围绕三维感知与真实世界数据采集展开协同,合作成果之一的RoboCap LiDAR-100数据集同步发布。 据悉,该数据集采用速腾聚创三维感知方案,收录100小时厨房、汽修及汽车美容等真实作业,为机器人理

    来源 AI 行业观察
  9. 摩根大通预测:2030年美国产量30万至40万台人形机器人

    IT之家 11 月 12 日消息,据路透社今天(12 日)报道,摩根大通最新预测显示,随着人形机器人从技术展示走向商业化应用,美国人形机器人产量到 2030 年将达到 30 万至 40 万台,2035 年进一步增至约 150 万台。 劳动力短缺、使用成本下降和产能扩大,正推动制造、物流和仓储企业采用人形机器人,以替代重

    来源 AI 行业观察
  10. 谷歌发布Gemini 4 Hydrogen:幻觉降5倍、速度翻倍,不叫Flash了

    谷歌发布Gemini 4 Hydrogen,定位高效执行引擎,主打速度与准确性。相较上代Flash,任务速度提升2.5倍,幻觉率降低逾5倍。该模型已全球上线,覆盖搜索、Gemini应用及API等多平台。谷歌同步推出Orchestrator功能,动态调度Carbon与Hydrogen协作,降低24%配额消耗。

    来源 华尔街见闻
  11. 库库全球月活超5000万:AI创作拼的是准确、专业、懂你

    内容创作的赛道正在变得拥挤。过去两年,行业主流形态是Chatbot(聊天机器人)。今年,竞争焦点明显转向Agent。但热闹之下,用户真正的痛点并未消失:通用AI有智商却没记忆,有对话却难交付,有工具却形不成闭环。对此,百度集团副总裁、个人超

    来源 TechWeb
  12. 库库月活破5000万:百度这款创作平台怎么把AI做准做专

    内容创作的赛道正在变得拥挤。过去两年,行业主流形态是Chatbot(聊天机器人)。今年,竞争焦点明显转向Agent。但热闹之下,用户真正的痛点并未消失:通用AI有智商却没记忆,有对话却难交付,有工具却形不成闭环。对此,百度集团副总裁、个人超

    来源 TechWeb
  13. 连文昭回国创业:源络机器人进实验室,自主科研闭环还有多远?

    2023 年,连文昭决定离开硅谷,回国创业。这个决定背后,是他在机器人领域十多年的积累。连文昭曾先后在 Vicarious 从事通用人工智能研究、在 Google X 任资深研究科学家、在 Figure AI 任技术总监,并是 Figure AI 的初创成员之一。经历了从通用人工智能探索到机器人模型、软硬件协同的不同阶

    来源 腾讯网
  14. OpenAI募资150亿美元:估值1.25万亿,提前为2027年IPO蓄资

    OpenAI又融到了一笔钱,但故事远没有数字看起来那么简单。据CNBC今日报道,OpenAI在最新一轮私募融资中已筹集150亿美元(约合人民币1,002.76亿元),公司融资前估值达到1.25万亿美元(约合人民币8.36万亿元)。

    来源 TechWeb
  15. 杰克科技人形机器人“艾妮”进厂:裁片抓取不超3秒,缝纫仍靠缝纫机

    (本文作者为 具身志,钛媒体经授权发布)文 | 具身志10月29日,江苏昆山晨风时尚产业园的一场人机协同缝纫大赛上,人形机器人“艾妮”展示了一项看起来简单的本事:从布料中准确抓取单张裁片。对于熟练工人,这不过是每天重复无数次的操作。但服装面料又软又薄,有时两层布会粘在一起,有时刚刚摆正,又发生了褶皱和偏移。...

    来源 腾讯网
  16. Anthropic下周IPO成AI行业风向标:顺利则照旧,失准则有公司倒闭

    人工智能(AI)初创企业的估值正面临现实的考验。行业领军企业OpenAI和Anthropic下调估值预期的举动,加剧了风险投资界对初创企业估值全面回调的担忧,这也使得Anthropic即将到来的首次公开募股(IPO)成为决定整个AI行业走向的关键时刻。据彭博11月12日报道,知情人士透露,OpenAI近期面临市场环境恶

    来源 腾讯网
  17. 阿里拟分拆平头哥赴港上市:蜜獾芯片八年长成百亿营收

    阿里动物园里最有攻击性的那只“动物”——蜜獾,要独立IPO了。 11月10日晚间,阿里巴巴在港交所公告,拟分拆全资子公司平头哥(上海)技术股份有限公司(以下简称“平头哥”,平头哥为蜜獾的诨号)于香港联交所主板独立上市。港交所已确认阿里可进行此次分拆,平头哥已于9月11日以保密形式向港交所递交上市申请表格,拟通过全球发售

    来源 AI 行业观察
  18. 谷歌Gemini 4 Hydrogen:百万Token输入1.5美元,主攻日常编程

    IT之家 11 月 13 日消息,谷歌正式推出 Gemini 4 Hydrogen 模型,主打快速执行与高效运行,面向日常编码和智能体工作流场景,将 Gemini 4 系列能力全面下放至所有层级用户。 输入:每百万 Tokens 1.50 美元(IT之家注:现汇率约合 10.0 元人民币) 输出:每百万 Tokens

    来源 AI 行业观察
  19. 火山引擎发布Seedance2.5flash:720P约0.99元/秒,速度比旗舰快一倍

    火山引擎11月12日推出视频生成模型Seedance2.5flash,定位当前效果最接近旗舰Seedance2.5的高性价比版本,生成速度提升一倍,面向批量内容生产。以720P下文生视频、图生视频为例,生成价格约0.99元/秒,较Seedance2.5降低约34%。 单段最长支持30秒视频生成,单次最多输入10张图片、

    来源 AI 开发者社区
  20. 京东5年采购300万台机器人;地瓜机器人牵手珞石,S600适配iNex

    本期速览:1. 无界动力算法负责人李一贤加入哈啰Robotaxi;2. 地瓜机器人与珞石机器人达成合作;3. Meta与傅利叶联合开发人形机器人Max;4. 京东宣布五年采购300万台机器人;5. 蚂蚁灵波开源触觉模型LingBot-Touch;6. 宇树与中石油拟合资布局工业具身智能;7. 银河星仔ET1获CES 2

    来源 腾讯网
向下滚动自动加载更多