AI生成的视频能撑起一个真实世界吗?Orbia给出了答案

资讯 腾讯网 作者:科技行者 全文 4813 字 · 约 13 分钟读完 分类产品更新视频生成大模型

你有没有玩过那种第一人称探索游戏,走进一个房间,转身看看背后的风景,再回头继续往前走?如果这段体验不是游戏引擎实时渲染出来的,而是一个AI大模型凭空生成的视频,你会不会担心,当你转身回头的时候,原本那张沙发是不是还在原地?这不是一个无聊的较真问题。2024年以来,视频生成模型从"拍个好看的短片"快速升级到"模拟...

所属频道 产品更新模型发布视频图像生成

你有没有玩过那种第一人称探索游戏,走进一个房间,转身看看背后的风景,再回头继续往前走?如果这段体验不是游戏引擎实时渲染出来的,而是一个AI大模型凭空生成的视频,你会不会担心,当你转身回头的时候,原本那张沙发是不是还在原地?

这不是一个无聊的较真问题。

2024年以来,视频生成模型从"拍个好看的短片"快速升级到"模拟一个可以探索的世界",OpenAI的世界模型"的产品,都在卖一个承诺:给我一张图,告诉我往哪走,我就能给你生成一个连续、可信、能反复探索的3D空间。游戏公司想用它做开放世界,机器人公司想用它训练导航能力,内容创作者想用它做沉浸式漫游。

但这里有个很少被认真检验的问题:这些视频,看起来确实很美,帧与帧之间也很流畅,可它们真的在描述同一个三维世界吗?还是说,AI只是在"看起来合理"的基础上,临场编造每一帧,压根没有一个统一的空间概念在背后支撑?

新加坡国立大学联合Orbia的评测基准,专门用来回答这个问题。结果挺扎心的:很多顶级模型在视觉质量上几乎满分,但一旦你让摄像机绕一圈回来,或者让它记住十秒钟前生成的某个场景细节,表现立刻露馅。

这事到底难在哪

先说清楚问题的复杂度。评价一个视频生不生成得好看,业内早有一套成熟指标,清晰度、美学分、动作流畅度,

VBench

但"好看"和"真实"是两码事。想象你让一个画家凭记忆画一间房子的四面墙,他画第一面墙的时候很用心,画得又细致又逼真,画第二面墙时又很用心,但完全不参考第一面墙里家具的位置和风格。单独看每一面墙都挑不出毛病,拼在一起却是个不可能存在的房间。视频生成模型面临的正是这种风险:它在逐帧生成画面时,很可能只是在"让这一帧看起来合理",而不是"让这一帧和十秒前那一帧属于同一个空间"。

过去的评测方法基本分两派。一派看几何一致性,比如用

VLM:视觉语言模型,能同时理解图像和文本的AI模型,常被用来给生成内容打分或做质量判断

更麻烦的是,这些方法都没有一个统一的框架,把"保留输入内容""记住自己生成的东西""内部几何自洽"这三件事分开测。你如果只测相机轨迹对不对,完全测不出模型会不会把你最初给的那张沙发图片偷偷换成椅子;你如果只用VLM判断"这个物体还在不在",又测不出这个物体在不在同一个三维位置上。

Orbia团队决定把这件事彻底拆开,构建一个能同时考察"忠于输入""记住自己造的东西""内部几何自洽"三个维度的系统化评测。他们给720个场景设计了探索加返回的轨迹,覆盖27个主流模型,从Wan、Kling、Seedance这些大厂产品,到LingBot、DreamX、Lyra这些专门做"世界模型"的系统,统统拉进来比了一遍。

把"一致性"拆成三块骨头

Orbia最核心的设计思路,是不满足于笼统地问"这个视频一致不一致",而是把一致性拆解成三个相对独立、各自可测的子问题。

第一块叫输入保留。简单说就是:你给模型一张起始图片,模型围着这张图片描绘的场景探索一圈再绕回来,画面里原本就有的那些东西,比如一把椅子、一盏灯,还在不在原来的位置,长得还像不像原来的样子?

想象你出门前拍了张客厅照片,然后蒙着眼睛在屋里走了一圈最后回到原地。睁开眼睛,如果茶几挪了位置、沙发换了颜色,你会立刻意识到不对劲,因为你知道这个房间"本来"长什么样。这种"本来"的参照系,正是输入保留要考察的。Orbia为此专门标注了场景里的显眼物体,叫做

第二块叫生成内容持久性。这个更微妙:当摄像机探索到一个输入图片里压根没出现过的新区域时,模型得自己编出那个区域长什么样。这没问题,AI有创作自由。问题是,当摄像机离开这片新区域再转回来,之前编出来的东西,还得是那个样子吗?

打个比方,你刚认识一个新朋友,第一次见面他穿蓝色外套,第二次见面你当然没理由要求他还穿同一件外套。但如果他在同一场聚会里,中途去了趟洗手间回来,衣服颜色突然变了,你会觉得这人有点邪门。生成内容持久性测的就是这种"同一场探索里,刚编出来的东西能不能坚持住"。

第三块叫3D自洽性。这是最硬核也最容易被忽视的一块:哪怕模型完美保留了输入内容,完美记住了自己编的东西,它生成的所有画面,是不是真的描绘着同一个立体空间?

这里有个关键区别,这三块测的根本不是一回事。前两块都是"内容对不对"的问题,而3D自洽性问的是"这些画面能不能被重建成一个统一的三维场景"。Orbia的做法相当硬核,他们从生成视频里抽取若干帧,喂给一个叫做

3D Gaussian Splatting

如果视频里的画面真的描绘着一个统一的三维世界,那用一部分视角重建出来的场景,渲染出另一部分没见过的视角时,应该和模型实际生成的画面高度吻合。这个检验非常狠,因为它不关心你走的路线对不对,只关心你描绘的这些画面之间能不能拼成一个真实存在过的立体空间。

Orbia还设计了六种探索轨迹模板,比如前进再后退、左右平移再返回、绕着某个物体转一圈、偷瞄一眼新区域再回来。每种轨迹对空间记忆的考验方式不同,有的考验视角变化下的物体识别,有的直接考验360度观察同一物体时几何形状对不对。

结果有点出乎意料

27个模型跑完全部测试,排名第一的是

这揭示了一个挺重要的规律:**靠"记性好"达到内容持久性,比靠"画得好"更可靠**。

比如

但数据也揭示了一个更扎心的事实:视觉质量和3D一致性几乎没什么关系。

论文里给出了具体数字,视觉质量和三项一致性指标的平均值之间的相关系数,在世界模型组只有0.33,在

TI2V

换句话说,一个视频画面可以美得让你挑不出毛病,但它描述的空间可能根本不存在;反过来,一个画面质量平平的视频,背后却可能撑着一个相当扎实的三维场景。论文里给了个具体例子,LingBot-World v2在视觉质量上排在世界模型组第二,但在3D自洽性上掉到第十四。

这就像你去看一场魔术表演,魔术师的手法流畅得让你移不开眼,但事后你拿帧截图拼起来一看,发现他手里的扑克牌数量根本对不上。表演好看和逻辑自洽,原来真的是两件事。

更让人意外的是控制精度这一块。研究团队发现,专门做相机轨迹控制的世界模型,平均控制准确率是57.29,而那些靠文字描述来间接指挥镜头运动的

这说明一件事:用文字告诉AI"镜头向左移动",和直接给AI一组精确的相机坐标,效果天差地别。文字描述永远有歧义,"慢慢向左移动一点"这种话,模型理解出来的幅度可能和你想象的完全不一样。而

但反过来又有个意外,

长时间探索会发生什么

Orbia不光测了22秒左右的短视频,还专门做了一套延长到一分钟的测试,里面安排了三次返回同一区域的动作,用来看模型在更长时间跨度下还能不能保持一致。

结果相当直白:几乎所有指标都在往下掉,掉得最快的是相机控制精度。

论文里举了个例子,排名靠前的

这种衰减让我想起一个很常见的生活场景:你跟朋友讲一个复杂的故事,开头几句话逻辑特别清楚,可讲着讲着,细节越积越多,到后面你自己都开始记混到底哪个情节是先发生的。短期记忆撑得住,长期叙事就容易崩。生成式视频模型面对的也是类似的困境,它们没有一个外部的、明确标注的"剧本",所有的空间连续性都得靠模型内部某种隐式的记忆机制去维持,一旦探索时间拉长,这种隐式记忆的负担就会越来越重。

而且这篇论文还指出了一个很值得琢磨的现象,

这意味着什么,意味着这些模型哪怕场景结构已经悄悄跑偏了,画面照样可以继续生成得漂漂亮亮,不会因为几何错乱而露出破绽。这其实是个挺危险的信号,因为普通用户光靠眼睛看,根本发现不了场景正在悄悄失真。

轨迹类型也有讲究

六种探索轨迹模板里,最难的是哪一种?论文给出的答案是绕物体环视这种模式。

数据显示,短视频里,环视轨迹的控制精度是53.15分,比前进后退轨迹的62.41分低了近10分,输入保留和内容持久性也是六种模板里最低的。

这个结果其实挺合理,如果你想象你站在一件雕塑前面,绕着它走一圈,你每走一步,看到的雕塑侧面都在变化,背后露出来的墙壁、地板也在跟着变化。这种持续变化的遮挡和显露关系,对模型的空间记忆要求比单纯前进后退要苛刻得多。前进后退的时候,你看到的东西基本还是那些东西,只是远近变了;绕圈走的时候,你几乎是在逼迫模型不停地脑补从没见过的角度。

另一个有意思的发现是关于"偷瞄再回来"这种轨迹,在长视频测试里,这种轨迹的控制精度反而是六种模板里最高的,达到55.09分,但生成内容持久性却是六种里最低的,只有37.32分。

这说明一件事:模型可能完全听懂了你要求的那段移动路线,精确地执行了,但对于它在"偷瞄"那一瞬间临时编出来的新内容,却压根没能力保住。控制精度高和内容记得牢,再次被证明是两套不同的能力。

不同数据来源也会影响表现

Orbia的数据来自四个渠道,真实世界的公开数据集、研究团队自己拍摄的视频、还有用

虚幻引擎(UE)

有意思的是,在虚幻引擎生成的场景里,模型的相机控制精度反而是最高的,世界模型组达到63.6分。研究团队给出的解释是,虚幻引擎里的轨迹是严格按照六个模板直接在模拟器里预览调试出来的,运动本身就非常规整,自然更容易被模型"听懂"。这其实也侧面说明了一件事,模型执行指令的能力,很大程度上受训练数据里运动模式规整程度的影响。

而真实世界拍摄的公开视频数据上,视觉质量反而是四类数据里最高的,这可能是因为生成模型的训练数据本身就以真实世界的视频为主,自然更擅长还原这类分布的画面。

这些自动化打分靠谱吗

一个评测基准最怕的就是自说自话,自己定了一套打分标准,结果这套标准和人类的真实感受完全对不上。Orbia为此专门请了20名标注员,人工给90个案例在六个维度上打分排名,然后和自动化评分做对比。

结果显示,人工打分和自动化打分的模型排名相关系数在0.859到0.921之间,其中时间稳定性这一项的人机一致性最高。这个数字算是相当令人安心的,说明Orbia设计的这套复杂指标体系,确实抓住了人类真正在意的东西,不是纸上谈兵的数学游戏。

写在后面

读完这篇论文,最让我意外的不是某个具体模型的分数,而是"视觉质量和3D一致性相关系数只有0.33"这个数字本身。我们平时判断一个AI生成视频好不好,几乎完全依赖眼睛,觉得画面细腻、运镜流畅就是好。但Orbia用720个精心设计的案例告诉我们,这种直觉判断可能系统性地在欺骗我们。一个几乎无法用肉眼发现瑕疵的视频,背后的空间逻辑可能早就散架了,只是散架的方式恰好没有在画面上留下明显痕迹。

另一个让我反复琢磨的细节是,那些表现最好的几个世界模型,几乎都不是单纯靠一个更大的神经网络硬扛出来的,而是额外维护了某种显式的3D缓存或记忆机制。这其实有点推翻了"大模型一力降十会"的朴素想象,至少在空间一致性这件事上,外部的、结构化的记忆似乎比单纯堆参数更管用。这让我想起人类自己记路也不是靠死记硬背每一帧画面,而是在脑子里建立一张简化的地图。AI要撑起一个可信的三维世界,会不会也必须走上类似的路,放弃纯粹的"端到端生成一切",转而给模型装一个它自己能查阅的空间笔记本?

如果有一天,游戏里的每一面墙都是AI实时想象出来的,你愿意相信它转身之后看到的还是同一堵墙吗?

Q&A

Q1:Orbia是什么?

A:Orbia是新加坡国立大学联合

Q2:Orbia怎么判断一个视频里的三维世界是不是一致的?

A:Orbia把一致性拆成输入保留、生成内容持久性、3D自洽性三块分别测试,分别检验模型有没有保留原图内容、有没有记住自己生成的新内容、以及所有画面能不能重建成同一个立体场景。

Q3:视觉质量高的AI视频就代表空间一致性好吗?

A:不是的,论文数据显示两者相关性很弱,相关系数只有0.33左右,很多画面精美的视频背后的空间结构其实已经不自洽,肉眼很难察觉。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic上市前触发自身安全警报:AI进展速度超预期

    Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scal

    来源 腾讯网
  2. Echo 创始人邹皓:硬件负责收集声音,AI负责创造价值

    过去一年,AI 硬件经历了一轮完整的冷热切换。年初,“取代手机”式的探索产品相继退场,热度转向更加务实的产品路线:录音卡片累计出货突破百万台,头部公司做出上亿美元级别的年经常性收入,AI 眼镜出货量一年增长超过三倍,行业叙事也从录制工具,升级为记录生活的入口。2026 年下半年,Personal Agent 概念爆火,

    来源 腾讯网
  3. 特朗普政府再收紧AI芯片渠道:丑闻成了新规推手

    特朗普政府宣布将再度收紧中国获取AI芯片的渠道,而促成这一决定的,竟是一桩被称为“世纪作弊丑闻”的事件。当出口管制靠丑闻驱动、靠打补丁推进,这场芯片战的打法正变得愈发荒诞。本文拆解政策背后的逻辑错位、产业代价,以及真正该被追问的问题。

    来源 AI 科技快讯
  4. 谷歌AI Mode上线临时对话:聊天不进搜索历史,无痕开关来了

    谷歌为其搜索中的AI Mode上线“临时对话”功能,用户与AI的交流不会写入搜索历史,也不会影响后续推荐。这一类似浏览器无痕模式的设计,正面回应了外界对AI搜索记录隐私的担忧,也标志着搜索巨头正在个性化体验与用户隐私之间寻找新的平衡点。

    来源 AI 科技快讯
  5. 隆基绿能张盛:AI算力带动光储融合,储能发货已达13吉瓦时

    21世纪经济报道记者雷椰 肖文旸 李德尚玉 安塔利亚报道 AI算力的持续扩容,正在重塑绿色电力的供给逻辑,光伏与储能融合方案迎来全新的应用场景考验。 今年,AI成为《联合国气候变化框架公约》第三十一次缔约方大会(COP31)热门话题。大会期间,东道主发起《安塔利亚AI宣言》。中国角举办了‌“可持续人工智能助力气候韧性.

    来源 腾讯网
  6. 字节、腾讯同时披露核心数据,AI办公进入实战期

    11月18日,字节跳动旗下豆包工作宣布,上线三个月以来,日活跃用户数(DAU)突破800万,企业客户年度经常性收入(ARR)突破20亿元。豆包工作是豆包面向生产力场景推出的AI产品及品牌。同日,腾讯控股(0700.HK)披露,截至11月初,WorkBuddy日活跃用户数已超过1000万,用户日均token(词元)调用量

    来源 腾讯网
  7. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  8. 谷歌报告:黑客用AI盯补丁生成攻击代码,n-day窗口期被压缩

    厂商刚发布安全补丁,你的屏幕上就弹出了更新提示。 你手头正忙,顺手点了「稍后提醒」。 而此时,黑客也在等这份补丁。 厂商改了哪几行代码,他们就让AI盯着哪几行。一旦发现破绽,AI还能自动写出攻击代码,在旧版本上试一试。 从补丁公开到你装好更新,中间有一段窗口期。 你的软件还留着原来的漏洞,攻击者手里却可能已经多了一份精

    来源 AI 行业观察
  9. 谷歌字节快手集体降价,AI视频进入分秒计价时代

    AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。 11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等功能升级,还把价格打了下来,720p降到每秒0.07美元(约合0.47元/秒),比上一代低3

    来源 AI 行业观察
  10. 红果AI短剧百强榜:单剧在榜天数缩至4天,下半场拼什么?

    作者| 糖炒山楂编辑| 赤木瓶子“红果短剧针对肖像侵权问题开展专项治理,围绕平台自审、制作预检、侵权投诉三个环节推出相应措施,切实维护权利人合法权益。”11月17日下午,红果短剧发布关于肖像侵权专项治理的公告,算是对日前#赵丽颖起诉红果短剧# 一事作出回应。事情起因是涉案短剧在未经赵丽颖许可的情况下,利用AI技术抓取其

    来源 腾讯网
  11. Gmail宕机传言虚惊一场,谷歌连夜澄清并指向补丁潮与AI挖洞

    过去一周,微软365、Outlook大规模中断;11月17日苹果因内部系统更新故障,iCloud、Apple Pay等服务受影响。随后X上传出Gmail也宕机,源头或为Downdetector:美东17日中午收到超2800条故障报告,多涉及邮件接收。但该平台数据由用户众包提交,仅反映报告情况,不足以证实Gmail发生大

    来源 AI 产业速递
  12. 零宙AI生图平台开启测试:拖拽定位置,不写提示词也能出商用图

    AI 生成的时候您是否遇到过这样的问题? 我不懂 AI,我生成的东西没法用 我懂 AI,但是模型没有按照我想要的去生成 大模型生成的图片元素位置不是我想要的,那么请看零宙平台用户生成的实际案例展示 相信大多数玩过 AI 绘画的人都会遇到上面的三个问题,这也是如今行业普遍痛点。市面上绝大多数 AI 生图工具依靠提示词驱动

    来源 AI 行业观察
  13. 美术生带队做AI短剧:月产20余部,5个月营收破百万

    据大河报报道,一名数字媒体艺术专业的大学生带着二十多人的团队,靠 AI 工具杀入漫剧短剧赛道,创业五个月营收突破百万元,如今每月稳定产出二十余部作品、每周更新 3 到 4 部。耐人寻味的是,他最初还担心 AI 普及会冲击自己这个视觉创作方向——如今角色已彻底翻转:从亲手做素材的执行者,变成了项目决策

    来源 AI 开发者社区
  14. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  15. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 腾讯网
  16. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  17. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  18. 微软Windows Server 2028预览:默认NVMe与ReFS启动,新增本地AI推理

    IT之家 11 月 18 日消息,微软今天宣布推出 Windows Server 2028 公开预览版。开发者和 IT 管理员可以通过 Windows Server Insider 预览计划获取测试镜像。 微软表示,Windows Server 2028 将重点升级存储性能、安全架构、虚拟化和集中管理能力,同时开始将本

    来源 AI 行业观察
向下滚动自动加载更多