AI生成的视频能撑起一个真实世界吗?Orbia给出了答案
你有没有玩过那种第一人称探索游戏,走进一个房间,转身看看背后的风景,再回头继续往前走?如果这段体验不是游戏引擎实时渲染出来的,而是一个AI大模型凭空生成的视频,你会不会担心,当你转身回头的时候,原本那张沙发是不是还在原地?这不是一个无聊的较真问题。2024年以来,视频生成模型从"拍个好看的短片"快速升级到"模拟...
你有没有玩过那种第一人称探索游戏,走进一个房间,转身看看背后的风景,再回头继续往前走?如果这段体验不是游戏引擎实时渲染出来的,而是一个AI大模型凭空生成的视频,你会不会担心,当你转身回头的时候,原本那张沙发是不是还在原地?
这不是一个无聊的较真问题。
2024年以来,视频生成模型从"拍个好看的短片"快速升级到"模拟一个可以探索的世界",OpenAI的世界模型"的产品,都在卖一个承诺:给我一张图,告诉我往哪走,我就能给你生成一个连续、可信、能反复探索的3D空间。游戏公司想用它做开放世界,机器人公司想用它训练导航能力,内容创作者想用它做沉浸式漫游。
但这里有个很少被认真检验的问题:这些视频,看起来确实很美,帧与帧之间也很流畅,可它们真的在描述同一个三维世界吗?还是说,AI只是在"看起来合理"的基础上,临场编造每一帧,压根没有一个统一的空间概念在背后支撑?
新加坡国立大学联合Orbia的评测基准,专门用来回答这个问题。结果挺扎心的:很多顶级模型在视觉质量上几乎满分,但一旦你让摄像机绕一圈回来,或者让它记住十秒钟前生成的某个场景细节,表现立刻露馅。
这事到底难在哪
先说清楚问题的复杂度。评价一个视频生不生成得好看,业内早有一套成熟指标,清晰度、美学分、动作流畅度,
VBench
但"好看"和"真实"是两码事。想象你让一个画家凭记忆画一间房子的四面墙,他画第一面墙的时候很用心,画得又细致又逼真,画第二面墙时又很用心,但完全不参考第一面墙里家具的位置和风格。单独看每一面墙都挑不出毛病,拼在一起却是个不可能存在的房间。视频生成模型面临的正是这种风险:它在逐帧生成画面时,很可能只是在"让这一帧看起来合理",而不是"让这一帧和十秒前那一帧属于同一个空间"。
过去的评测方法基本分两派。一派看几何一致性,比如用
VLM:视觉语言模型,能同时理解图像和文本的AI模型,常被用来给生成内容打分或做质量判断
更麻烦的是,这些方法都没有一个统一的框架,把"保留输入内容""记住自己生成的东西""内部几何自洽"这三件事分开测。你如果只测相机轨迹对不对,完全测不出模型会不会把你最初给的那张沙发图片偷偷换成椅子;你如果只用VLM判断"这个物体还在不在",又测不出这个物体在不在同一个三维位置上。
Orbia团队决定把这件事彻底拆开,构建一个能同时考察"忠于输入""记住自己造的东西""内部几何自洽"三个维度的系统化评测。他们给720个场景设计了探索加返回的轨迹,覆盖27个主流模型,从Wan、Kling、Seedance这些大厂产品,到LingBot、DreamX、Lyra这些专门做"世界模型"的系统,统统拉进来比了一遍。
把"一致性"拆成三块骨头
Orbia最核心的设计思路,是不满足于笼统地问"这个视频一致不一致",而是把一致性拆解成三个相对独立、各自可测的子问题。
第一块叫输入保留。简单说就是:你给模型一张起始图片,模型围着这张图片描绘的场景探索一圈再绕回来,画面里原本就有的那些东西,比如一把椅子、一盏灯,还在不在原来的位置,长得还像不像原来的样子?
想象你出门前拍了张客厅照片,然后蒙着眼睛在屋里走了一圈最后回到原地。睁开眼睛,如果茶几挪了位置、沙发换了颜色,你会立刻意识到不对劲,因为你知道这个房间"本来"长什么样。这种"本来"的参照系,正是输入保留要考察的。Orbia为此专门标注了场景里的显眼物体,叫做
第二块叫生成内容持久性。这个更微妙:当摄像机探索到一个输入图片里压根没出现过的新区域时,模型得自己编出那个区域长什么样。这没问题,AI有创作自由。问题是,当摄像机离开这片新区域再转回来,之前编出来的东西,还得是那个样子吗?
打个比方,你刚认识一个新朋友,第一次见面他穿蓝色外套,第二次见面你当然没理由要求他还穿同一件外套。但如果他在同一场聚会里,中途去了趟洗手间回来,衣服颜色突然变了,你会觉得这人有点邪门。生成内容持久性测的就是这种"同一场探索里,刚编出来的东西能不能坚持住"。
第三块叫3D自洽性。这是最硬核也最容易被忽视的一块:哪怕模型完美保留了输入内容,完美记住了自己编的东西,它生成的所有画面,是不是真的描绘着同一个立体空间?
这里有个关键区别,这三块测的根本不是一回事。前两块都是"内容对不对"的问题,而3D自洽性问的是"这些画面能不能被重建成一个统一的三维场景"。Orbia的做法相当硬核,他们从生成视频里抽取若干帧,喂给一个叫做
3D Gaussian Splatting
如果视频里的画面真的描绘着一个统一的三维世界,那用一部分视角重建出来的场景,渲染出另一部分没见过的视角时,应该和模型实际生成的画面高度吻合。这个检验非常狠,因为它不关心你走的路线对不对,只关心你描绘的这些画面之间能不能拼成一个真实存在过的立体空间。
Orbia还设计了六种探索轨迹模板,比如前进再后退、左右平移再返回、绕着某个物体转一圈、偷瞄一眼新区域再回来。每种轨迹对空间记忆的考验方式不同,有的考验视角变化下的物体识别,有的直接考验360度观察同一物体时几何形状对不对。
结果有点出乎意料
27个模型跑完全部测试,排名第一的是
这揭示了一个挺重要的规律:**靠"记性好"达到内容持久性,比靠"画得好"更可靠**。
比如
但数据也揭示了一个更扎心的事实:视觉质量和3D一致性几乎没什么关系。
论文里给出了具体数字,视觉质量和三项一致性指标的平均值之间的相关系数,在世界模型组只有0.33,在
TI2V
换句话说,一个视频画面可以美得让你挑不出毛病,但它描述的空间可能根本不存在;反过来,一个画面质量平平的视频,背后却可能撑着一个相当扎实的三维场景。论文里给了个具体例子,LingBot-World v2在视觉质量上排在世界模型组第二,但在3D自洽性上掉到第十四。
这就像你去看一场魔术表演,魔术师的手法流畅得让你移不开眼,但事后你拿帧截图拼起来一看,发现他手里的扑克牌数量根本对不上。表演好看和逻辑自洽,原来真的是两件事。
更让人意外的是控制精度这一块。研究团队发现,专门做相机轨迹控制的世界模型,平均控制准确率是57.29,而那些靠文字描述来间接指挥镜头运动的
这说明一件事:用文字告诉AI"镜头向左移动",和直接给AI一组精确的相机坐标,效果天差地别。文字描述永远有歧义,"慢慢向左移动一点"这种话,模型理解出来的幅度可能和你想象的完全不一样。而
但反过来又有个意外,
长时间探索会发生什么
Orbia不光测了22秒左右的短视频,还专门做了一套延长到一分钟的测试,里面安排了三次返回同一区域的动作,用来看模型在更长时间跨度下还能不能保持一致。
结果相当直白:几乎所有指标都在往下掉,掉得最快的是相机控制精度。
论文里举了个例子,排名靠前的
这种衰减让我想起一个很常见的生活场景:你跟朋友讲一个复杂的故事,开头几句话逻辑特别清楚,可讲着讲着,细节越积越多,到后面你自己都开始记混到底哪个情节是先发生的。短期记忆撑得住,长期叙事就容易崩。生成式视频模型面对的也是类似的困境,它们没有一个外部的、明确标注的"剧本",所有的空间连续性都得靠模型内部某种隐式的记忆机制去维持,一旦探索时间拉长,这种隐式记忆的负担就会越来越重。
而且这篇论文还指出了一个很值得琢磨的现象,
这意味着什么,意味着这些模型哪怕场景结构已经悄悄跑偏了,画面照样可以继续生成得漂漂亮亮,不会因为几何错乱而露出破绽。这其实是个挺危险的信号,因为普通用户光靠眼睛看,根本发现不了场景正在悄悄失真。
轨迹类型也有讲究
六种探索轨迹模板里,最难的是哪一种?论文给出的答案是绕物体环视这种模式。
数据显示,短视频里,环视轨迹的控制精度是53.15分,比前进后退轨迹的62.41分低了近10分,输入保留和内容持久性也是六种模板里最低的。
这个结果其实挺合理,如果你想象你站在一件雕塑前面,绕着它走一圈,你每走一步,看到的雕塑侧面都在变化,背后露出来的墙壁、地板也在跟着变化。这种持续变化的遮挡和显露关系,对模型的空间记忆要求比单纯前进后退要苛刻得多。前进后退的时候,你看到的东西基本还是那些东西,只是远近变了;绕圈走的时候,你几乎是在逼迫模型不停地脑补从没见过的角度。
另一个有意思的发现是关于"偷瞄再回来"这种轨迹,在长视频测试里,这种轨迹的控制精度反而是六种模板里最高的,达到55.09分,但生成内容持久性却是六种里最低的,只有37.32分。
这说明一件事:模型可能完全听懂了你要求的那段移动路线,精确地执行了,但对于它在"偷瞄"那一瞬间临时编出来的新内容,却压根没能力保住。控制精度高和内容记得牢,再次被证明是两套不同的能力。
不同数据来源也会影响表现
Orbia的数据来自四个渠道,真实世界的公开数据集、研究团队自己拍摄的视频、还有用
虚幻引擎(UE)
有意思的是,在虚幻引擎生成的场景里,模型的相机控制精度反而是最高的,世界模型组达到63.6分。研究团队给出的解释是,虚幻引擎里的轨迹是严格按照六个模板直接在模拟器里预览调试出来的,运动本身就非常规整,自然更容易被模型"听懂"。这其实也侧面说明了一件事,模型执行指令的能力,很大程度上受训练数据里运动模式规整程度的影响。
而真实世界拍摄的公开视频数据上,视觉质量反而是四类数据里最高的,这可能是因为生成模型的训练数据本身就以真实世界的视频为主,自然更擅长还原这类分布的画面。
这些自动化打分靠谱吗
一个评测基准最怕的就是自说自话,自己定了一套打分标准,结果这套标准和人类的真实感受完全对不上。Orbia为此专门请了20名标注员,人工给90个案例在六个维度上打分排名,然后和自动化评分做对比。
结果显示,人工打分和自动化打分的模型排名相关系数在0.859到0.921之间,其中时间稳定性这一项的人机一致性最高。这个数字算是相当令人安心的,说明Orbia设计的这套复杂指标体系,确实抓住了人类真正在意的东西,不是纸上谈兵的数学游戏。
写在后面
读完这篇论文,最让我意外的不是某个具体模型的分数,而是"视觉质量和3D一致性相关系数只有0.33"这个数字本身。我们平时判断一个AI生成视频好不好,几乎完全依赖眼睛,觉得画面细腻、运镜流畅就是好。但Orbia用720个精心设计的案例告诉我们,这种直觉判断可能系统性地在欺骗我们。一个几乎无法用肉眼发现瑕疵的视频,背后的空间逻辑可能早就散架了,只是散架的方式恰好没有在画面上留下明显痕迹。
另一个让我反复琢磨的细节是,那些表现最好的几个世界模型,几乎都不是单纯靠一个更大的神经网络硬扛出来的,而是额外维护了某种显式的3D缓存或记忆机制。这其实有点推翻了"大模型一力降十会"的朴素想象,至少在空间一致性这件事上,外部的、结构化的记忆似乎比单纯堆参数更管用。这让我想起人类自己记路也不是靠死记硬背每一帧画面,而是在脑子里建立一张简化的地图。AI要撑起一个可信的三维世界,会不会也必须走上类似的路,放弃纯粹的"端到端生成一切",转而给模型装一个它自己能查阅的空间笔记本?
如果有一天,游戏里的每一面墙都是AI实时想象出来的,你愿意相信它转身之后看到的还是同一堵墙吗?
Q&A
Q1:Orbia是什么?
A:Orbia是新加坡国立大学联合
Q2:Orbia怎么判断一个视频里的三维世界是不是一致的?
A:Orbia把一致性拆成输入保留、生成内容持久性、3D自洽性三块分别测试,分别检验模型有没有保留原图内容、有没有记住自己生成的新内容、以及所有画面能不能重建成同一个立体场景。
Q3:视觉质量高的AI视频就代表空间一致性好吗?
A:不是的,论文数据显示两者相关性很弱,相关系数只有0.33左右,很多画面精美的视频背后的空间结构其实已经不自洽,肉眼很难察觉。