GeoFix用深度一致性修正视频几何偏差，真实视频也测出反直觉现象

看AI生成的视频时，镜头慢慢推过去，背景里的楼却在偷偷变形，墙角线条轻轻扭一下又回来了——这种细节你留意过吗？

这种一闪而过的变化很容易被放过，毕竟视频看着“挺真”：颜色没问题，光影没问题，人物动作也顺。可一旦把它送进三维重建系统，让系统靠多帧画面还原立体结构，系统就会崩掉。原因是背景每帧都在悄悄偏，画面背后压根没有一个稳定一致的三维世界撑着。

这就是眼下视频生成模型一个不大被公众注意、却让研究者头疼的毛病：好看，但几何不对。

它为什么要紧？不少团队正打算拿视频生成模型当“世界模型”的底座，去生成可交互、可探索的四维动态场景。

**4D生成**：不光要生成场景的三维形状，还得生成它随时间变化的动态过程，等于给三维世界接上时间轴。

视频自身的几何要是都对不齐，拿它重建出来的四维场景当然也是歪的：墙会飘、物体会抖、树会长出重影。GeoFix这篇论文盯的就是这件事。

一个被忽略的根本矛盾

过去一年，试图解决这个问题的研究不少，路子大致分两派。

一派走“间接打分”：用一个学会了审美偏好的模型，或者多模态大语言模型，去看生成的画面，判断“这个视角拍出来的画面合不合理”。这种反馈有用，可天生有个短板——它分不清一个画面“不好”是因为几何错了，还是这帧本身拍得丑、细节糊。

另一派走“直接测量”，手段更硬：对比RGB像素的重建误差、检查对极几何约束满不满足、看跟踪点在不同帧间的轨迹吻不吻合。这类做法更有针对性，但研究者很快撞上一个尴尬的副作用：拼命让模型去满足这些几何约束，模型会抄一条“捷径”——把画面弄糊、弄静。

道理不复杂：糊成一团、几乎不动的视频，天然更容易在帧与帧之间对齐，重建误差自然就降下来了。好比考试时有人发现“交白卷”永远不会写错字，可这显然不是想要的答案。

所以以前的方法都得打一堆“补丁”：另设一个奖励去惩罚“几乎静止的视频”，或者再加一个审美奖励防止画质变差，再或者干脆手工筛训练数据。几个互相拉扯的目标要同时平衡，调参就成了玄学。

GeoFix团队把问题问得很直白：能不能只用一个几何奖励，既把结构修对，又不伤画质，那些补丁统统不要？

用“深度一致性”而不是“像素一致性”来衡量几何

GeoFix的第一个关键设计是：不比颜色和纹理，比深度。

具体怎么做？对视频里任意两帧，模型先从第一帧估出每个像素对应的深度，也就是这个点离镜头多远；再按相机的运动关系，把这些三维点“投影”到第二帧的视角里，看这个点该落在什么位置、离镜头多远。视频几何若是一致的，这个“预测的深度”就该跟第二帧自己估出来的深度基本对得上。对不上，就说明背景在悄悄漂移，几何出了岔子。

为什么挑深度而不挑颜色？因为颜色这个信号太不靠谱。

**视角相关效应**：同一物体换个角度看，颜色会因反光、高光之类起变化，这跟物体本身的几何结构其实无关。

拿颜色重建误差当奖励，模型会发现最省力的作弊办法就是把画面糊掉，让所有帧看着都差不多，颜色误差自然就小了。深度不同，它量的是“这堵墙到底在哪儿”，是个硬邦邦的物理量，糊不过去。

这就像检查一栋房子结构稳不稳，该量的不是墙面油漆颜色统不统一，而是每个房间的墙角是不是真垂直、地基是不是真水平。漆刷得再漂亮，墙歪了还是歪，尺子一拉就露馅。检查员要是图省事只看漆面好不好看，装修公司大可以把所有房间刷成同一种灰色蒙混过关，反正看着挺统一。

同时，为了不冤枉真正在动的物体，GeoFix专门加了一个动态区域掩码：用一个预训练的运动分割网络找出画面里哪些地方是真在动，比如走路的人、飞的鸟，深度一致性误差只在静止的背景区域里算。这样一来，模型不会因为“小狗在跑”被扣分，它罚的只是背景漂移这类真正的几何缺陷。

被忽视的偏差：镜头动得少，分数反而更高

接下来是这篇论文里我觉得最有意思的发现。研究者在验证这个深度一致性分数时，顺手测了真实拍摄的视频和专门用于四维重建的数据集。

结果撞上一个很反直觉的现象：哪怕是完全真实、没有任何生成痕迹的干净视频，只要摄像机运镜幅度小、前后两帧视野重叠度高，这个深度一致性分数就会系统性地偏高。

这说明了什么？这个看起来中立的几何打分系统，实际上夹带了一份“懒人福利”：镜头挪动得越少，分数就越容易偏高，即便这段视频的真实几何质量与镜头大幅移动的那段并无差别。

研究者把这个现象命名为**重叠偏差**：几何一致性评分与相机视野重叠度之间存在虚假的正相关，小幅度运镜因此被误判成“几何更好”。

可以设想，如果你是老师，拿“学生答题时字写得工不工整”来打分，结果发现那些故意写得又小又密、内容几乎看不清的卷子，反倒因为“字迹排列整齐”拿了高分；字写得大、信息量足的卷子却由于排版稍显松散被扣分。这显然不是你想要的标准。可要是没察觉这个偏差，你的评分系统就会在无意中鼓励学生把字写小写密，而不是把内容答对答全。

这一发现正好解释了此前那些方法为什么容易“把画面变静止”：在优化几何一致性奖励时，模型其实在悄悄利用重叠偏差——它发现让镜头少动一点，比真正把几何修对要省事得多。

那这个“视野重叠度”究竟有多大，怎么量化？论文采用面积加权的交并比方法，把两台相机各自能看到的球面区域做重叠比例计算，重叠越大，说明两帧画面的视角差异越小。

FOCAL：把“镜头懒惰”这笔账算清楚

偏差的根源既然找到了，解法也就顺理成章：真实视频的分数本身就会随重叠度系统性变化，那就先把这条“基准曲线”画出来，再拿生成视频的分数去跟曲线比，而不是跟绝对数值比。

具体做法是，研究者用大量真实视频和四维重建数据集，拟合出深度一致性分数与视野重叠度之间的数学关系，这条关系的斜率代表“重叠度每增加一分，分数大约会虚高多少”。正式打分时，把这份“虚高”从原始分数里减掉，就得到一个经过校准、真正反映几何质量本身的分数。这便是论文的核心贡献，FOCAL。

**FOCAL**：FOV-CALibrated geometric reward，视野校准几何奖励，一种先算出重叠度导致的分数偏差、再把这部分偏差扣除掉的深度一致性奖励，用来消除“镜头少动就能拿高分”这种虚假优势。

这就像体育比赛里的让分制。甲乙两队实力本来就有差距，裁判事先按历史交手数据算出甲队平均能多赢多少分，正式比赛时把这个差值提前让给乙队，最终比的才是真实实力，而不是出场顺序或场地优势带来的虚假胜负。不做校准的话，裁判可能一直误判，把场地优势当成实力差距，训练出来的队伍也只会钻场地规则的空子，不会真正提高球技。

论文给出的校准公式非常简洁，本质上就是把原始的深度误差，除以重叠度的某个指数次方，而这个指数就是从真实数据里拟合出的斜率除以十。校准之后，研究者在没参与拟合的真实视频和生成视频上重新验证，发现校准后的分数与重叠度之间的相关性几乎降到了零。这说明这套方法确实把偏差洗干净了，而不只是在训练集上凑巧对上。

直接从生成过程的“潜空间”里算出深度和相机

光有一个合理的奖励指标还不够，还得想办法高效地把它算出来。训练过程中，这个奖励要被反复计算成千上万次，如果每次都先把视频完整解码成像素、再跑一个完整的三维重建模型，计算成本会高到难以承受。

GeoFix 用的是一招叫**模型拼接**的办法：把某个预训练模型某一层的输出，径直接到另一个预训练模型的中间层，前面那段计算就跳过去了，两个本来各干各的模型由此被“缝”到一块儿配合干活。

展开说，视频扩散模型在生成时会产出一份压缩过的中间表示，也就是**潜空间表示**：它由视频扩散模型在内部使用，是对画面的一种压缩、抽象的数值编码，并非像素本身，但生成画面所需的信息它一样不少。

研究者训练了一个轻量的“拼接层”，把这个潜空间表示直接接入一个预训练好的四维重建模型的中间层，跳过了视频解码成像素、再从像素重新提取特征这两步。这样做有两个好处：一是省了大量计算，二是意外地更稳健。

生成过程中的潜空间是带噪声的。先解码成像素再重建，噪声只会被放大、越积越多；改成从潜空间直接接入，这个噪声累积的过程就被绕开了。论文的实验同样印证了这点：在新视角合成任务上，拼接后的重建模型峰值信噪比领先原版重建模型 1.68分贝，结构相似度多出 0.066，重建质量的提升是实打实的。

这个拼接模型不光提供了用来打分的深度和相机信息，自身还能直接吐出显式的四维高斯场景表示。裁判和建筑师两个角色，它一并担了。

把这个奖励用到训练和推理的各个环节

奖励设计好了，接下来是把它用起来。GeoFix在三种不同的对齐方式上都做了验证，展示出这个奖励的通用性。

第一种是训练阶段的强化学习微调，用的是一种叫DiffusionNFT的方法：让模型生成一批样本，用FOCAL打分，再把这些分数反馈回去调整模型参数。第二种是推理阶段的“候选筛选”，对同一个提示词生成多份视频，用FOCAL挑出打分最高的那份。第三种更有意思，是推理阶段的梯度引导，直接利用FOCAL对潜空间的梯度，在采样过程中实时把生成方向引向几何更一致的一侧。

这三种用法背后有一个共同前提：这个奖励必须是可微分的，也就是能算出“如果稍微调整一下生成内容，奖励会怎么变化”这个方向信息。由于FOCAL直接从潜空间算出，整个计算链条连贯可导，所以它能同时服务于这三种差异很大的对齐方式，不必为每种方法单独设计一套奖励。

实验结果：数字不会说谎

论文在多个基准上做了系统性对比。

训练阶段的对比对象包括基础模型、单纯监督微调，以及VIST3A和World-R1这两个同类方法。GeoFix在WorldScore基准的三维一致性指标上拿到61.60分，基础模型只有44.39分，提升约39%。光度一致性、运动准确度等维度上，它也处于最高或接近最高的水平。

VBench视频质量评测这边，GeoFix同样占优。主体一致性、背景一致性、美学质量、成像质量、运动平滑度五个维度，相对基础模型的提升幅度都超过了另一个直接几何奖励方法VGGRPO。美学质量一项差距尤其明显：GeoFix提升12.67%，VGGRPO仅0.42%。

这些数字指向论文的核心论点——几何不一致本身就是一种视觉缺陷，几何修好了，画质也会跟着改善。

推理阶段，候选筛选和梯度引导两种方式用上FOCAL后，相机的旋转误差、平移误差都明显下降，场景一致性和画质指标同步上升，运动幅度只出现微小下降，几乎可以忽略。FOCAL不只能做事后打分器，也确实能给出有效的优化方向。

四维场景生成更贴近实际应用，GeoFix在这里与MoGe4D、4DNeX两个专做图像生成四维场景的方法做了对比。4DNeX的“动态程度”指标很高，但细看渲染结果，这种“高动态”来自背景结构不断漂移、重影，并非真实的物体运动。MoGe4D则走到另一个极端，几乎不产生任何运动。GeoFix既保持了场景一致性，又维持了有意义的动态变化，落在两难之间的平衡点上。

论文还做了一项“腐蚀测试”：对重建结果人为施加正弦波纹变形、垂直挤压、深度反转、相机姿态漂移四种几何扭曲。随着扭曲程度增加，FOCAL的分数单调下降，说明这个奖励测量的确实是几何一致性本身，而不是别的混杂因素。

研究者另做了一组对照实验，直接用VBench的几个视频质量指标当奖励去微调模型，结果出现明显的“钻空子”现象。优化“成像质量”，画面出现强烈的色彩条纹和重复高对比纹理；优化“背景一致性”，画面变模糊并叠加规律性网格；优化“运动平滑度”，输出几乎全黑；优化“主体一致性”，识别对象被替换成重复的蓝色图案；优化“美学质量”，生成的是拼贴画一样、重复人脸和装饰碎片的图像。这些现象背后的逻辑一致：这些指标衡量的是帧间特征相似度或者审美预测分数，而非真正的场景结构。一旦模型发现“让内容变得单调、重复”比“真的把内容画好”更容易拿高分，就会毫不犹豫地走捷径。

这组对比实验比任何说理都更有说服力，它直接展示了“奖励设计不当”会带来什么样的灾难性后果，也反过来证明FOCAL这种直接针对几何结构、而非间接依赖感知指标的设计思路是对的。

这篇工作也有局限。它依赖的深度和相机估计来自一个预训练的四维重建模型，如果这个“老师模型”在某些场景下判断失误，奖励信号也会跟着跑偏。动态区域的分割一旦出错，可能误伤真实运动，也可能放过真正的几何错误。计算成本同样不低：每次打分都要跑一遍拼接重建模型加运动分割网络，梯度引导时还得对整个重建过程反向传播，对算力提出了不小的要求。

写在后面

读完这篇论文，最触动我的不是FOCAL这个方法本身，而是那个重叠偏差的发现。

我们常以为自己设计了一个“客观”的评价指标，但指标背后可能藏着一个跟真正想衡量的东西毫无关系的变量，在悄悄左右最终的数字。这篇论文提醒我，任何一个看起来天经地义的评分标准，都值得回头问一句：这个分数高，到底是因为它真的好，还是因为它恰好满足了某个跟“好”无关的条件？

另一个让我意外的是那组VBench奖励对照实验。原以为拿权威基准的评测指标直接当训练目标，怎么都比瞎设计一个新奖励靠谱，结果几乎每个指标单独拿去优化都会“原形毕露”，暴露出各种意想不到的捷径。评测指标和优化目标从来都不是一回事，拿前者直接当后者用，风险比想象的要大得多。

那接下来要问的是：将来四维重建模型自己越做越强、越做越准，这套校准手段是否就多余了？或者说，只要“相机运动幅度”这类隐变量还在，差不多的偏差就总会换个样子再冒出来，无非是披了另一层皮？

Q&A

Q1：GeoFix是什么？

A：GeoFix 这套框架的作用，是让视频生成模型在几何结构上更统一。它的关键部件叫 FOCAL，是一个几何奖励，一边提高生成视频的三维结构准确度，一边照顾画面质量，也不用再额外添别的辅助奖励。

Q2：为什么之前的几何一致性方法容易让画面变模糊或变静止？

A：不少做法拿像素重建误差、或者帧间特征相似度当奖励，模型就摸出了门道：把画面弄糊一点、让动态变化少一点，这些约束更容易达标。说白了这是抄近路，几何本身并没有真的变好。

Q3：FOCAL里的重叠偏差校准具体解决了什么问题？

A：研究者注意到，就算视频是真的，相机移动幅度越小，深度一致性分数也会系统性地偏高。FOCAL 的做法是把这条偏差曲线拟合出来，再从原始分数里减掉，这样奖励反映的才是几何质量，而不是镜头动得少就得分高。