GeoFix提出深度一致性方案：视频生成几何跑偏怎么修

看AI生成的视频时，你可能留意过一个细节：镜头慢慢推过去，背景里的楼却在偷偷"变形"，墙角那道线条轻轻扭了一下，随后又恢复正常。

这种一闪而过的瞬间很难被察觉，毕竟画面看着"挺真的"——颜色对、光影对、人物动作也顺。可一旦把这段视频送进三维重建系统，让它靠多帧画面反推背后的立体结构，系统就撑不住了。问题出在背景：它每一帧都在悄悄偏移，压根没有一个稳定一致的三维世界在托着这些画面。

说白了，当下视频生成模型有个不大被外界关注、却让研究者挠头的老毛病：画面好看，几何不对。

这事的分量在哪？不少团队正打算拿视频生成模型当"世界模型"的地基，用它产出能交互、能探索的四维动态场景。

**4D生成**：不光要生成一个场景的三维形状，还得生成它随时间变化的动态过程，相当于给三维世界装上了时间轴。

视频本身的几何要是都对不齐，拿它重建出来的四维场景自然也歪——墙会飘、物体会抖、树会凭空长出重影。GeoFix这篇论文，盯的就是这个问题。

一个被忽略的根本矛盾

过去一年，尝试解决这个问题的研究不算少，路子大致分成两派。

一派走"间接打分"：用一个学会了审美偏好的模型，或者多模态大语言模型，去端详生成的画面，判断"这个视角拍出来合不合理"。这类反馈确实管用，可它有个天生的短板——分不清一帧画面"不好"究竟是因为几何错了，还是这帧本身拍得丑、细节糊。

另一派走"直接测量"，手段更硬核：比对RGB像素的重建误差、检查对极几何约束满不满足、看跟踪点在不同帧之间的轨迹对不对得上。这类方法更有针对性，但研究者很快撞上一个尴尬的副作用——拼命让模型去满足这些几何约束，模型会抄一条"近道"：把画面弄糊、弄静止。

道理不复杂：一段糊成一团、几乎不动的视频，天生就更容易在帧与帧之间对齐，重建误差自然跟着降。好比考试时有人发现"交白卷"永远不会写错字，可这显然不是想要的答案。

所以此前的方法都得往上打一堆"补丁"：额外设计一个奖励去惩罚"几乎静止的视频"，或者再加一个审美奖励来挡住画质下滑，又或者干脆手动筛训练数据。结果是好几个互相拉扯的目标得同时平衡，调参成了玄学。

GeoFix团队抛出的问题很直接：能不能只用一个几何奖励，把结构修对，又不伤画质，那些补丁统统不要？

用"深度一致性"而不是"像素一致性"来衡量几何

GeoFix的第一个关键设计是：别比颜色和纹理，去比深度。

具体做法是，对视频里任意两帧，模型先从第一帧估出每个像素对应的深度——也就是这个点离镜头多远——再按相机的运动关系，把这些三维点"投影"进第二帧的视角，看这个点该落在什么位置、离镜头多远。视频几何若是一致的，这份"预测的深度"就该跟第二帧自己估出的深度基本吻合；对不上，就说明背景在悄悄漂移，几何出了岔子。

为什么挑深度而不挑颜色？因为颜色这个信号太不靠谱。

**视角相关效应**：同一物体换个角度看，颜色会因反光、高光之类起变化，这跟物体本身的几何结构其实没半点关系。

拿颜色重建误差当奖励，模型发现最省力的作弊法子就是把画面糊掉，让所有帧看着都差不多，颜色误差自然就小了。深度则不同，它量的是"这堵墙到底在哪儿"，是个硬邦邦的物理量，糊是糊不过去的。

这就像查一栋房子的结构牢不牢，该做的不是看墙面油漆刷得匀不匀，而是量每个房间的墙角是不是真垂直、地基是不是真水平。油漆涂得再漂亮，墙歪了就是歪了，尺子一拉就露馅。检查员要是图省事只看漆面好不好看，装修公司大可以把所有房间刷成同一种灰色蒙混过去，反正看着挺统一。

另外，为了不冤枉那些真在运动的物体，GeoFix专门加了一个动态区域掩码，用预训练的运动分割网络找出画面里哪些地方是真动（走路的人、飞的鸟之类），只在静止的背景区域里算这份深度一致性误差。这样一来，模型不会因为"小狗在跑"被扣分，挨罚的只是背景漂移这类真正的几何缺陷。

被忽视的偏差：镜头动得少，分数反而更高

下面这个发现，是这篇论文里我觉得最有意思的。

研究者在验证这个深度一致性分数时，顺手测了真实拍摄的视频和专做四维重建的数据集，结果撞上一个很反直觉的现象：哪怕视频完全真实、没任何生成痕迹，只要摄像机运镜幅度小、前后两帧视野重叠度高，这个深度一致性分数就会系统性地偏高。

这背后藏着什么问题？一个看似公正的几何打分系统，实际上自带"懒人补贴"：镜头挪动越少，分数越容易偏高，哪怕视频的真实几何质量和镜头大幅移动的那段毫无差别。

研究者把这个现象命名为**重叠偏差**——几何一致性评分与相机视野重叠度之间存在虚假的正相关，小幅度运镜因此被误判成"几何更好"。

打个比方，如果你是老师，拿"答题时写字工整程度"来打分，结果那些故意写得又小又密、几乎看不清内容的卷子，反倒因为"字迹排列整齐"拿了高分；字写得大、信息量丰富的卷子，只因排版稍松散就被扣分。这显然不是你要的评判标准，可要是没察觉这个偏差，评分系统就会在无意中鼓励学生把字写小写密，而不是把内容答对答全。这个发现也直接解释了此前那些方法为什么容易"把画面变静止"：优化几何一致性奖励时，模型其实在悄悄利用重叠偏差，它发现让镜头少动一点，比真的把几何修对容易得多。

那"视野重叠度"到底怎么量化？论文用了一种面积加权的交并比方法，把两台相机各自能看到的球面区域做重叠比例计算，重叠越大，说明两帧画面的视角差异越小。

FOCAL：把"镜头懒惰"这笔账算清楚

偏差的根源找到了，解法也就顺理成章：真实视频的分数本身会随重叠度系统性变化，那就先把这条"基准曲线"画出来，再拿生成视频的分数去跟曲线比，而不是跟绝对数值比。

具体怎么操作？研究者用大量真实视频和四维重建数据集，拟合出深度一致性分数与视野重叠度之间的数学关系，这条关系的斜率代表"重叠度每增加一分，分数大概会虚高多少"。正式打分时，把这部分"虚高"从原始分数里减掉，就得到一个经过校准、真正反映几何质量本身的分数，这便是论文的核心贡献 FOCAL。**FOCAL** 全称 FOV-CALibrated geometric reward，即视野校准几何奖励，思路是先算出重叠度导致的分数偏差，再把这部分偏差扣除，用来消除"镜头少动就能拿高分"这种虚假优势。

这有点像体育比赛里的让分制。甲乙两队实力本来就有差距，裁判事先按历史交手数据算出甲队平均能多赢多少分，正式比赛时就把这个差值提前让给乙队，最终比的才是真实实力，而不是出场顺序或场地优势带来的虚假胜负。不做这个校准，裁判可能一直误判，把场地优势当成实力差距，训练出来的队伍也只会钻场地规则的空子，不会真正提高球技。

论文给出的校准公式非常简洁，本质上就是把原始的深度误差除以重叠度的某个指数次方，这个指数正是从真实数据里拟合出的斜率除以十。校准之后，研究者在没参与拟合的真实和生成视频上重新验证，发现校准后的分数与重叠度之间的相关性几乎降到零——说明这套方法确实把偏差洗干净了，而不只是在训练集上凑巧对上。

直接从生成过程的"潜空间"里算出深度和相机

光有合理的奖励指标还不够，还得想办法高效算出来。训练过程中，这个奖励要被反复计算成千上万次，如果每次都先把视频完整解码成像素、再跑一个完整的三维重建模型，计算成本会高到难以承受。

GeoFix 用了一个叫模型拼接的办法：把预训练模型某一层的输出直接接到另一个预训练模型的中间层，前面那部分计算就不走了，两个原本各干各的模型就这么“缝”到一块儿配合。拿视频扩散模型来说，它在生成时会产出一份压缩过的中间表示，也就是潜空间表示。这东西是视频扩散模型内部用来描述画面的数值编码，经过压缩、偏抽象，并非像素本身，可生成画面需要的信息它全留着。

研究者训练了一个轻量拼接层，把这份潜空间表示直接送进一个已经预训练好的四维重建模型的中间层，视频解码成像素、再从像素里重新提特征这两步都省了。好处有两个：计算量下来一大截；稳，而且稳得有点出乎意料。生成过程中的潜空间本身带噪声，先解码成像素再重建，噪声会被放大、越积越多；从潜空间直接接进去，反倒把这段噪声累积绕开了。论文实验也印证了这点：拼好的重建模型在新视角合成任务上，峰值信噪比比原版重建模型高1.68分贝，结构相似度涨了0.066，重建质量是实打实地往上走。

这套拼接模型不仅给出用于打分的深度和相机信息，本身还能直接输出一个显式的四维高斯场景表示，相当于一举两得，既当裁判又当建筑师。

把这个奖励用到训练和推理的各个环节

奖励有了，下一步是拿它派用场。GeoFix 在三种对齐方式上都试过，说明这个奖励能通用。头一种是训练阶段的强化学习微调，用的是 DiffusionNFT：模型先生成一批样本，交给 FOCAL 打分，分数再回传去调模型参数。第二种放在推理阶段，叫候选筛选——同一个提示词生成多份视频，让 FOCAL 挑出分最高的那份。第三种更有意思，也是推理阶段，叫梯度引导：直接用 FOCAL 对潜空间的梯度，在采样时实时把生成方向往几何更一致那边带。

这三种用法背后有一个共同前提：奖励必须可微分，也就是能够计算出"如果稍微调整一下生成内容，奖励会怎么变化"这个方向信息。因为 FOCAL 是直接从潜空间算出来的，整个计算链条连贯可导，所以它能同时服务于这三种差异很大的对齐方式，不必为每种方法单独设计一套奖励。

实验结果：数字不会说谎

论文在多个基准上做了系统性对比。

训练阶段的对比对象包括基础模型、单纯监督微调，以及VIST3A和World-R1两个同类方法。GeoFix在WorldScore基准的三维一致性指标上拿到61.60分，基础模型只有44.39分，提升幅度约39%。光度一致性、运动准确度等维度上，它的成绩也排在最高或接近最高的位置。

VBench视频质量评测这边，GeoFix同样占优。主体一致性、背景一致性、美学质量、成像质量、运动平滑度五个维度，相对基础模型的提升幅度全部超过另一个直接几何奖励方法VGGRPO。美学质量一项差距最明显：GeoFix提升12.67%，VGGRPO仅0.42%。

这些数字正好印证了论文的核心论点——几何不一致本身就算一种视觉缺陷，几何修好了，画质也会跟着上来。

推理阶段，候选筛选和梯度引导两种方式下，加入FOCAL之后相机旋转误差、平移误差都降了下来，场景一致性和画质指标同步走高，运动幅度只出现微小下降，基本可以忽略。FOCAL不只是一件事后打分工具，它给出的优化方向确实有效。

四维场景生成这个任务更贴近实际应用，对比对象是MoGe4D和4DNeX两个专做图像生成四维场景的方法。4DNeX的“动态程度”指标很高，但渲染结果细看就会发现，这种“高动态”来自背景结构持续漂移和重影，不是真实的物体运动。MoGe4D反过来，几乎不产生运动。GeoFix一边保住场景一致性，一边维持有意义的动态变化，在两难之间找到了平衡。

论文还设计了一组“腐蚀测试”：对重建结果人为施加四种几何扭曲——正弦波纹变形、垂直挤压、深度反转、相机姿态漂移。随着扭曲程度加大，FOCAL的分数单调下降。这说明它测的就是几何一致性本身，没有混进别的因素。

研究者另做了一组对照实验，直接拿VBench的几个视频质量指标当奖励去微调模型。结果“钻空子”现象接连出现：优化“成像质量”，画面冒出强烈色彩条纹和重复的高对比纹理；优化“背景一致性”，画面变模糊，还叠上规律性网格；优化“运动平滑度”，输出几乎全黑；优化“主体一致性”，识别对象被替换成重复的蓝色图案；优化“美学质量”，生成的是拼贴画式的图像，重复人脸和装饰碎片堆在一起。背后逻辑是一致的——这些指标量的是帧间特征相似度或审美预测分数，并非真正的场景结构。模型一旦发现“让内容单调、重复”比“真把画面画好”更容易拿高分，就会直接走捷径。

这组对比比任何说理都更有说服力。它直接展示了奖励设计不当会带来什么样的灾难性后果，也反过来证明FOCAL的思路是对的：直接盯住几何结构，不间接依赖感知指标。

局限也存在。GeoFix依赖的深度和相机估计来自一个预训练的四维重建模型，这个“老师模型”在某些场景下判断失误，奖励信号就会跟着跑偏。动态区域的分割一旦出错，可能误伤真实运动，也可能放过真正的几何错误。计算成本同样不低：每次打分都要跑一遍拼接重建模型加运动分割网络，梯度引导时还得对整个重建过程做反向传播，对算力要求不小。

写在后面

读完这篇论文，最触动我的不是FOCAL这个方法本身，而是那个重叠偏差的发现。

我们常以为自己设计了一个“客观”的评价指标，但指标背后可能藏着一个跟真正想衡量的东西毫无关系的变量，在悄悄左右最终的数字。这篇论文提醒我：任何一个看起来天经地义的评分标准，都值得回头问一句——这个分数高，到底是因为它真的好，还是因为它恰好满足了某个跟“好”无关的条件？

另一个让我意外的是那组VBench奖励对照实验。原以为拿权威基准的评测指标直接当训练目标，怎么都比自己瞎设计一个新奖励靠谱，结果几乎每个指标单独拿去优化都会“原形毕露”，暴露出各种意想不到的捷径。这其实是个挺普遍的警示：评测指标和优化目标从来不是一回事，拿前者直接当后者用，风险比想象的大得多。

下一个问题是：如果未来的四维重建模型本身变得更强、更准，这套校准方法是不是就不需要了？还是说，只要“相机运动幅度”这种隐变量还在，类似的偏差就会永远以某种形式重新出现，只是换了个马甲？

Q&A

Q1：GeoFix是什么？

A：GeoFix是一个让视频生成模型几何结构更一致的框架，核心是名为FOCAL的几何奖励，用来同时提升生成视频的三维结构准确性和画面质量，不需要额外加别的辅助奖励。

Q2：为什么之前的几何一致性方法容易让画面变模糊或变静止？

A：很多方法拿像素重建误差或帧间特征相似度当奖励，模型发现把画面模糊化或者减少动态变化更容易满足这些约束，于是投机取巧走“捷径”，几何并没有真的变好。

Q3：FOCAL里的重叠偏差校准具体解决了什么问题？

研究者注意到，真实视频也有同样的规律：镜头动得越少，深度一致性分数就系统性偏高。FOCAL 把这条偏差曲线拟合出来，再从原始分数中扣掉，这样奖励衡量的是几何质量本身，镜头动得少不再能换来高分。