NVIDIA联合发布PhyProbe：给AI视频物理合理性打分的新方法

AI生成的视频里，画面光影自然、人物衣物褶皱逼真，乍看挑不出毛病，可总觉得哪里不对劲。你没法明确指出错在哪，但就是知道它错了。

视频生成领域眼下最棘手的问题正在于此：模型能力越来越强、画质越来越精细，物理真实感却始终缺少可靠的衡量尺度。NVIDIA、滑铁卢大学和Vector Institute联合发表的论文PhyProbe，瞄准的正是这个缺口。

先要弄明白：这件事为什么不好办。

判断一段视频“有没有毛病”似乎不难，难的是判断毛病“重不重”。物体稍稍离开地面，与物体猛然炸成碎片，两者物理违规的程度差着好几个量级，可现有评测手段通常把它们一股脑塞进同一个“不合格”类别里。

论文举的例子很能说明问题：一只悬着的箱子掉下来，把球盖住。这个过程中，物理一致、轻度违规到明显违规是连续过渡的，而人的感知偏偏呈阶梯状——只要没到特别扎眼的程度，多数人都会觉得“看着还行”。

认知科学早就给过解释：人对视觉异常的判断本就粗略、带有阈值，只有格外显眼的违规才会被稳定察觉，细微的不一致往往被直接跳过。说白了，人的物理直觉不是一把精确的尺子，更像个只有“正常”“异常”两档的开关，读不出刻度。

尴尬的地方就来了：人类标注的数据本身就粗糙、带阈值效应，据此训练出的评测模型怎么可能精确？论文作者统计了VideoPhy2和VideoFeedback2两个数据集里的人工评分分布，发现标注者几乎不打1分或5分这样的极端分，分数全挤在中间段，正好印证了“人类感知粗糙且阈值化”这一判断。

现有做法大致分两路。一路是请现成的视觉语言模型（VLM，即能同时理解图像/视频与文字的AI模型，Gemini、GPT-4V都属于此类）来当裁判，看视频直接打分或判断对错。

问题在于，VLM靠语言推理去理解画面，对动态物理过程天生不敏感，往往要精心设计提示词才能让它“看出”毛病。另一路是在人工标注数据上微调专用评测模型，例如VideoPhy2-AutoEval、VideoScore2，它们在训练数据分布内成绩不错，可一旦换了场景或换了生成模型，性能就明显下滑。这说明它们学到的是数据集里的“捷径”，并非真的理解物理规律。

一个靠谱评测器要同时满足的三条要求

论文给“靠谱的物理一致性评测器”立了三条标准，整篇研究的设计逻辑都围绕它们展开。

其一，相对排序要可靠。绝对分数哪怕不准，只要能稳定判断出“A视频比B视频违规更严重”，就已经有价值。

其二，分数得锚定在固定参考尺度上。不能今天0.6分算严重违规，明天生成模型整体进步了，同样的违规程度就变成0.3分。

其三，单看一个视频就能打分，既不需要配对参考视频，也不需要文字描述。很多物理违规光看动态轨迹就能辨认，不必先知道视频“本该”是什么样。

三条合在一起，说的其实是同一件事：评测器不能只“学会打分”，而要掌握一种稳定、可迁移的测量方式。

PhyProbe的设计：冻结的编码器配一个轻量打分头

架构本身不复杂。输入一段视频，先由一个预训练好、参数完全冻结的时空编码器提取特征，相当于“看懂”画面里发生了什么；随后特征进入一个轻量打分头，输出0到1之间的违规分数，越接近1代表物理违规越严重。

所谓时空编码器，是能同时处理空间信息（物体长什么样、在什么位置）与时间信息（物体如何运动、如何变化）的神经网络，论文主要采用Meta的Perception Encoder（PE）。

打分头则是接在主干之后的小型网络模块，这里用了三层MLP（多层感知机），把特征映射为最终分数——真正参与训练的只有这一部分。

关键设计在于：主干编码器保持冻结，只训练打分头，而打分头仅约100万参数，挂在20亿参数的编码器之上。打个比方，好比请一位经验丰富的老侦探看监控，他的观察力早已过硬，不必重新培养眼光，只需教他一套新的打分规则，告诉他看到什么扣多少分。反过来把整个侦探团队推翻重训，成本高得离谱不说，还可能毁掉他原本泛化性很强的观察经验，结果模型在新场景里更容易失灵。

实验也支持这一判断：换用不同主干，效果差距明显。弱监督预训练的Perception Encoder最稳最强，做自监督预测训练的V-JEPA2同样表现不俗，而专攻视频压缩重建的Wan2.2 VAE编码器则明显落后。可见“看懂物理动态”与“把视频压缩再还原”是两种能力，后者的优化目标本就不是理解物理规律。

怎样把杂乱的监督信号拧成一股绳

这部分是整篇论文里花的功夫最多的。物理一致性相关的数据来源很杂：有的只给出“A比B差”这类相对排序，有的提供带噪声的绝对分数，还有的压根不打分，只简单区分“这是真实视频”和“这是人为制造的失败案例”。

论文把这些异构数据拆成三种监督信号，各配一种损失函数。头一种叫排序监督，思路是只要知道两个视频谁更糟就够了，不必知道差多少，用的是经典的Bradley-Terry模型。

Bradley-Terry模型是一种处理成对比较数据的统计方法，最早拿来给体育比赛排名，核心思路是把每个选手（这里指视频）看成有一个潜在的“实力值”，通过比较胜负概率反推出这个值。

举个例，围棋排名系统里的Elo积分本质上就是这套思路的变种，不用给每盘棋打分，只要知道谁赢了谁，系统就能慢慢把每个选手的真实水平排出来。PhyProbe干的事类似：训练数据里有“真实视频和真实视频配对”这种没有偏好的组合，模型这时会用0.5作标签，推着两个分数往同一个值靠拢，而不是硬分高低。

第二种叫幅度回归，用在那些确实带了噪声、但相对大小信息还留着的标注上，比如VideoPhy2和VideoFeedback2里按1到5分打的物理合理性评级。不同数据集的打分习惯和标准不完全一致，这里统一做了一次“违规地板”式的单调变换：5分映射到0（完全没问题），1分映射到1（严重违规），中间分数不是均匀线性分布，而是向违规端压缩，这个设计是刻意为之的。

为什么这样压缩？前面提到，人类对物理违规的感知是有阈值的，大多数稍微有点瑕疵的视频都会被人笼统打成“还行”（比如4分），只有特别明显的违规才会被精确区分出严重程度。如果强行用线性映射，会把大量其实有细微差别的“4分视频”全糊成一团，低违规区域里本来存在的信息就丢了。做了违规地板映射之后，这部分区域反而能保留更细的分辨率。实验里也确实验证了这一点，四个物理测试集上都比线性归一化的准确率更高。

第三种做法是锚点校准，专门对付“绝对尺度漂移”，算得上关键手段：拿真实视频当0分锚点（置信度高，基本不会出错），再拿人为构造的失败案例当1分锚点，把两头死死固定住。打个比方，等于给一把软尺子钉上两颗铁钉。要是没有锚点，整套评分系统就成了一条能随便拉长的橡皮尺，排序或许仍然对，可长度单位彻底失控——去年量出来10厘米的物件，今年可能成了15厘米，原因在于“尺子”自己跟着训练数据的分布悄悄变形了。消融实验把这点证得很直接：去掉锚点损失后，打分区间从正常的0到1.15一下炸到-0.4到4.13，真实视频对生成视频的区分能力也明显变差。两颗铁钉把两端钉住，中间的刻度才作数。

**训练数据从哪来**

PhyProbe整合了七个来源的数据，总共约37万对视频，涵盖四大类物理异常：行为类（物体穿模、不自然流体、违反碰撞规律的运动）、时间类（时间跳跃、运动倒放、因果颠倒）、物体性类（物体突然消失出现、形状突变）和感知类（画面崩坏、局部模糊）。

有个细节值得单独拎出来说：构造数据时特意照顾了“是否存在语义对应关系”这一维。换句话说，一部分配对来自同一个输入画面或文字提示（称作image+text correspondence或text correspondence），另一部分配对则是两段毫不相干的视频（称作no correspondence）。为什么要把这两种刻意掺在一起？假如训练数据里始终是同一提示词生成的两段视频互相比对，模型很容易抄近路：光去找“这两个视频哪里不一样”就能猜中答案，而不去真正判断“这段视频自身的运动合不合理”。这有点像教孩子分辨食物有没有坏，你老拿同一道菜的新鲜版和腐烂版让他比，他学到的可能只是“颜色深的那份更差”，换一道从没见过的菜，他就傻了。掺进大量毫无关联的视频对比来训练，就能逼着模型真正去理解“运动轨迹本身对不对”，而不是找

**结果到底怎么样**

论文在四个物理一致性测试基准上做了对比：ImplausiBench（真实与生成视频配对）、VideoPhy2（文字对应的生成对生成）、PhyDetEx（无对应关系的真实对生成）、VideoFeedback2（无对应关系的生成对生成）。

| 方法 | ImplB (R-G) | VP2 (G-G) | PhyDetEx (R-G) | VF2 (G-G) |

|---|---|---|---|---|

| VideoPhy2-AutoEval | 28.0 | 28.5 | 30.5 | 36.3 |

| VideoScore2 | 68.7 | 49.7 | 60.6 | 65.0 |

| Gemini-3.1-Pro | 95.2 | 70.5 | 86.2 | 73.7 |

| **PhyProbe** | **98.0** | 66.1 | **98.9** | **75.2** |

可以看到，PhyProbe在三个基准上拿到了最高分，尤其是在没有语义对应关系的PhyDetEx上达到98.9%，远超专门微调过的VideoPhy2-AutoEval（只有30.5%）和VideoScore2（60.6%）。这恰恰验证了前面说的那个问题：专门在特定数据集上微调出来的评测器，一旦换到没有语义线索可以依赖的场景，表现就会断崖式下跌。

从与人类评分的相关性看，PhyProbe在VideoFeedback2上的斯皮尔曼相关系数为0.596，居所有方法之首；在VideoPhy2上则是0.293，虽非第一（VideoPhy2-AutoEval在自己训练分布内拿到0.359），却也没在另一个数据集上垮掉。论文特别提到，VideoPhy2-AutoEval和VideoScore2都是只在自己练过的数据集上好看，换个地方就失灵，像只会做复习过的题的学生；PhyProbe则更接近真正吃透了知识点，换张新卷子照样能考。这种不偏科，其实比单项冠军更难。

还有个意外的发现：PhyProbe完全没拿通用审美偏好的标注数据训练过，可放到MonetBench、Rapidata、RewardBench这些人类审美偏好测试基准上一测，成绩反而压过了专门为此训练的VisionReward和VideoReward。MonetBench上PhyProbe为72.7%，VisionReward是68.2%，VideoReward是56.1%。

这背后是物理违规和画面整体质量下降常常绑在一起：视频一旦穿模、物体乱飘，多半还带着别的视觉瑕疵。于是专盯物理一致性训练的模型，顺带也学会了判断整体质量。

**每个零件的作用，消融实验给出了答案**

论文逐一拿掉每个损失函数做了对比。去掉排序损失后，模型在VideoPhy2和PhyDetEx上的排序能力明显下滑，可见缺少直接的偏好信号，模型就难以对质量相近的视频做精细区分。去掉回归损失，分数区间从正常的0到1.15炸到-1.89到3.45，排序能力大体还在，分数却失去了可解释的刻度。去掉锚点损失，分数范围同样爆炸，连真实对生成视频这种最基本的判断准确率也从98.0%掉到68.7%。

三个损失函数各管一摊，彼此替代不了：排序损失管“谁更差”，回归损失管“差多少”的大致幅度，锚点损失管“标尺别跑偏”。

**局限性也摆明了说**

作者没有回避。对只在极短时间内发生的突变（比如物体瞬间消失），或者要拉长时间跨度才看得出破绽的违规，PhyProbe的捕捉能力都偏弱，原因在于这些超出了当前时空表示方法能有效编码的范围。另外，有些现实里确实存在但比较罕见的运动模式，反倒可能被误判成高违规分数，因为模型学到的“正常”模式终究是训练数据分布的产物。

还有一点很关键：PhyProbe本质上是在逼近“人类感知的物理合理性”，而非独立于人类判断的某种客观物理真理。人类的判断本身就和画面整体质量纠缠，PhyProbe多少也继承了这种纠缠。论文坦言，眼下还没有哪个基准数据集能在固定场景、固定提示词、固定生成器的前提下单独改变物理一致性这一个变量，严格意义上的“解耦验证”目前做不到，这是整个领域共同的空白，不是PhyProbe一家的问题。

写在后面

读这篇论文时我反复想到：它几乎是在讨论“怎么测量一个本身就测不准的东西”。人类标注者本身就是粗糙的、带阈值效应的测量工具，论文的策略不是去修正人类标注，而是正面承认这种噪声，再设计一套训练目标，让模型从多个不完美的信号源里拼出相对完整、相对稳定的测量结果。不追求单一数据源完美，靠多源信号互相校准——这种思路在很多测量科学领域都反复出现，不只AI视频评测。

另一个印象很深的细节是违规地板那个单调变换设计。它提醒我，我们拿到的“标注分数”看着是一条均匀的数字刻度，背后真实的人类感知却可能根本不是线性的。直接拿这种带偏的刻度做线性回归，表面没错，实际悄悄丢掉了低分区域本可保留的细节。对标注本身分布特性的这份警觉，比方法的新颖程度更值得反复提起。

还有个问题值得追问：将来若出现更强的时空表示模型，能把瞬间发生、转瞬即逝的物理违规也编码进去，PhyProbe这套“冻住主干、轻量打分头”的框架还能原样套用吗？还是说那种更细粒度的违规，天然需要另一种完全不同的建模方式？

Q&A

Q1：PhyProbe是什么？

A：这是NVIDIA等机构提出的一种评测生成视频物理一致性的方法。它用冻结的预训练时空编码器提取视频特征，再由轻量打分头输出0到1之间的违规分数，分数越高，说明视频违反物理规律越严重。

Q2：和VideoPhy2、VideoScore2这些现成评测器相比，PhyProbe的优势在哪？

A：在无语义对应关系、生成对生成这类更难的场景里，PhyProbe明显更稳；VideoPhy2-AutoEval、VideoScore2等微调评测器往往只在自己训练过的数据分布内表现好，换个场景准确率就大幅下滑。

Q3：PhyProbe训练用了哪些数据和技巧？

A：它整合了PAI-Bench、VideoPhy2、VideoFeedback2、BrokenVideos、ImpossibleVideos、TRAVL、Kinetics-700七个来源、约37万对视频，把排序损失、回归损失和锚点校准损失三者结合起来训练，只训练约100万参数的打分头。