视频生成模型评测指标怎么看

你大概率遇到过这种场面：两份榜单都叫视频生成评测，一个把某个模型排前面，另一个反过来，看半天也不知道该信谁。问题通常不在模型，而在指标口径——分辨率、时长、运动幅度、一致性、人工偏好分，这些词看着都懂，实际量的东西差别很大，有的还是可以刷的。这篇不讲谁强谁弱，只讲每个指标在量什么、你在什么场景下该看它、什么情况下它不适用，最后给一套自己动手核对的口径清单。

两份榜单都叫视频生成评测，一个把某个方案排前面，另一个反过来，这种场面太常见了。问题往往不在模型本身，而在指标口径：分辨率、时长、运动幅度、一致性、人工偏好分，这些词看着都懂，实际量的东西差别很大，有的还能被特定套路刷高。读榜之前先把「它在量什么」搞清楚，比记结论有用得多。

这篇不讲谁强谁弱，只讲每个指标在量什么、你在什么场景下该看它、什么情况下它不适用，最后给一套自己动手核对的口径清单。想横向看各家官方口径，可以到 /models 和 /official-api 对照着读；想看榜单数据本身的更新，去 /rankings 核对当时的展示口径。

先分清评测指标分几类，别混着比

先把指标归到三类：画质、运动、对齐。同一类里的指标才有可比性，跨类比大小基本没意义。看榜单时先问一句「它量了哪几类」，缺哪一类就说明它只覆盖了片面维度，结论不能当全能判断。

• 先给榜单的每个指标贴类别标签，再决定要不要看它的结论
• 三类都覆盖的评测，读起来才有横向比较的价值
• 只报单类的评测，可以当线索，不要当选型依据
• 自己列需求时也按这三类写，方便和评测口径对齐

自动指标和人工偏好评分别能信到什么程度

自动指标靠算法打分，好处是能批量跑、可复现，坏处是容易被特定画风或固定套路刷高，跟真人观感不一定同步。人工偏好是让人几选一，更贴近真实观感，但受样本量、评分员背景和题目设置影响，样本少的时候波动很大。

读结论前先看三件事：评测样本量多大、题目是什么类型、有没有做交叉验证。只给结论不给方法的榜单，最多当参考信号，别拿来当依据。如果你的成品要过客户或平台审核，审美偏好和自动分都不如直接拿自己的素材跑一遍。

自动指标

算法打分，优势是可批量可复现，风险是被套路刷高

人工偏好

真人几选一，贴近观感，但样本少时波动大

交叉验证

换题目或换评分人群再测一次，用来确认结论稳不稳

样本量

参与评测的题目或评分条数，太小时结论偶然性高

一致性和运动幅度这两个指标最容易读歪

一致性通常指同一主体在多帧、多镜头里是否保持同一张脸、同一件衣服、同一个风格。不同评测的判定粒度不同，有的按帧比对，有的按镜头抽帧，粒度不同结论不能直接对齐。看的时候先确认它比的是帧还是镜头。

运动幅度大不等于好。幅度大可能只是位移夸张，也可能是画面崩坏，关键看它有没有同时给出稳定性或崩坏率的数字。只报运动不报一致性、或只报一致性不报运动的榜单，读的时候要自己补另一半，否则容易得出「稳但不动」或「动但糊」的误判。

• 确认一致性判定粒度：按帧、按镜头还是按抽样帧
• 确认运动指标是否附带稳定性或崩坏率
• 两个指标同时出现的评测，比只报一个的更值得读
• 口播、数字人这类主体基本不动的用途，运动幅度参考价值很低

榜单常见的水分与误读，逐个排掉

1. 第一步，看它量什么把每个指标归到画质、运动、对齐三类里，缺类就标注覆盖不全
2. 第二步，看它怎么量确认样本量、题目类型、是否交叉验证，以及是否允许参评方提交自己的最好结果
3. 第三步，看它什么时候量的找更新说明和版本对应关系，没有更新说明的榜单按历史材料对待
4. 第四步，做小规模自测用自己的输入跑一遍，和榜单结论对不上的地方记下来，不要强行解释

还有两个容易被忽略的点：一是参评方是否参与了同一批题目的出题或筛选，二是展示时是不是只放了最好的一条。这两点都会让结论偏乐观。另外注意指标单位，有的按单条视频算，有的按多轮抽样的最好结果算，口径不同不能横向比大小。

自己做一次小规模核对：可执行清单

榜单是别人的题目，你自己的用途才是真题目。做一次小规模自测，比看十份榜单更能帮到选型决策。下面是可直接照做的顺序。

1. 准备输入5 到 10 条覆盖真实用途的提示词或参考图，每条包含一个主体、一个动作、一个运镜，不要用别人挑好的样例
2. 跑同一批输入在不同方案上各跑一遍，记录三项：能否稳定出片、需要重试几次、成品返工点在哪
3. 分三栏打分按一致性、运动自然度、与输入贴合度打自己的分，只用于自比，不要拿去和外部榜单对齐
4. 把成本记在旁边费用与排队时间一起记，评测结论要连成本一起看，到 /price-watch 核对当时的计费口径与变动

这套自测产出的不是排名，而是一份「在什么条件下够用」的记录。之后模型换版本、价格变动，你只要重跑自己的输入，就能判断结论还成不成立，不用等新榜单。