视频生成模型评测

你要给团队挑视频生成模型，翻了几篇测评，发现每家用的提示词、时长、分辨率都不一样，结论根本没法横向比。这篇不给你现成名次，而是给一套自己就能跑起来的评测框架：怎么定统一的测试集、从哪些维度打分、结果怎么记才能回头复用，以及什么情况下这套方法不适用。

你要给团队挑视频生成模型，翻了几篇测评，发现每家用的提示词、时长、分辨率都不一样，结论根本没法横向比。有的文章只贴了几段好看的样片，你根本不知道它跑了几次、参数是什么、失败的那些去哪了。这篇不给你现成名次，而是给一套自己就能跑起来的评测框架：怎么定统一的测试集、从哪些维度打分、结果怎么记才能回头复用。

核心思路只有一句：把变量钉死，只换模型。只要输入、参数、打分口径三者固定，哪怕你测的模型和别人不一样，结论也能落到自己的选型上。反过来，随便想想提示词、看一遍凭感觉打分，跑出来的东西下周就没法用了。

第一步：先定一套固定测试集，别每次临时想提示词

测试集不用大，但要覆盖你的真实用途。建议按场景分组，每组留两到三条提示词，逐字固定下来，以后换模型只重跑、不改题。改题就等于换了把尺子，前后结果不能比。每条提示词后面附一份预期描述，写清你希望它出什么，比如主体是否完整、镜头有没有动、画面里有没有明显变形，否则打分只能靠印象。

• 把参数档写进表头：分辨率档、时长档、是否带音频、是文生视频还是图生视频，任何一条变了就单独标注，不要混着比
• 提示词写法本身会影响结果，先把主体与运镜描述拆清楚再固定下来，站内 video-prompt-shot-breakdown 讲了这个拆法
• 同一组题不要中途改字，哪怕你觉得第二版写得更好，也留到下一轮评测再换
• 每组题配一句「合格线」，比如主体不残缺、镜头确实动了，先过线再谈优劣

第二步：评测维度别贪多，四到六项就够用

维度越多，打分越糊。挑四到六项能真正影响选型的就够了，每项给一个可操作的定义，而不是「画质好不好」这种主观判断。打分建议 1-5 分，每项后面强制写一句扣分原因，写不出原因的分基本是感觉分，回头没法复盘。

• 画面质量：重点看细节崩不崩，尤其是文字、手部、多人场景里的脸
• 指令遵循：把提示词拆成几个可验证的点，逐条打勾比整体打分可靠得多
• 稳定性：同一条提示词连跑三次，结果差异大就要在记录里注明，选型时把它当风险而不是偶然
• 可用性：生成耗时、排队情况、失败重试成本、导出规格是否够用，这些决定它能不能进你的日常流程
• 商用与授权边界单独一栏记，具体要求可对照站内 ai-video-commercial-license

第三步：记录表怎么设计，结果才能被复用

记录表的目标只有一个：换个人接手也能看懂，且一个月后还能拿出来对比。一条记录对应模型加提示词编号加参数档，再加三次结果。每列只填一个值，不要写「还行」「一般」这种判断词，那等于没记。打分至少两个人各看一遍再取共识，一个人打分会明显受当天出片运气影响。

1. 定表头把模型标识、提示词编号、参数档、跑测时间固定成列，跑之前先建好表
2. 跑三次同一条提示词连跑三次，三次结果分别记录，不要只留最好那次
3. 双人打分两人独立打分后再对差异项讨论，共识分才写进表
4. 按用途汇总不要算总分排名，按口播、商品、风景等用途分别看谁更稳

横向对比时按用途看，而不是按总分看：口播场景赢的模型，在风景运镜上很可能排到后面，没有全场景通吃的选项。模型迭代很快，把跑测的版本标识和时间记下来，回头你会发现旧结论失效了。价格和额度这类会变的数字，去 /official-api 和 /price-watch 核对当时的数值，别抄进评测结论里，否则结论一过期整张表都要重跑。

这套框架什么时候不适用

任何评测方法都有边界，下面几种情况硬套这套框架反而浪费人力。判断标准很简单：你到底是在做长期选型，还是在解决一次具体出片需求。前者值得搭测试集，后者直接拿真实需求跑一两条就行。

• 只做一次性出片、没有长期选型需求：这时候直接拿真实需求跑一两条就行，搭测试集的时间成本不划算
• 你的场景高度依赖某类特定素材，比如固定产品外观或固定人物脸：通用测试集测不出差异，得换成你自己的素材做专项测
• 追求的是极致单点效果而不是稳定量产：那要看的是这个模型的上限样例，而不是三次跑出来的平均表现
• 团队还没定下合格线就开跑：先定谁定标准、怎么算合格，写进表里，否则换个人接手就重跑一遍

评测的价值不在排名，而在换模型时你手里有一套自己的对比基线。