你可能是要给产品选一个能看视频的模型，打开榜单却只看到一排分数和名次，越看越糊涂：这些分是怎么来的、测的是什么任务、跟我手上的活对不对得上。这篇不替你挑模型，只给一套读视频理解榜单的顺序——先分清评测口径，再看指标含义，最后拿自己的片段跑一遍对照。榜单只能筛掉明显不行的，真正决定用哪个，还得靠你自己的任务样本。
给产品选一个能看视频的模型，打开榜单往往只看到一排分数和名次，越看越糊涂：这些分是怎么来的、测的是什么任务、跟我手上的活对不对得上。这篇不替你挑模型，只给一套读视频理解榜单的顺序——先分清评测口径，再看指标含义，最后拿自己的片段跑一遍对照。榜单的价值是筛掉明显不行的，不是替你下结论。
读榜之前先接受一个前提：没有一个总分能代表视频理解能力。同一个模型在动作识别上可能靠前，在长视频问答上可能掉到中游。你真正要做的，是把榜单拆成「它测了什么」和「我关心什么」两栏，对不上的部分直接忽略。
先看它到底测了什么：任务类型比总分重要
视频理解这四个字底下藏着一堆完全不同的活儿。动作识别只看画面里在干什么，时序定位要说出事情发生在第几秒到第几秒，长视频问答考的是在几十分钟素材里找到那几帧，字幕与语音对齐又牵扯到音频和文本。题目不同，模型能力的侧重点也不同，拿一个总分横向比意义很有限。
- 动作识别
- 判断整段画面属于哪类行为，主要吃单帧和短时序特征
- 时序定位
- 在时间轴上圈出一件事的起止，考的是边界判断而不是分类
- 长视频问答
- 从很长素材里检索信息再回答，考记忆和定位，不是识别
- 跨模态对齐
- 把画面、音轨、字幕对应起来，缺一路信息结果就变
还有一个容易被忽略的口径差异：是只喂画面，还是画面加音轨、加字幕一起给。同一段素材，两种喂法结果能差出一大截。榜单如果不写清输入是什么，那个分数就不好用。看到榜单先找题目样例和输入说明，找不到样例的榜，分数再高也只能当参考。
指标怎么读：准确率、时序交并、检索命中分别说明什么
指标名字看着像行话，拆开其实就三件事：答得对不对、时间圈得准不准、找得到找不到。问题在于，每个指标都有宽严两档，宽的那档分数好看，但不说明模型真强。
| 指标类型 | 它回答的问题 | 宽松口径会怎样 | 读榜时看什么 |
|---|---|---|---|
| 准确率 / 召回 | 分类和问答答对的比例 | 答案匹配规则放得宽，分数虚高 | 看判分脚本或样例，别只看数字 |
| 时间区间重叠度 | 预测时间段和标准段的吻合度 | 重叠阈值定得低，随便猜到一段也算分 | 看阈值怎么设、有没有公布 |
| 检索命中与排序 | 能不能找到、排得准不准 | 只统计命中不统计位置，掩盖排序问题 | 分清命中率和排序位置是两回事 |
| 综合加权分 | 多个任务按权重合成 | 权重换一套，排名可能互换 | 看权重表，权重不明就别当真 |
同一模型在不同指标上排名互换是常态，不是异常。所以别拿一个总分当唯一结论，也别因为某个模型在你关心的那一栏落后就整个否掉——先确认那一栏的权重在综合分里占多少。
- 分类类看准确率和召回，重点确认判分规则是严格匹配还是宽松包含
- 时序类看区间重叠，阈值不公开的榜先打问号
- 检索类分开看命中率和排序，前者说明能不能找到，后者说明排得准不准
- 综合分一定去翻权重表，权重不写清的，只当参考不当依据
榜单最容易带偏人的几个地方
第一个坑是题目饱和。有些题目被反复刷过，大家分数都挤在高位，已经分不出模型好坏。判断办法是看榜单更新情况和题目是否长期不变，站内榜单库对更新和维护状态有记录，可以到 /rankings 对照当时的版本说明，别拿一份放了两三年的老榜做决策。
第二个坑是自评分和被评分的区别。模型给自己答案打分，和用固定标准判分，可信度完全不是一回事。看到评测方法里写着「模型辅助评分」，就要多想一步：评分模型和被测模型是不是同一家，判分标准有没有公开。
第三个坑是任务不匹配。榜上考的是短视频动作识别，你要做的是长会议录像问答，这两件事基本不通。第四个坑是样本量和时段，只跑一轮和多个时段交叉验证，结论稳定性差很多，可以对照众测那种多轮思路来理解。
- 题目饱和：分数挤在一起说明题目已经分不出高下，去看更新记录
- 自评分与被评分：判分方是谁、标准是否公开，比分数本身更重要
- 任务不匹配：榜上的任务和你手上的活对不上，排名就没有迁移价值
- 样本量与时段：单轮结果波动大，多看几轮再下判断
自己动手：用一段真实素材做对照
榜单只能帮你缩小范围，最后那一步得自己跑。准备三段素材就够了：一段最短的、一段最长的、一段你觉得最难的，每段先写下你期望的答案，别等模型答完再改标准。
- 挑素材并定标准答案从业务里选三段真实素材，覆盖最短、最长、最难三种情况，提前写好每段期望的答案或时间区间
- 同一问题喂给候选模型用完全相同的问题分别问几个候选模型，记录答对、答半对、答错，半对要写清错在哪
- 逐个去掉输入变量把音轨、字幕、时间轴提示逐个拿掉再问一遍，看模型到底靠哪一路信息在回答，靠字幕还是靠画面
- 和榜单结果对照如果榜单排名和你自己的结果明显不一致，以你自己的结果为准，同时回头确认是不是题目口径不同
跑完这几步，你手里就有一份小样本对照表。它不代表模型真实水平，但能告诉你这个模型在你的场景里能不能用，这比任何榜上的名次都直接。
什么时候别花时间看榜
有些情况下榜单根本帮不上忙，先看这些前置条件比看分数划算得多。第一是你的任务有强合规要求或数据不能出内网，那能不能部署、怎么部署比分数靠前，先去 /sites 看部署方式和接入条件，指标留到后面再谈。
第二是你只需要固定几类画面判断，规则或小模型可能就够用，通用榜单的高分代表不了这种窄任务。第三是素材里方言、噪声、多说话人混杂严重，榜上干净样本的分没有参考价值，先做转写质量自查，转写不过关，视频理解再强也白搭。第四是预算和时间卡得很死，先按可用性和成本筛掉一批，再在剩下的里面比视频理解能力，顺序反了会白费工夫。
还有一种情况：你已经有一个能用的方案，只是想找更便宜的替代。这时候重点不是榜单上谁第一，而是替换后你要重跑多少评测、迁移成本多大，这部分可以顺带看看站内的评测方法说明，把自查流程固定下来。
| 你的处境 | 先做什么 | 榜单什么时候有用 |
|---|---|---|
| 数据不能出内网 | 确认能否私有部署 | 部署过关后，再比能力 |
| 只有几类固定判断 | 试规则或小模型 | 基本用不上通用榜 |
| 素材噪声方言重 | 先做转写质量自查 | 转写稳定后再谈视频理解 |
| 预算时间很紧 | 按可用性和成本先筛 | 在剩下的候选里比能力 |
常见问题
总分高的模型是不是视频理解就一定更好？
不一定。总分是把不同题型加权凑出来的，权重怎么定、题目偏哪类，都会影响结果。你要先看清它测的是短片段分类还是长视频问答，再和自己的任务对齐。如果榜上找不到题目样例和评测口径，这个总分就只能当粗筛，不能当结论。
视频理解评测和普通的文本、图片评测有什么不一样？
多了时间这一维。图片评测一帧就是一个样本，视频要看前后顺序、事件发生的时间点、跨帧的一致性。所以会出现文本和图片都不错的模型，在时序定位、长视频问答上明显掉队。看榜时留意是否有时间相关指标，没有的话它其实没测到视频的核心。
我该怎么快速判断一个榜单值不值得信？
先看四件事：有没有公开题目样例、判分是人工还是自动、样本量多大、最近有没有更新。再看它是否说明数据来源和评测口径。都写得清楚、且允许你复现的榜，参考价值高。只给一个分数和排名、不给任何方法的，当成宣传材料看就行。站内榜单库和检测口径说明页可以先对一遍。
