PLAYLISTEVAL：100小时长视频里，AI裁判还能判得准吗

2026年，随便找一位做多模态大模型的人问问，视频理解这件事进展如何，多半会得到一句“已经挺好了”。模型能看懂几分钟的片子，能回答和画面有关的问题，甚至能替别的模型打分，充当裁判。

有个问题却少有人提起：要是视频不是几分钟，而是一百个小时，情况还一样吗？

这并不是空想。现实里很多视频场景本来就是这个量级，一个纪录片系列、一整季剧集、几十期播客，凑起来轻松破百小时。越来越多的AI系统开始让视频语言模型来当“裁判”，评判另一个模型给出的答案好不好，或者在训练中打出奖励信号。这么长的视频，人没法一条条看完再去核对答案，裁判模型的判断就成了唯一可依赖的东西。

可这个裁判本身，有没有被认真考过？

答案不太好听。KAIST的研究者发现，现有那些测AI裁判能力的基准，视频长度基本都在几分钟以内，超过一小时的都少见。也就是说，拿来检验一个号称能干“博士级”任务的系统，用的却一直是“小学水平的卷子”。这篇论文要做的，就是出一套难度真正对得上的题，而且题目出在100小时级别的视频集合上。

这套评测叫PLAYLISTEVAL，用途很明确：检验视频语言模型在超长视频集合里能不能当好裁判。

现有基准为什么靠不住

先把毛病说清楚。

现有的视频裁判评测基准，有三个要命的地方。

头一个是长度。市面上大多数测试视频不到一分钟，超过一小时的很少。裁判模型可以把整段视频一口气看完，压根不用主动去“找证据”。可真实场景往往要求在几十个小时的素材里锁定关键的几分钟，这种大海捞针的本事，现有基准测不出来。

第二个是证据脱钩。不少测试题的答案对错，来自人工标注、标准答案文本，或者对视频的文字描述。结果就出现一种荒唐情况：一个从不看画面、只读文字的裁判模型，也能在这些基准上拿到不错的分数。基准本身并没有真正逼着模型去“看”视频。

第三个是可扩展性。给几个小时的视频做精细人工标注，成本高得吓人，现有基准因此只能困在少数几个领域，难度是固定的，也没法搬到新的视频集合上重新搭建。

三样加在一起，后果是：我们对视频裁判模型的信任，建立在一个从未被真正考验过的地基上。好比驾照考试只考倒车入库，高速公路一次不考，大家却都相信持证人能安全上高速。真出了事故才发现，这项能力根本没人测过。

PLAYLISTEVAL填的正是这个空白。它搭了一套全自动流程，能在任意100小时规模的播放列表上自动生成有难度梯度的问答对，不需要任何人工标注；经检验，它和人类判断的一致率达到93.0%。

播放列表怎么挑，证据怎么找

要在100小时的视频里出题，第一步是把素材组织起来。

研究团队从YouTube上采集了七个领域的播放列表：教育、剧情、生活、艺术、历史、纪录片和播客。这七个领域对应三种知识类型——静态事实类，比如历史事件、物种生物学知识；动态叙事类，比如剧情走向、日常生活vlog；还有混合类，比如访谈、体育分析。最后形成的合集有29个播放列表、457个视频，每个领域约100小时。

素材到手，接下来的关键是把它变成能检索的东西。100小时的视频，没有任何视频语言模型能一次处理完，必须先切分、建索引。

具体做法是每个视频切成30秒的小块。这个长度短到能定位一个具体的视觉瞬间，又长到装得下一句完整的话。

分块索引：长视频被切成30秒一段的小单元，每段单独转成文字记录并生成向量表示，方便后面快速检索定位。

每个30秒的块都会用语音识别模型转成文字记录，再结合画面帧和文字内容生成一个向量表示，“看到的”和“说出的”都被编码进去。这些块级向量还会在10到30分钟的“片段”粒度上求平均，因为证据真正落地的尺度就在这一层。

这里有个设计值得琢磨：为什么偏偏选30秒？

设想你在整理一个巨大的仓库。货架格子太小，一件完整商品比如一句完整的话就会被拆到两个格子里，找的时候永远凑不齐；格子太大，里面塞满不相关的东西，想找的小物件混在杂物堆里，翻半天也翻不出来。30秒恰好是那个“装得下一件完整商品、又不会塞进太多杂物”的尺寸。换成5秒一块，一句话很可能被切断在两块之间，检索时两边都对不上；换成5分钟一块，一个关键细节可能只占这5分钟里的3秒钟，检索系统很难精确定位。

题目怎么变难：两段视频拼成一道题

只把索引做出来还远远不够。真正的难处是：一道题怎样才能做到非“看视频”不可，光读文字记录根本蒙不出来。

整个流程分两步走：第一步出题、写标准答案，第二步造错误答案当干扰项。

第一步的手法挺巧。系统从同一领域里挑两段相似度落在0.40到0.90之间的视频片段——太像了内容重复，太不像又凑不到一块儿出题。挑完让Gemini-3-Flash把两段视频连音频一起看完，产出一道问题、一份标准答案，外加验证用的元数据。

这道题有个怪脾气：关键人物或物体从不直接点名，只拿画面里的周边环境来指代。比如不说“波特兰的白鹿标志”，而说“位于车流密集街道之间、屋顶结构上方的发光符号”。想弄明白题目在问什么，你得先在视频里把那个场景找出来。

标准答案是一段3到5段的长文本，每句话都标了对应的视频出处，精确到具体片段的时间戳。这些引用拼起来，就是这道题的“证据地图”。

题出完，系统不会直接认定它合格，还得连过三道验证关卡。

头一道是结构校验，纯规则检查：答案至少三段，引用要覆盖两段视频里各2到15个块，证据既不能太薄，也不能散得太开。

第二道是必要性检验，也是关键所在。系统安排两个测试：先让另一个模型只看打乱顺序的文字记录去答题，答对了就说明这题不用看视频，直接判不合格；再让模型完全凭“记忆”作答，不给任何输入，要是靠世界常识就能蒙对，同样出局。

第三道反过来查：视频里到底有没有足够信息撑住这个答案，叫视频充分性检验，由第三个不同家族的模型来核实。

每一关的验证者，都特意从和出题者不同的模型家族里选。图的就是避开“自我偏好偏差”——不能同一个模型自己出题、自己判卷，还刚好都觉得自己对。

模型容易高看自己或同家族模型的产出，判定质量时会带偏向，验证结论也就不可靠。要避开这一点，生成方和验证方得选用不同家族的模型。

哪一关拒绝了一道题，拒绝理由会原样送回生成器，让它带着“上次错在哪”的信息重出一遍。这个反馈循环能自我纠错，不用人来判断“该重做哪块”。每道题最多重试6次，过了次数就放弃这对片段，换下一对。

造出“看不见的错误”：视觉干扰项是怎么来的

正确答案有了，第二步就是造几个“看着挺像对的”错误答案，难度一级一级往上加。

做法是让Gemini-3-Flash再看一遍同样两段视频，照着标准答案改写出四个版本，分别打4分、3分、2分、1分，标准答案本身是5分。改写规矩很死：只准动画面里看得见、文字记录里绝对提不到的细节，颜色、空间布局、手势、道具、屏幕上的文字图案都算。语气、结构、长度必须和标准答案一致。

这么设计图什么？就是逼裁判模型老老实实“看”视频，没法靠读文字投机。

打个比方。你想考一个人是不是真去过某家博物馆，而不是靠导览手册背下来的。问“这幅画叫什么”，手册上写着，死记硬背就能过。可要是问“画左下角那只小狗的项圈是什么颜色”，手册压根不提，只有真站在画前看过的人才答得出。少了这类“只有画面才知道”的干扰项，裁判模型读读文字记录就能混过去，这场考试等于白考，根本测不出它有没有真看懂视频。

干扰项造好，同样要过一道验证，叫“可探测性检验”。逻辑是倒过来的：错误要做到“文字看不出来，视频里看得出来”。检验分两项：

文字不可探测性检验。让两个只看文字、不看视频的裁判分别给标准答案和四个干扰项排序。要是两个裁判靠文字就能把顺序排对，说明这批干扰项做得太浅，直接不合格。

视觉可探测性检验。让另一个模型看视频排序，只有它精准复现出“标准答案>4分>3分>2分>1分”这个预设顺序，这批干扰项才算过关。

最后还有一道独立的“难度关卡”：拿两个相对弱的模型（Qwen3-VL-30B-A3B和InternVL3.5-8B）去做题，只留下至少有一个模型答错的题。目的是筛掉那些“随便一个普通模型都能轻松秒杀”的简单题，让最终题库真有难度梯度。

走完这一整套，生成的题库叫PLAYLISTBENCH，共630对偏好对，横跨七个领域，每个领域90对。

成本与可靠性：一道题一美元，靠得住吗

这套全自动流程听着挺复杂，实际花销却低得出人意料。

这套题库总共花了352美元建起来，摊到每道通过验证的题目上大约是1美元，失败重试的开销也算在里面。能做到这么便宜，靠的是把便宜的纯文字检查摆到最前面筛一遍，真正过了初筛的题目才送进最贵的视频模型验证环节，钱基本都花在需要视频理解能力的那一步上。

那这套自动生成的题库到底靠不靠谱？研究者找来人类标注员做对照。他们从题库里抽出152对偏好对，让标注员判断哪个答案更好。人类标注和自动流程预设的正确答案一致率到了93.0%，标注员之间的一致性用Krippendorff's alpha衡量是0.781，这个数字相当高，说明人看这些题目时判断是稳的。

人工验证这152对题目，每对成本约4.7美元；自动流程验证每对只要0.5美元左右，便宜了将近8倍。这个对比也说明人工标注为什么铺不到这个视频时长规模——不是不想做，是真做不起。

裁判考试成绩单：最强的也才75.4%

题库备好，就该各路AI裁判上场了。研究团队测了17个视频语言模型，来自8个模型家族，Gemini系列、GPT系列、Qwen系列、Kimi、Gemma都在其中，还有几个专门为视频评判任务微调过的模型。

成绩不太好看。最好的是Gemini-3.7-Flash，在有检索辅助时配对准确率75.4%。单看还行，可人类那边一致率是93.0%，一对比差了足足17.6个百分点。

其他主流商用模型也没好到哪去：Qwen-3.8-Max为73.9%，GPT-5.6-Terra为72.5%，Kimi-K2.6为71.4%，Gemini-3.5-Flash-Lite只有59.5%。

更意外的是那些专为短视频训练出来的"裁判专用模型"，比如InternLM-XComposer-2.5-Reward和VideoJudge系列，成绩只有47.8%到52.7%，差不多等于随机瞎猜（基准线50%）。这些模型明明是为视频评判任务微调过的，本该更强，结果反倒不如通用模型。

原因在哪？这些裁判模型的训练素材大多是短视频，它们没学过怎么在几十个小时的素材里"找证据"。好比一个只在小区里练过车的司机，考题突然换成跑长途高速，他连该在哪个出口下高速都判断不了，更别提安全驾驶。领域没变，难的维度变了，原来攒下的经验直接失效。

给裁判"配眼镜"：检索能帮上多大忙

裁判模型没法一口气看完100小时视频，那证据怎么喂给它？

论文比了两种做法。一种是"检索式"，用专门的检索模型在整条视频库里按问题内容找最相关片段，取排名前64的块喂给裁判；另一种是"均匀采样"，不管问题问什么，直接在领域视频里平均取样。

结果很明确：给有针对性的检索证据，比盲目均匀采样强得多。Gemma-4-26B-A4B用检索证据比均匀采样准确率提升10.5个百分点，最强的Gemini-3.7-Flash也有4.4个百分点的提升。

例外出在那些专为视频评判微调过的裁判模型身上——给它们检索证据几乎没效果，甚至略有下降。可见"喂对证据"只是必要条件，不是充分条件，模型自己得有能力理解和运用这些证据；推理能力有短板，证据再好也白搭。

再往深看，视频集合越大，检索的价值越明显。研究者把检索范围从只有两段"oracle"证据（等于告诉模型答案就在这两段里），一步步扩到10小时、24小时，再到完整的约100小时，看裁判准确率怎么变。

结果显示，每个裁判模型都是在只有oracle两段证据时表现最好，搜索范围一扩大，准确率就一路往下走。用检索方式，Qwen-3.7-Flash从73.6%降到67.5%；换成不用检索的纯均匀采样，同一个模型掉得陡得多——Gemma-4-26B-A4B在均匀采样下从oracle到完整领域掉了13.7个百分点，用检索只掉3.2个百分点。

可以设想这么个场景：你要在一本100页的书里找一句话，有人直接告诉你"答案在第43页第三段"，你几乎不用什么检索本事就能秒找到；可要是只告诉你"答案在这本书里某个地方"，又没有目录和索引，你翻书的效率会随着页数增加急剧下滑。检索系统就像给这本书装了目录，它保证不了你翻到那一页就能读懂内容，但至少能大大缩短找页的时间。不做检索、只靠均匀撒网随便翻几页，书越厚，你找到关键那句话的概率就越低。

不过还有个残酷的现实：即便有检索帮忙，表现最好的检索器命中率也只有37.9%（Hit@10指标，要求两个关键证据片段都出现在检索结果前10名里）。也就是说，超过六成的情况下检索系统根本没把正确证据片段找出来，裁判模型再聪明也无力回天。

画面和文字，谁也不能少

另一个有意思的发现跟输入模态有关。这套题目设计时就打算让决定性证据藏在画面细节里，周边背景信息交给旁白文字承载。那如果只给裁判文字，或者只给画面，会怎样？

实验证明两种单一模态都不够用。去掉画面帧或去掉文字记录，裁判准确率会掉2到7个百分点，去掉哪一个都会损失表现。这正好印证了题目设计的初衷：证据分布在两种模态里，缺一不可。

还有个细节：用文字空间做检索，效果比用音频空间更好。这听着有点反直觉，视频里明明有声音信息，文字怎么反而更管用？原因是研究者特意排除了只能靠听觉判断的问题（比如音乐、语气这类纯听觉属性），所以在那个特定设定下，文字承载的信息密度确实更高，检索效果自然更好。

烧脑思考多久才够：推理预算的边际效应

研究团队还给模型加过“思考时间”，看能不能救回来。开推理确实管用，Gemini-3.5-Flash-Lite从不推理切到适度推理，准确率由51.7%升到59.5%，多了7.8个百分点。可再往上加预算，从低档拉到高档，输出token翻了五倍多，准确率只多了0.5个百分点。

换句话说，想一想是有用的，但一味往上堆算力并不会自动把问题解决掉。卡脖子的地方不在“想得深不深”，而在“看得全不全”。

图像分辨率的测试也印证了这一点。研究者把裁判每帧收到的画面从低清换成高清，准确率最多只动了1.3个百分点，API调用成本却翻了一倍多。可见真正起限制作用的不是“细节够不够清楚”，而是“有没有恰好逮住那个瞬间”。

四种翻车方式：错误案例长什么样

团队另外抽了100个案例做人工复核，把裁判模型判错的原因归成四类。

占比最高的一类是检索错误，大约61%。真正的证据片段根本没被检索系统捞出来，自然传不到裁判模型眼前。整个流程里，这是最大的失败来源。

第二类是采样错误，约15%。检索系统其实找对了那个30秒的块，可从这个块里抽出来的画面帧偏偏没落在关键瞬间上，证据“在场”，却没“露面”。

第三类是推理错误，约16%。证据已经摆到裁判模型面前了，模型却被干扰信息带偏，没认出真正的关键线索。

第四类是感知错误，约6%。关键画面清清楚楚，裁判模型还是看错了，比如手写字认错，或者把某个角色的特征判断错。

这四类错误的占比一摆出来，短板在哪儿就很直观了。绝大多数失败出在“证据找不找得到”这一环，而不是“模型理解、推理得够不够”。照这个意思，想让视频裁判变强，突破口不在于把模型练得更聪明，而在于让检索系统找得更准。

这让我想起平时找东西。在一个乱糟糟的抽屉里翻，时间大半耗在“翻”上，东西真拿到手，判断它是不是你要的，一眼就够了。抽屉要是收拾得井井有条，翻找省下大把时间，拿到之后的判断反倒不费什么劲。眼下视频裁判模型的困境，更像是“抽屉太乱”，而不是“眼睛不好使”。

写在后面

论文里有个细节我印象很深：那些专门为视频评判任务训出来的模型，到了长视频场景反而比不上通用大模型，甚至掉到随机水平以下。这个结果推翻了我原本以为很自然的假设——专业化训练总比通用训练更贴合特定任务。可专业化训练的前提，是训练素材和测试场景对得上；场景一旦发生量级上的跃迁（从几分钟到上百小时），原先攒下的专业能力可能整个失效，甚至成了负担，因为模型习惯了“整段看完”，反倒不擅长“主动搜寻”。

另一个细节值得单独拎出来说：论文里那道关于波特兰白鹿标志和塔科马钟楼的例子。检索系统换成更大的搜索空间之后，一段讲荷兰鹿特丹市场大厅的旁白，仅因为文字上和“钟楼”这个概念相近，就把真正的塔科马钟楼线索挤到了后头，连GPT-5.6-Terra这么强的模型都被带偏，做出了错误判断。这个案例露出一个挺微妙的风险：检索系统并不是单纯地“找相关内容”，它可能被表面的语义相似性骗过去，而这种欺骗恰恰发生在检索范围扩大、干扰项变多的时候。照此看，视频集合越大，不只是“找到证据”更难，连“别被错误证据带跑”这件事本身也变得更难。

论文还提到一个现象，让人想到人考试作弊时的心理。较弱的裁判模型，在把两个答案的位置调换之后，大约一半的判断会跟着位置一起翻转，说明它们更多是靠“哪个位置的答案看着更顺眼”这类表面线索下判断，而不是真按内容来。强的裁判模型调换位置后判断基本不变。这种“位置偏见”，有点像学生做选择题时没读懂题，只凭“选项一般放B容易对”这种经验规律去蒙。

论文留下一个开放问题：既然检索本身就是瓶颈，未来是不是该往“让模型自己去主动探索视频”这个方向走，而不是被动依赖一个外部检索器？论文里也简单试了让模型自主调用工具搜证据，结果只比固定检索方式好一点点，离人类水平差得还远。看来光换一种“找证据”的方式，恐怕还不足以解决根本问题。真正的答案长什么样，现在还没人知道。

Q&A

Q1：PLAYLISTEVAL是什么?

PLAYLISTEVAL 由 KAIST 研究团队提出，是一套全自动框架，用来检验视频语言模型在时长超过 100 小时的超长视频集合中能否准确充当“裁判”，判断两个答案中哪一个更好。测试题目的生成同样由它自动完成，无需任何人工标注，并且天然带有难度梯度。

Q2：现在最强的AI视频裁判模型准确率能达到多少?

A：表现最好的是Gemini-3.7-Flash，在有检索辅助的情况下配对准确率是75.4%，而人类标注员的一致率能达到93.0%，中间还有将近18个百分点的差距，说明这个能力还远远没有解决。

Q3：为什么专门为视频评判任务训练的模型反而表现不好?

这些专用裁判模型的训练素材多为短视频片段，因此它们从未学会在长达几十个小时的视频素材中主动检索并定位关键证据。一旦换到超长视频场景，“整段看完”的训练模式就彻底失效了，准确率甚至掉到随机猜测的水平。