AI视频字幕评测：一个分数掩盖了什么，腾讯混元团队给出新解法

给AI写一段视频，再让另一个AI模型为这段视频生成文字描述——你有没有试过这种操作？描述生成之后，又该怎么判断它写得好不好？

这个问题听着不难，真做起来却处处是坑。

2026年之前，大家基本都这么干：把AI生成的一整段文字描述，连同人工写的标准答案，一起丢给另一个大语言模型（比如GPT-4或者Gemini）当裁判，让它打个分。分数落在0到100之间，代表“这段描述写得好不好”。

可这个数字究竟说明了什么？

打个比方：你让阅卷老师批一篇作文，只提一个要求——给个总分。老师读完说：85分。你除了知道“还不错”，其余一概不清楚。哪里写得好、哪里有问题？人物描写准不准？情节有没有逻辑漏洞？时间线对不对？老师没讲，你也没法追问。

视频字幕评测眼下正卡在这个困境里，而且比作文批改复杂得多——画面、声音、人物身份、时间顺序几条线索搅在一块儿。

一个数字，糊弄过去的真相

腾讯混元团队的研究者发现，“一个分数打天下”的评测方式，正在悄悄掩盖AI模型的真实缺陷。

他们做了个挺有意思的实验：找两组模型，一组是明显升级过的新版本，一组是相对较弱的旧版本。按传统文本打分方法，两组得分几乎一样，差距不到10%，看上去进步不大。

换一套更精细的评测方法重新打分之后，画风完全变了：强模型的得分从53分飙升到70.6分，最终逼近人工审核的74.2分；弱模型却从47分暴跌到29.4分，远低于人工审核给出的25.8分。

同一批视频，同一批模型输出，只是换了个评测方式，结论就完全反转。

这说明什么？

传统的文本打分方式，本质上是在奖励“写得流畅”而不是“写得准确”。

一个模型只要句子通顺、用词丰富、语气自然，哪怕里面藏着好几个事实性错误，分数照样可能很高。这就像学生作文文采斐然、事实全错，老师可能因为文笔好多给几分。

这篇论文要解决的核心问题就在这儿：怎么把“写得好不好”拆成可以逐条核实的具体指标，而不是让AI裁判凭感觉打一个模糊的总分。

三种现有方法，各有各的坑

动手设计新方案之前，研究者先盘点了现有的三种主流评测思路，发现它们各自都有致命伤。

第一种是整体打分法（论文里叫Holistic Evaluation），也就是前面说的那种：把整段AI生成的文字和参考答案一起丢给裁判模型，让它给出一个总分。

好处是能覆盖视频的方方面面，内容不会漏掉；代价是所有细节被压缩成一个数字，局部错误——比如某个人物身份认错了、某个声音出现的时间不对——全都被平均掉了，根本看不出来。

第二种是探针问答法（Probe-Based Evaluation）。这种方法换了个思路，不整体打分，而是针对视频内容设计一系列具体问题，比如“视频里出现了几个人？”“背景音乐什么时候响起的？”让AI模型回答，再对比标准答案。

好处是能精确定位到某个具体细节，问题在于覆盖范围太窄。你不可能针对一段视频设计几百个问题，所以只能抽查几个点，大部分内容根本没被检验到。

所谓探针问答法，就是先设计一批具体的问答题目，再拿这些题目去考AI，看它对视频局部细节理解到什么程度；可题目数量就那么多，整段视频的信息没法全被覆盖到。

更麻烦的是，论文里还做了个测试：同样一道探针题目，换一个裁判模型来判断对错，结果可能完全不一样——一个裁判说“对”，另一个裁判说“错”。可见探针问答法不仅覆盖窄，连判断本身都不稳定。

第三种是解析打分法（Parse-then-Score）：先把AI写的自由文本解析成结构化的脚本条目，再逐条打分。这种方法试图在“整体”和“局部”之间找平衡，可解析这一步本身就容易出错，相当于先让一个AI把另一个AI的作文拆成知识点，拆错了，后面全错。

三种路子各有各的毛病：想覆盖全就丢细节，想抠细节就盖不全，再不然就被解析那一步的不稳定拖下水。论文开篇提到的“耦合权衡”说的就是这个——评测单元切多细，和评分算子靠不靠得住，这两头没法一起顾上。

**换条路：先让AI交“结构”，再谈“内容”**

研究团队的办法初听有点反直觉：既然毛病出在“自由文本”这个载体上，那就不让AI模型写自由文本了。

他们搭了一套叫OmniCapBench的评测体系。核心思路是：AI模型不用再写一段通顺的描述文字，而是直接吐出一个结构化的JSON数据，里面明明白白分成三条轨道。

头一条叫“参考轨道”（References），视频里出现的人物、物体、场景都记在里面，每样给一个唯一的身份编号。第二条是“事件轨道”（Events），所有声音事件和对话都收进来，起止时间标到精确。第三条叫“镜头轨道”（Shots），把视频按镜头切开，再把前两条轨道的内容以链接方式挂到对应的镜头片段上。

这套设计，跟公司内部的财务审计系统很像。

可以设想一下：一家公司的财务记录要是只有一篇流水账，“这个月收了一笔钱，花了一些钱，大概还剩多少”，审计师根本无从核实。换成标准的会计分录就不一样了——每笔收入挂一个凭证号，每笔支出对应一个成本中心，审计师能逐条对，哪里对不上，一眼就看得出来。不这么结构化记账，审计就只能停在“大概看着没问题”，细节里藏的猫腻永远发现不了。

OmniCapBench干的事说到底是一回事：把AI模型的视频理解结果，从“流水账式的描述”变成“可审计的结构化记录”。

**结构有了，打分就能拆开算**

结构化数据只是前提，真正要紧的是拿这些结构怎么打分。

评分流程被研究团队切成两个阶段。第一阶段全交给确定性规则，不掺任何AI判断。规则查的是：预测的人物编号在不在、时间区间合不合逻辑（开始时间不能晚于结束时间）、声音事件挂的镜头在时间上是否真的重叠。这些都能用代码直接算，没有模糊地带。

只有过了这轮硬性检查、又和标准答案成功匹配上的内容单元，才会进第二阶段，由AI裁判做语义层面的判断——比如“这个人物穿着描述得对不对”“这段声音的描述准不准”。

这么设计的关键在于：AI裁判此时只比对两个已经对齐的小片段，整段视频的时间线和人物关系不用它再操心，那些复杂的结构性活儿规则已经干完了。

**这就像餐厅后厨的分工。**

一个厨师要是又管采购食材、又管验新鲜、又管切配、又管炒菜、又管摆盘，出错的概率会很高，注意力被拆得太散。换成流水线就不同了：先有专人验货（对应规则校验），食材确认没问题再交给厨师炒（对应AI语义判断），厨师只管把菜炒好，食材本身有没有问题不用他操心。每个环节只处理一类问题，出错率自然大幅下降。

论文专门做了实验，看这个设计是不是真把稳定性提上去了。他们找来三个能力不同的AI模型当裁判——弱模型、中等模型、强模型，评同一批内容。

传统整体打分法下，同样的结果，弱裁判给71.24分，中等裁判给83.08分，强裁判给93.92分，分差超过22分。换成探针问答法，分数也在53到61之间来回摆。改用OmniCapBench这套拆分打分法后，三个裁判的分数稳在56到58分之间，几乎不波动。

这说明什么？把AI裁判的权限死死摁在小范围语义比对上，不让它做复杂的全局推理，打分结果反倒更可信了。

**双向打分：既不许瞎编，也不许啥都不说**

这套体系里还有个细节叫“双向评估”（Bidirectional Evaluation），值得说一说。

为什么要有它？因为开放式的视频描述压根不存在唯一正确答案。

同一个连续动作，一个模型可能拆成三个细碎的子镜头，另一个模型一句话就概括了。两种写法都可能是对的，区别只在详略。

只从“预测结果有没有覆盖标准答案”这个角度打分（也就是只算召回率），模型就有动机故意写得又长又啰嗦，能想到的细节全堆上去，覆盖率肯定高，代价是掺进大量编造内容。反过来，只从“标准答案有没有支持预测结果”这个角度打分（也就是只算精确率），模型又会学乖，写得又短又空，尽量说些放之四海而皆准的话，不容易说错，可信息量极低。

**精确率**：衡量AI给出的内容里有多少是真实准确的，惩罚瞎编乱造。

召回率衡量的是标准答案中的信息有多少被AI覆盖到，该说却没说的会被扣分。

OmniCapBench的算法是从两个方向分别打分，再取调和平均（F1分数）。这样一来，模型堆细节骗高分行不通，含糊其辞蒙混过关也不行。

说白了，考试时既得把该写的都写到，也就是覆盖标准答案，又得保证写出来的内容不瞎编，能被标准答案支持。两头都卡死，模型的真实水平才藏不住。

**数据集长什么样**

方法论讲了不少，这套评测背后的数据集到底多大？

研究团队一共整理了786段视频，总时长12.8小时，覆盖20个一级类别、125个二级子类别。标注内容包括5818个参考实体（人物、物体、场景）、6537个声音事件和11419个视觉镜头。

视频来源卡得很严：有声音、时长合适、密度达标，几个条件得同时满足。目的是让每段素材都有足够丰富的音画信息可挖，而不是只有一两个简单画面的那种。

数据集的搭建过程分三个阶段。第一阶段筛候选视频，从开源数据集和公开媒体平台里挑出符合条件的内容。第二阶段把多个AI模型串成一条生产线：一个模型出初稿，一个模型核对准确性，还有一个专门做局部润色，润色时严格禁止改动已经验证过的时间戳、身份编号这类结构性信息，最后由一个“选择器”模型挑出质量最高的版本。第三阶段是人工质检，受过专门训练的标注员逐项审核结构完整性、时间精度和语义丰富度，发现问题的打回去重做，反复迭代到达标为止。

这套流程有点像食品生产线的多重质检：原料进厂先筛一道，加工途中有人盯着，出厂前还得抽检。哪个环节放了水，整批数据的可信度都要打折。

**揭开AI模型的真实短板**

评测体系建好后，研究团队拉来当前最前沿的几个多模态大模型做了一轮全面测试，包括Gemini 3.1-Pro、Gemini 2.5-Pro、Qwen3.5-Omni系列等。结果挺耐人寻味。

先看视觉理解。单独识别一个人物或物体，前沿模型的表现相当不错。Gemini 2.5-Pro在一分钟以内的短视频上，人物识别的F1分数能到84.8%。

可一旦要求模型把同一个人物在不同镜头之间对应起来，也就是论文里说的“跨镜头身份一致性”（CCC），分数立刻雪崩。Gemini 2.5-Pro的CCC只有37.81%，开源模型更惨，普遍跌破12%。

这说明什么？模型能认出“这是个人”，但记不住“这是刚才那个人”。

好比一个人去逛超市，走到每个新货架前都能准确说出眼前摆的是什么，可一转身离开再回来，刚才在哪个货架看过什么已经全忘了。单次识别很强，缺的是跨时间、跨场景的记忆连贯性。

再看声音和跨模态理解。人物对话转写，模型普遍能到80%以上的准确率，表现不错。但要把声音事件精确对应到画面里的哪个镜头，也就是论文里的EVSA（事件-镜头关联），表现急转直下。Gemini 3.1-Pro的声音事件识别分数是63.32%，一旦要求把声音绑定到对应的视觉镜头，分数掉到51.46%。开源模型普遍不到20%。

Seed2.0是个更极端的例子。它对话转写表现最好，达到91.8%，但环境音效事件几乎完全没识别出来，声音事件召回率只有4.54%。

这些数据拼在一起，指向一个共同的结论：当前的多模态AI模型，“看懂一个画面”和“听懂一段声音”各自都不弱，可要把这两条线索真正绑定起来、形成统一的时空理解，普遍存在明显短板。模型还是把音频和视觉当成两条互不干涉的平行轨道在处理，而不是一张互相咬合的网。

**精确率和召回率的拉锯战**

论文里还有个挺有意思的发现，跟不同模型的“性格”差异有关。

Gemini 3.1-Pro描述人物主体时，精确率高达67.07%，召回率却只有43.78%。它偏保守，宁可少说也不乱说，尽量不犯错。

MiniCPM-o-2.6是另一个极端。描述场景时精确率能到76.32%，召回率只有20.39%。它说的基本都对，但说得实在太少，大量该提的细节被漏掉了。

精确率和召回率之间这种“跷跷板”现象，正是前面说的双向评估机制能捕捉到的东西。换成传统的整体打分法，这种性格差异会被完全掩盖，你只看到一个笼统的分数，根本分不清这个模型是“谨慎型”还是“疏漏型”。

**失败案例:眼见为实**

论文里举了个很直观的例子。一段割草机操作的视频，标准答案写的是画面中的人穿蓝白格子衬衫、蓝色牛仔裤、棕色工作靴。

而Qwen3.5-Omni-Plus的描述里，多出一句“他还戴着防护眼镜”。

可视频里的人压根没戴防护眼镜，这个细节是模型自己编的。换成传统的整体打分法，这句话读着挺顺，裁判模型很可能被整体流畅度带过去，给个不低的分数，编造的部分就这样混过去了。

OmniCapBench的拆分打分机制不一样。这条属性会被单独拎出来核对，只要标准答案里没有这个信息，精确率分数立刻被扣，错误藏不住。

论文因此反复强调：评测方式怎么设计，直接决定能不能发现AI模型的真实缺陷。只给总分的评测体系，说到底是在替模型的错误打掩护。

**这篇研究往后会走向哪里**

这套评测思路提出来之后，已经能看到它在推着整个领域往“结构化生成”靠。

论文提到，构建这套体系时他们参考并改进了早期的MTSS（Multi-Stream Scene Script，多流场景脚本）框架：原来较粗的镜头划分被拆成更细的子镜头，单点时间戳也换成了更精确的连续时间区间。这轮迭代本身说明，评测标准不是一次定型的，而是一点点打磨得更细。

另一个方向是论文专门做的“后处理解析”对照实验。他们让模型先写自由文本描述，再用单独的解析器把文字转成结构化数据，看效果如何。结果格式上的“工整度”确实上去了，比如镜头时间边界切得更干净，可所有依赖真实理解的指标反而全面下滑，跨镜头身份一致性、声音事件召回率都在内。Gemini 3.1-Pro的CCC分数从直接生成结构化数据时的34.43%，跌到解析后处理模式下的5.20%。

**这说明一个挺扎心的事实：格式上的整洁，没法替代真实的理解，文字里本来就没有的信息，再怎么后期加工也凭空造不出来。**

**写在后面**

把这篇论文读下来，真正让我停住的是那个检验模型稳不稳的小实验，倒不是那套精巧的三轨道结构设计：同一批结果交给三个水平不同的裁判打分，用老办法，分差能拉到22分；换成新方法，差距缩到不足2分。

这组对比说明了一件事：平常讲某个AI模型“得分很高”，这个分数恐怕有相当大一部分要看“打分的是谁”，跟“模型本身做得多好”关系没那么大。风险比想象中更大——换一个裁判，排名就可能翻过来，那依据排行榜做出的技术决策，可信度还剩多少？

还有个细节值得单独说。论文提到他们特意保留了“模型可以识别出真实存在但标注者没想到的事实”这种情况，不会因为这类“超纲正确答案”而扣分，只是记录下来留作分析。这个处理挺克制的，很多评测体系为了指标“干净”，会把这种边界情况简单粗暴地当成错误，这篇论文却选了更谨慎的态度，承认标注本身也有覆盖不到的盲区。

再往大处想：衡量一个AI究竟“懂不懂”视频，而不是只“会不会描述”视频，标准该怎么定？这道鸿沟，或许比论文已经揭示的还要深。

Q&A

Q1：OmniCapBench和传统的视频字幕评测方法有什么本质区别？

A：老一套做法要么拿一个整体分数或稀疏的问答探针来测，只给个笼统分数，局部错误被盖住；要么覆盖面太窄，大块内容直接漏掉。OmniCapBench的做法是让AI直接输出结构化的三条轨道——参考、镜头、事件，结构关系先交给确定性规则核验，AI裁判只负责局部语义判断，覆盖面和评分可靠性两头都顾上了。

Q2：OmniCapBench测试发现当前AI模型最大的短板是什么？

A：问题集中在三块。一是跨镜头的身份一致性差，同一个人在不同镜头里常被模型当成不同的人；二是声音事件与视觉画面的绑定能力弱，声音和画面模型往往能各自认出来，却连不到一起；三是精确率和召回率明显失衡，有的模型太保守，细节漏着不说，有的则爱编造不存在的内容。

Q3：为什么同一批AI生成的字幕，用不同裁判模型打分差距会很大？

A：老办法让AI裁判做没有约束的整体推理，解析文本、比对事实、综合打分全压在一起，不同裁判模型的推理习惯差异就被放大了。实验里，弱裁判和强裁判给同一批结果打分，能差出22分以上；OmniCapBench把裁判权限收窄到小范围语义比对之后，不同裁判之间的分差被压到不足2分。