视频事件预测VEP：Qwen3-VL-30B准确率仅66.86%，AI为何总猜错

刷到过那种做饭视频吧。镜头拍到一半，面包片上黄油涂了一半，刀还撂在上面。换成你被问一句接下来会怎样，多半想都不想：把剩下那半片抹完不就完了，这有什么好猜的。

可要是把同样的问题丢给一个AI模型，它给出的答案很可能是：面包该进烤箱了。

这可不是编的段子，一篇最新论文里就白纸黑字记着这个案例。研究者发现，如今的多模态大语言模型看视频、讲内容已经挺在行，一段视频里发生过什么能说得头头是道。但你一追问"接下来会怎样"，它常常就掉链子——要么胡诌一件早就发生完的事，要么被选项里的文字牵着鼻子走，视频压根没看，凭感觉就挑了一个。

论文作者来自南开大学、卡内基梅隆大学、小红书等多家机构。他们给这类任务起了个名字：视频事件预测，英文缩写VEP。

**视频事件预测（VEP）**：把一段尚未播放完的视频交给 AI，要求它从若干候选里选出"接下来最可能发生的事"——这可比只描述视频中已经出现的内容难多了。

听着像没什么难度，不就是做选择题嘛。可这里面埋的坑不浅，得慢慢掰开说。

为什么AI连这道选择题都做不好

先看大环境。Qwen3-VL这类模型在视频对话、时间定位等任务上已经表现不俗，参数量从几B到几十B都有覆盖。照理说，看懂一段视频、推断后面会发生什么，对它们不该是难事。可论文给出的数字并不好看：在FutureBench评测集上，参数量30B的Qwen3-VL-30B-A3B平均准确率只有66.86%；体量更小的Qwen3-VL-4B更低，仅59.09%。换句话说，这些模型每预测3次就有一次猜错。换到更贴近真实场景的NEPBench测试集，表现最好的Qwen2.5-VL-72B平均准确率也只拿到47.50%——这还是一个720亿参数的大模型。

毛病究竟出在哪儿？论文点出了三个很具体的病灶。

头一个叫因果逻辑鸿沟。模型拿手的是"复盘"，把已经发生的事串成一个故事讲出来。可从"已发生"推到"未发生"，中间隔着一层看不见的状态转变，得靠真正的因果推理去搭桥，光把过去的趋势往后顺延一下远远不够。

第二个叫语言先验捷径，藏得更深。模型有时根本没认真看视频，转而去比对问题文本和选项文本的用词相似度，哪个选项跟问题用词更接近就选哪个。这说白了是统计层面的偷懒，代价是预测结果和视频里实际的状态完全对不上。

第三个叫视觉证据缺失。真实视频里遮挡、快速运动、采样帧不够密都是常事，关键的状态变化信息可能正好卡在两帧之间被漏掉。模型没法回头补拍，只能靠猜。

三个问题搅在一起，就是论文开篇那张图里的场面。给AI看一段厨房视频，问它"根据视频内容，判断接下来最可能发生的事"。基础版视觉语言模型看完视频，推理写的是"人物还在涂黄油，这个动作没结束，最合理的继续就是把剩下的面包片也涂上黄油"——可它选的答案却是"再拿两片面包出来涂黄油"。这个答案文字上跟视频描述贴得很近，实际上偏离了真正的视觉状态，因为视频里明明还有一片没涂完。

语言先验就是这样捣的鬼。模型的推理其实已经摸到门边了，知道涂黄油这事儿还没完，可临到选答案，还是被选项文字的表面相似度带跑了。

补一堂"因果推理"的课

研究者们的解法，先从训练数据下手，搭了一个叫futurebench-4K的数据集。

**futurebench-4K**：约 4000 条高质量思维链推理训练数据构成的一套数据集，它的用途是教模型如何从"已观察到的终止状态"一步步推出"未来事件"，而非对过去做简单总结。

数据是怎么来的？研究者先用Qwen3-VL-32B对训练视频做8次独立推理尝试，每次生成一条不同的因果推理路径。这8次里只要有一次命中正确答案，样本就算"可解"——说明正确答案能靠真实的视觉推理得到，而不是蒙对的。

接着，研究者拿Qwen-VL-Max当裁判模型，给生成的每条推理链打分审核。推理链里对观察状态的描述有事实错误、因果逻辑有明显漏洞，或者疑似靠文字相似度走捷径，这条数据就被淘汰。一轮筛下来，最终留下大约4000条高质量推理链用于监督微调，其余通过验证但没被选中的，则留作后续强化学习阶段的训练样本。

这套生成流程本身分三步。第一步，模型先判断视频最后一帧呈现的"终止观察状态"是什么，当前哪个动作还没做完。第二步，状态判断不清楚时，模型可以引入工具补证据，比如用状态追踪工具把已经发生的事件顺序重新梳理一遍。第三步，模型要填上"因果鸿沟"，推理这个未完成的动作会怎样演变成下一个物理上合理的状态，最后给出事件预测。

这套流程有点像让学生先学会写解题步骤，而不是直接背答案。

那要是直接让AI靠纯强化学习自己摸索这套因果推理逻辑呢？论文里提到，研究者确实先试过这条路，结果发现训练过程中模型调用工具的频率一路走低，越练越不爱用工具。原因在于，工具返回的视觉特征和模型预训练时见过的数据分布有差异，模型对这种输入"不熟"，时间一长就倾向于绕开它。所以研究者最终选择先用监督微调，把"先定位状态、再补证据、再推因果"这套行为模式教给模型，再上强化学习去打磨。

这就好比教小孩骑车。一上来就把孩子扔到车流复杂的马路上让他自己摸索，他多半会因为害怕全程不敢骑快，甚至干脆推着车走。可要是在空地上先把平衡感和刹车练熟，再放到复杂路况里，孩子才敢放手去骑，学到的技巧也用得上。监督微调就是那块"空地"，让模型先把因果推理和工具使用的基本动作练熟，再去面对强化学习这个更复杂、反馈更稀疏的训练环境。

给AI配一套"诊断工具箱"

只靠推理框架并不够。视觉证据缺失这种事，模型自己"想"不出来，它得真的能回头再看一遍视频，再放大看一眼细节。

研究者为此搭了一个诊断工具库，里面一共四件套。

**状态转换追踪器（State Transition Tracker）**：把视频里已经发生的事件顺序重新梳理一遍，将观察到的历史动作串成一条清楚的文字时间线，并明确标出最后的终止状态。

这个工具主要治的是动作顺序看混了。比如模型分不清手是先空着后拿起杯子，还是反过来，它就会重新分析一遍视频，把事件顺序捋清楚。

**聚焦证据检索器（Focused Evidence Retriever）**：针对一段指定的时间窗口做密集抽帧，把原本因为采样稀疏而被漏掉的瞬时动作找回来。

视频抽帧是有代价的。每秒只抽一两帧的话，那种一闪而过的动作，比如杯子刚好在两帧之间被放到桌上，就可能完全漏掉。这个工具就是在怀疑有关键动作被漏采的时间段里，重新做一次密集采样，拼成一张"联系表"式的多帧截图喂给模型。

**区域聚焦放大器（Region Focus Magnifier）**：把画面里关键的局部区域裁剪并放大，方便模型看清手和物体之间到底有没有接触这类细节。

**视觉细节提取器（Visual Detail Extractor）**：把视频最后几帧里容易被忽略的具体视觉事实，用文字明确描述出来，防止模型靠语言相似度走捷径。

模型并不会把四个工具同时开满，用不用、用哪个，由它自己判断。论文给出的做法分两步：第一步，模型先把视频和问题过一遍，得出一个初步判断；要是察觉某处状态转换看不清，就从工具库中挑出对应的工具。第二步，工具执行一次，返回结果并入推理上下文，模型再依据这些补充信息给出最终预测。

这种"按需调用"的思路，跟医生看诊有几分相似。医生不会上来就给每个病人开CT、验血、B超全套，而是先问诊、做初步判断，怀疑哪儿有问题才安排相应检查。回回都做全套，既费资源，无关信息太多还可能干扰诊断。论文的消融实验也印证了这点：强制模型每次都调用全部四个工具，平均准确率不升反降，从75.09%掉到74.91%，比完全不用工具还低一点，原因是硬塞进来的工具输出混有与真实因果线索无关的噪声，扰乱了模型判断。反过来，让模型自己动态决定调不调用，平均仅1.13次工具调用就拿到78.79%的准确率；随机调用工具则是平均1.85次、准确率76.99%，前者效果更好，调用次数也更少。

论文中有一个案例很能说明问题。一段做菜视频里，肉已下锅，与洋葱、调料混在一起，画面中有人正拿铲子搅拌。基础模型Qwen3-VL-4B给出的预测是"肉被加入锅中开始烹煮"——这是已经发生的事，属于典型的"把过去当未来"。配备状态转换追踪器的VepAgent则不同：它先调用工具理出一条时间线——肉被加入、和调料混合、人物进入画面开始搅拌，终止状态为"肉已经充分混合并正在搅拌中"。依据这个更准确的终止状态，模型推断烹饪仍在进行，最合理的下一步是肉彻底混合均匀、完成这一阶段的烹饪，这次它预测对了。

不能只靠"猜文字"及格，得靠"看证据"拿分

工具解决的是证据缺失问题，但语言先验这个毛病，还得靠训练阶段的奖励机制去纠正。

论文设计了一套组合奖励机制，核心思路是让模型意识到：光答对还不够，答对的方式也很重要。

奖励一共由四块构成。格式奖励是一道硬门槛：推理过程必须严格符合规定格式，思考标签和答案标签都合法才算通过，否则直接零分。准确率奖励则简单直接，预测对得1分，预测错得0分。

因果鸿沟奖励更有意思。它除了看最终答案对错，还要判断模型的推理过程有没有真正"搭桥"，也就是把模型描述的终止状态、推理过程与参考答案的因果转折做比对，看是否一致。这部分奖励还跟准确率绑定：答案本身错了，它也会被压低，免得模型靠编一段看着合理的推理来骗分。

**反先验奖励（Anti-Prior Reward）**：它的作用就是惩罚那种只凭文字表面相似度挑答案的做法，促使模型真正依据视频内容来判断。

这项奖励的算法颇为巧妙。研究者先借助句子嵌入技术，算出正确选项与问题文本之间的相似度排名。倘若正确答案正好是全部选项里跟问题文字最像的那个，说明模型即便靠猜文字相似度也能蒙对，此时反先验奖励给得很低。可要是正确答案在文字上最不像、最难以投机取巧选中，模型却照样选对了，那就说明它确实看懂了视频，这时反先验奖励会接近满分。

这个机制好比考试防作弊。一道选择题，如果正确答案恰好是选项中字数最多、用词最花哨的那个，靠"蒙感觉"的学生也可能蒙对，老师就没法借这道题判断学生是否真懂了知识点。反之，正确答案看着平平无奇，甚至被刻意设计得不那么显眼，谁选对了，谁才是真把题读懂了。反先验奖励加的正是"读懂视频才选对"的分，而非单纯奖励选对的结果。

总奖励由四项加权组合而成：准确率权重最高，占0.65；因果鸿沟奖励占0.20；反先验奖励占0.15；整体再乘以格式奖励这个开关。消融实验的结果是：只用准确率奖励，平均准确率74.62%；加上因果鸿沟奖励升到76.42%；加上反先验奖励为76.33%；三者全加则达到78.79%。单看每一项，增幅都不算夸张，叠加起来的效果却是实打实的。

数字说话：到底提升了多少

说了这么多设计思路，最终效果到底怎样？

在FutureBench评测集上，VepAgent只用了4B参数的小模型，平均准确率就达到81.44%。此前报告过的最强基线是Qwen3-VL-30B-A3B，参数量比它多出7倍有余，成绩却只有66.86%，两者相差14.58个百分点。再跟同为4B规模的原始Qwen3-VL-4B对照，原版仅59.09%，VepAgent把这一数字抬高了22.35个百分点。

到了NEPBench上，差距拉得更开。VepAgent的总体准确率为70.20%，而此前表现最好的Qwen2.5-VL-72B（720亿参数）只有47.50%，中间隔着22.70个百分点。拆开子任务看，Charades场景中VepAgent拿到83.46%，第二名GLM-4.1V-9B仅45.98%，后者差不多只有前者的一半；YouCook2场景中VepAgent的成绩是83.57%，排在后面的两个模型则同为64.48%。

这些数字说明的事情很直接：参数量小得多的模型，把体量大出许多倍的对手赢了下来。眼下“参数规模决定一切”的说法很流行，这组结果正好是个反例。

训练阶段做的消融实验，同样把每个设计决策的必要性摆了出来。零样本直接拿原始模型来用，平均准确率为59.09%；只加监督微调，升到71.59%；监督微调之外再叠加强化学习，进一步到75.09%；最后把工具增强也加上，达到78.79%。这条曲线是一级一级垒起来的，每一段提升都能找到明确的来源，并非靠某一个单点花招撑起。

工具各自的贡献也能单独拆出来看。拿掉状态转换追踪器之后，准确率由78.79%降至75.66%，下滑3.13个百分点，在四个工具中影响最大；拿掉聚焦证据检索器，降1.80个百分点；拿掉区域聚焦放大器，降0.48个百分点；拿掉视觉细节提取器，降1.33个百分点。若把时间维度的工具（状态追踪加证据检索）放在一起，能到77.84%；空间维度的工具（区域放大加细节提取）合起来是75.38%；两类工具全部到位才达到78.79%。可见它们之间是互补关系，谁也替代不了谁。

Q&A

Q1：VepAgent是什么？

A：VepAgent是一套面向视频事件预测任务的AI智能体框架。它把因果转换推理与工具增强强化学习结合起来，让模型在看完一段不完整的视频后，判断接下来最可能发生什么，而非把已经发生的内容复述一遍。

Q2：VepAgent相比普通大模型准确率提升了多少？

A：FutureBench测试集上，参数仅4B的VepAgent平均准确率为81.44%，比之前最强的30B参数基线模型高出14.58个百分点；换到NEPBench测试集，它比72B参数的基线模型高出22.70个百分点。

Q3：VepAgent用到了哪些诊断工具？

A：VepAgent一共配备四种工具：状态转换追踪器、聚焦证据检索器、区域聚焦放大器和视觉细节提取器。它们各自负责梳理事件先后顺序、补齐漏采的瞬时动作、放大局部细节、提取文字化的视觉事实，目的是把模型漏掉的视觉证据找回来。