南大京东等团队推出VideoJev：视频AI不再逐字生成答案

那种半天不回话的智能助手，你大概碰到过。问它一个跟视频有关的问题，它要先"思考"十几秒甚至几分钟，屏幕上逐行跳出文字，像在自言自语地推理，最后才给结论。接着问第二个问题，它又得从头想一遍，哪怕问的还是同一段视频。

做视频理解的AI系统里，这种情况很普遍。当下主流的视频大模型，不论回答"视频里几点发生了什么"，还是"刚才那个人拿的是什么"，都习惯用自回归生成的方式作答。

自回归生成：AI答题时一个字一个字往外蹦，每蹦一个字，都要把前面已经蹦出的字重读一遍，才能定下下一个字。

这种路子有毛病。让模型定位视频里"人物开始跑步"的具体时段，它得先出"从"，再出"12"，再出"秒"，再出"到"……一个时间戳往往要吐十几个token才拼得完整。视频若有一小时长，AI在吐字过程中还得不断回看此前所有画面，速度自然慢得让人失去耐心。更麻烦的是，大量视频应用场景并非"问完一个问题就收场"。设想一个陪你做饭的智能助手，它要不停确认放没放盐、打没打蛋、火候对不对，这些判断背后是对同一段视频的反反复复提问。每次提问都要把视频重新理解一遍，这助手恐怕一道菜做完都跟不上你的节奏。

这篇论文要解决的就是这件事。南京大学、京东、中科院、清华等机构的研究者联合提出了一个叫VideoJev的方案。听着简单，做起来牵涉不少巧妙设计，下面逐个看。

问题到底难在哪里，先得说清这个领域此前是什么处境。

视频理解任务主要分两类。第一类叫

时序定位

传统做法里，两类任务几乎走的是完全不同的技术路线。做时序定位的模型通常专门训练，只认识

论文给出的数据能说明问题有多严重。以Qwen3.5-4B这个基准模型为例，它在要么慢但准，要么快但不准，这就是两难。研究者想追问的是：能不能又快又准？

候选打分

VideoJev

设计上具体是怎么做的？模型先把整段视频编码成一串视觉token，把这串token放到输入最前面，后面依次跟任务说明、问题，再跟一串候选答案。

时序定位任务的候选答案是一堆时间戳：模型把整段视频按固定间隔切成许多小段，每段对应一对相邻帧，要判断的就是这一段是否属于问题描述的事件。视频问答任务的候选答案则是选项ABCD的文字，模型要判断哪个选项最贴合视频内容。

每个候选项后面跟一个特殊标记<|option_end|>，等于告诉模型"这个候选说完了"；整个候选列表末尾再加一个<|decide|>，意思是"该做决定了"。这两个标记不是随手加的，各自对应一个向量表示，分别叫

候选打分：不让AI生成文字答案，而是对每个可能答案（时间区间也好、选项文字也好）算一个分数，分数代表答案有多靠谱。时序定位用

有个细节。论文提到，他们去掉了语言模型输出头前面的最后一层

这让人想到买西瓜。摊主一个个介绍，这个甜不甜、那个熟不熟，你听完所有介绍才做决定，耗时又啰嗦；摊主也可以把瓜摆一排，每个挂块"甜度评分"的牌子，你扫一眼分数最高的直接拿走。

继续用"听介绍"的方式，等于让AI每次作答都把答案文字一个字一个字拼出来，像摊主用长篇大论描述每个瓜的甜度。"挂分数牌"则让AI只对列好的候选项做一次直接判断，不必拼凑文字，速度自然上来。代价是候选项必须事先列好，不能像自由问答那样随便发挥——牺牲开放式生成的灵活性，换来结构化决策的效率。

缓存推理

只把答案变成打分还不够。视频理解还有另一个特点：同一段视频，常常被反复提问。

针对这种场景，VideoJev设计了两套推理模式。

一套叫缓存推理。思路是视频只编码一次并存下来，之后每来一个新问题，都从这份缓存出发各自跑一遍模型的前向计算，彼此不干扰。说白了，最耗时的视频理解只做一次，后面每个新问题都"借用"这份结果，不必重新看一遍视频。

另一套叫联合推理。几个问题同时到达时，VideoJev把它们排在同一个视频前缀后面，一次前向计算走完，所有答案一起得出。由于语言模型本身是……把多个关于同一段视频的问题打包，一次前向就能算出全部答案，而不是一个问题跑一次。

两种模式的差别，有点像厨房备菜的两种做法。缓存推理好比厨师提前熬好一锅高汤，谁要做菜就舀一勺出去单独炒，互不耽误，可每道菜仍得单独开火。联合推理更像流水线：高汤熬好后，厨师把今晚要做的五道菜一次性下锅，同时出餐。若不用联合推理、坚持一道一道单独处理，那么即便高汤共享，每道菜单独过火的时间加起来，总归比流水线慢。实验数据也证实了这点：在Charades数据集上处理十个问题，VideoJev-4B用联合推理只需0.39秒，换成缓存推理要0.85秒，差了一倍还多。

更让人意外的是，联合推理不光快，质量还略好一些。论文的消融实验显示，14组模型与基准的对比里有13组联合推理得分高于缓存推理，比如4B模型的时序定位平均mIoU。mIoU全称平均交并比，衡量的是AI预测的时间区间与真实标注区间的重合程度，数值越高定位越准。

时序定位怎么学会"覆盖整个事件"

打分说起来容易，可时序定位有个特殊难点：一个事件往往横跨好几个候选区间，打中一个点不算完，得把整段都覆盖到。

VideoJev用两种互补的监督信号来训练这项能力。

一种是局部的成员关系判断，用的是……另一种是整体覆盖度的……

论文的消融实验显示，加上软IoU损失后，4B模型的时序定位平均mIoU从60.7升到65.3，提高4.6个点，三个基准测试全部变好。

这个设计思路让人想起找钥匙的经历。你若只按"这个地方有没有钥匙"逐个房间去问，哪怕每个房间都判断对了，最后拼出的"钥匙可能在的区域"也可能七零八落，一会儿这间屋、一会儿那间屋，中间漏掉走廊。可如果多一条规则——"找到的区域要尽量连成一片，别把不相关的房间也算进去"，拼出的范围就更贴合真实情况。软IoU损失起的就是这个作用：它不满足于"每个点判断准确"，还要求"整体拼起来像一个完整的事件"。

拿到候选区间的打分之后，VideoJev用了一种叫……

视频问答怎么避免"选项……

视频问答这边，VideoJev的训练方式比较直接：用交叉熵损失，让正确选项的概率尽量接近1。

不过这里有个容易忽略的陷阱。训练数据里正确答案若总出现在固定位置，比如老在A选项，模型很可能学会偷懒：不管问什么，先猜A。这种现象叫位置偏见——模型没真正理解问题内容，而是靠选项排列的规律性"蒙对"答案，这种能力放到真实场景里很脆弱。

为避开这个问题，VideoJev训练时对每道题的选项做了一次可复现、与答案无关的随机打乱，同时更新正确答案对应的索引。但题目本身若涉及"选项的位置"这类措辞，比如"前面提到的第二个选项是什么"，就保留原始顺序不打乱，免得打乱后题意前后矛盾。

这种处理其实很像出考试题的经验。负责任的出题老师不会把正确答案总放在C选项，因为学生很快会摸清规律，蒙题准确率飙升，真实水平却没提高。VideoJev做的就是这件事：打乱选项顺序，逼模型靠理解内容而非位置规律答题。不做这个打乱，模型在训练集上可能好看，可换到真实场景、正确答案位置随机时，这种虚假能力立刻露馅。

训练怎么分两步走

VideoJev沿用了多模态大模型里常见的“投影器对齐”做法。

整个训练分两步。第一步只动新加的打分头，语言模型主干和新增的标记嵌入都保持冻结，训练视频只取30%，让打分头先在一个稳定的特征空间里把基本判断能力学起来。

第二步才轮到语言模型主干参与训练，它和打分头一起在剩下的70%视频上继续优化，时序定位任务这时也加上了软IoU损失。

论文的消融实验拿两阶段训练和一次性单阶段训练做了对比，后者直接用全部数据训练。结果显示两者整体表现其实差不多：单阶段训练在时序定位平均mIoU上高0.1个点，问答平均分高0.4个点，差异主要来自MLVU这个基准。不过两阶段训练胜在成本更低——只有70%的视频需要更新整个语言模型主干，另外30%用只训练打分头的便宜方式就处理掉了。

这个取舍有点像装修前先出效果图。没人会一上来就砸墙改水电，总要先出一版设计草图，跟业主确认大方向没问题，再投入真正昂贵的施工。两阶段训练的第一步冻结主干、只训打分头，做的就是这种“低成本草图确认”；等打分头摸清基本规则，再放开主干一起精调，无谓的返工就少了很多。

实验结果如何

论文测试了三个时序定位基准（Charades-STA、ActivityNet Captions、QVHighlights的精修版标注）和四个视频问答基准（LVBench、Video-MME、LongVideoBench、MLVU），覆盖4B密集模型和35B-A3B

混合专家模型是一种神经网络架构，里面包含多个“专家”子网络，运算时只让其中一小部分参与激活，因此参数规模可以做得很大，真正消耗的算力却不高。35B-A3B 指的就是总参数为 35B（350亿），而每次实际激活的参数仅在 3B（30亿）上下。

时序定位上，VideoJev-4B在三个基准上的平均mIoU为65.3，比基座模型Qwen3.5-4B的58.6高出6.7个点，也比此前专门做时序定位的TimeLens2-4B（62.0）高出3.3个点。更关键的是，在最严格的

35B-A3B版本的成绩更好看，平均mIoU达到67.7，比基座模型Qwen3.6-35B-A3B的56.9高出整整10.8个点。和4B版本相比，规模放大换来2.4个点的提升，推理延迟只多了22%，这笔账相当划算。

速度上，VideoJev-4B跑完整个Charades测试集（1313个视频、3363个问题），平均每个查询耗时0.276秒，基座模型Qwen3.5-4B要0.763秒，前者快了2.8倍。35B-A3B版本更快，0.336秒对基座模型的1.054秒，快了3.1倍。

视频问答方面，VideoJev-4B在四个基准上的平均分是74.3，比Instruct模式的基座模型（66.3）高8.0个点；和开启深度思考的Thinking模式基座模型（74.9）只差0.6个点，但速度快了129倍，从144.9秒压到1.123秒。35B-A3B版本再进一步，平均分79.5，反超了基座模型Thinking模式的78.8，速度还快出100倍以上。

下表汇总了几组最核心的对比，每个指标下的最佳表现用加粗标出：

| 模型 | 规模 | 时序定位平均mIoU | 问答平均分 | 问答推理延迟 |

|---|---|---|---|---|

| Qwen3.5-4B Instruct | 4B | 58.6 | 66.3 | 1.355秒 |

| Qwen3.5-4B Thinking | 4B | -- | 74.9 | 144.929秒 |

| **VideoJev-4B** | 4B | **65.3** | **74.3** | **1.123秒** |

| Qwen3.6-35B-A3B Instruct | 35B-A3B | 56.9 | 73.8 | 2.379秒 |

| Qwen3.6-35B-A3B Thinking | 35B-A3B | -- | 78.8 | 149.777秒 |

| **VideoJev-35B-A3B** | 35B-A3B | **67.7** | **79.5** | **1.493秒** |

有人可能会问：这些提升是不是只因为训练数据更好？研究者为此做了对照实验：用完全相同的训练数据训练一个普通自回归版Qwen3.5-4B，让它照旧以生成文字的方式输出时间区间或选项字母。结果VideoJev在时序定位和问答上依然分别领先1.3个点和1.9个点。可见打分这套架构本身就带来了额外收益，并非单纯堆数据堆出来的。

置信度是否可信

模型输出的是概率分数，那么一个自然的问题就来了：这个概率能不能真实反映模型答对的把握？

论文对校准情况做了分析，置信度与准确率大体呈正相关。以LVBench为例，35B-A3B模型面对591道置信度超过99%的题目，实际准确率有95.8%，而全部题目的平均准确率是73.4%。高置信度对应更高的可靠性，论文认为这个信号以后或许能用来判断何时直接采信模型、何时转交给更复杂的推理流程。

不过论文也直言一处短板：VideoJev给出的概率整体上会高估自己的正确率。用期望校准误差（ECE，数值越小越准）来量，4B和35B-A3B模型在四个基准上的平均ECE分别为8.65和8.13个百分点。也就是说，模型声称自己有90%把握时，真正答对的概率可能只有80%出头。论文提到，OpenAI推出的Jev系统曾专门用强化学习优化校准，VideoJev目前没有做这类针对性训练，这块留给了后续改进。

放到更大的脉络里看，这件事意味着什么？

VideoJev代表的这条路线，叫"用打分代替生成"。该思路最早由TypeSafe AI公司提出。

论文结尾给出一个值得细想的展望：将来更上层的"系统二"式智能体，可以把开放式目标拆成一个个具体的视觉检查项——"现在有没有放盐"、"这个物体是不是已经移动了"——再交给VideoJev这类系统一模型逐项打分判断。系统二管规划和决策，系统一负责对接视觉证据、快速给出判断。这种搭配有点像项目经理配质检员：项目经理定下一步做什么，质检员快速核对每个环节是否达标，不必每次核对都重新开一场长会。

Q&A

Q1：VideoJev是什么？

A：它是一组视频理解AI模型，核心做法是不生成文字，而是用打分来回答视频相关问题。时序定位（找出事件发生的时间段）和多选视频问答它都能做，推理速度比传统生成式模型快数十倍乃至上百倍。

Q2：和普通视频大模型比，VideoJev强在哪？

A：三个时序定位基准上，它平均提升6.7到10.8个mIoU点，推理速度快2.8到3.1倍；四个视频问答基准上，效果接近深度推理模式，速度却快100倍以上。原因在于它直接给候选答案打分，不用一个字一个字地生成文本。

Q3：同一段视频被反复提问，VideoJev怎么处理？

A：它有两种模式，缓存推理和联合推理。视频只编码一次，后面的问题复用这份计算结果；联合推理则把多个问题打包进一次前向计算，同时得出答案，重复计算的开销因此大幅下降。