视频模型为何要向更少的帧学习：SAVER用稠密训练换稀疏推理

不妨先想个问题：只给你十张照片，让你推断一部两小时的电影讲了什么，细节多半会猜错，剧情走向却大致能对上。那要是只给四张呢？两张呢？

视频语言模型眼下碰到的，恰是这么个越走越极端的情形。

这篇论文讲了个乍听有点反直觉的发现。这几年视频理解模型几乎都朝一个方向使劲：多看。多采几帧，模型看得更清楚，判断也更准。这直觉没毛病，好比看一部电影，看得越细，理解自然越透。

可“多看”的账单一算下来，贵得吓人。

一段视频若密集采样，意味着几十帧乃至上百帧画面要一股脑塞进模型。这可不只是“多算一点”，而是视觉token数量爆炸式增长，显存占用猛涨，推理延迟拉长。对手机助手、机器人、监控系统、直播流分析这类得实时响应的场景来说，这样的代价承受不起。总不能让一个监控摄像头为了判断“有没有人闯入”，先攒够两百帧画面再开始思考。

于是新问题冒了出来：帧数必须省着用的话，模型还能不能靠得住地推理？

论文作者没再去做一个“更聪明的选帧算法”，而是换了个问法：能不能让模型自己在训练阶段就学会，怎么把手里仅有的几帧用好？

稀疏观测到底有多难

先说这事究竟难在哪。

论文给了一组很扎实的数字。以Qwen3.5这个模型家族做实验，在时序定位任务（即判断某个事件发生在视频的哪个时间区间）上，采样帧率从2.0 fps降到0.1 fps，2B参数的模型平均mIoU（衡量定位准确度的指标，数值越高说明预测区间和真实区间重合越多）从34.9%直接掉到18.4%。

这是什么概念？

几乎腰斩。

时序定位

给模型一句描述，让它到视频里定位这件事从哪一秒开始、到哪一秒结束，比如“这个人什么时候开始倒橙汁”，它得答出类似7.5秒到13秒的区间。

帧数一少，定位准确率为啥崩得这么快？因为事件的边界信息本来就藏在连续帧的变化里。只给模型看头尾两张截图，它哪知道中间哪一秒发生了转折？这就像问一个只看过电影开头和结尾两帧画面的人，男主角到底哪一分钟开始哭，他只能瞎猜个大概范围，而且往往猜得特别宽，因为手里根本没有足够线索去收窄答案。不是模型笨，是信息本身就不够用。

更麻烦的是，稀疏采样不光让模型“猜得更模糊”，还可能让它彻底错过关键事件，或者被一些无关的静态画面带偏。比如恰好采到的那一帧里人物静止不动，模型就可能误判这段时间什么都没发生。

那稠密采样是不是就全解决了？也不是。稠密输入会带进大量冗余，计算成本随帧数涨得很快，况且很多应用场景压根负担不起这笔开销。

所以真正的矛盾不在“该选稀疏还是稠密”，而在于：能不能让模型在稀疏条件下，依然保住那些真正要紧的时序证据？

论文给出的答案，叫SAVER。

核心思路：用稠密的“排练”换稀疏的“正式演出”

SAVER

全称是论文提出的一种“稠密到稀疏”后训练框架，核心目标是让模型在推理时只用稀疏帧，但表现得像是看过更多帧一样。

SAVER的设计思路，其实拿一个场景就能讲明白。

设想一个运动员要上场比赛，比赛当天只准他看一眼赛场布局，不能反复观察。要是他从没练过，临场肯定手忙脚乱。可如果训练阶段他已在完整信息下把赛场每个细节反复研究过，哪怕正式比赛只给他一眼，脑子里也攒够了先验知识，能迅速判断往哪跑。不这么练，直接让他裸眼上场，那就是前面说的那种“腰斩式”崩溃，因为他从没学过怎么靠有限信息做判断。

SAVER正是这套训练思路的技术落地。训练阶段，它从同一个视频里同时抽两个版本：一个稠密视图，帧数多、信息足；一个稀疏视图，帧数少，模拟真实推理时的苛刻条件。两个视图一起喂给同一个模型，模型分别给出两份预测。关键在哪？稠密视图的预测结果不是留到推理时帮忙的，它只在训练阶段露面，充当“参照答案”，教稀疏视图那条推理路径该怎么抓重点。

训练一结束，稠密视图就被彻底丢掉。推理时模型只用稀疏帧，就像运动员上场时手里没有任何参考资料，全凭平时训练攒下的直觉。

这个设计解掉了一个很根本的矛盾：直接只用稀疏数据训练，模型压根学不到足够的模式，毕竟稀疏视图本身信息量就不够；可训练和推理都用稠密数据，推理成本又降不下来，等于白训练。SAVER把“学习”和“使用”拆成了两件事，学习阶段拼命吸收信息，使用阶段轻装上阵。

三重奖励：模型靠什么学会抓重点

稠密和稀疏两个视图摆在那里，还不够。模型得拿到明确的反馈，才知道自己这一次做得怎么样。SAVER为此设了三种奖励，用来引导训练过程。

格式奖励

第一项奖励看的是格式：模型输出得符合规定，比如起止时间戳有没有按规矩给出来。它的作用主要是防止模型吐出一堆乱七八糟的东西，让训练保持稳定。

这一项不算复杂，却不能省。好比阅卷，先得看答案有没有写在答题卡规定的位置上；位置错了，内容再对也没法判分。

第二项是定位奖励。它拿预测时间区间和真实区间的重合程度来打分，用的指标叫tIoU（时序交并比），另外还配了一个边界惩罚项，专门纠正起止时间点的偏移。稠密视图和稀疏视图各算各的，互不干扰，保证两条路径都朝正确的方向走。

第三项参考奖励更有意思。它的思路不是让稀疏视图无条件去模仿稠密视图的预测，而是先设一道门槛：只有稠密视图这一次的预测确实比稀疏视图更准——准不准看定位奖励的高低——参考奖励才会被激活，去把两者的预测区间拉近。反过来，如果这一回稠密视图表现更差，参考奖励直接归零，不会硬逼着稀疏视图去学它。

“老师靠谱才跟着学”，这个设计对应的是一个挺常见的现实难题。

设想你在学一门手艺。师父状态好的时候，演示得特别标准，照着学没问题；可他也有手滑、动作走样的时候。你要是不管三七二十一，每次都机械模仿他当下那个动作，学出来的技艺就参差不齐，连他的失误也一并学进去。聪明的徒弟会先在心里判断：这一次师父做得标不标准？标准就认真学，不标准就按自己原来的理解来。SAVER这套“相对可靠性门控”机制，说到底就是让模型长出这种判断力，不盲从一个未必靠谱的参照。

假如没有这道门控，让稀疏视图无条件对齐稠密视图的每一次预测，会怎样？论文的消融实验给了答案：去掉门控后，0.1 fps下的时序定位mIoU从30.0降到29.1，视频问答平均准确率从50.8%降到49.3%。差距不算惊人，但确实说明，无脑模仿一个不一定靠谱的参照，会拖累效果。

论文还从理论角度给了一个简单的风险上界公式。按这个公式，稀疏视图的预测误差可以拆成两块：稠密视图自身的预测误差，加上稀疏视图与稠密视图之间预测分布的差异。SAVER的两种奖励正好分别对应这两块——定位奖励管每个视图自己的预测质量，参考奖励则在稠密视图更可靠时去缩小两者的差距。

1250条数据，迁移到完全没见过的任务

这篇论文最让人意外的，大概是训练数据的规模。

SAVER全部后训练数据，就是从Time-R1数据集里随机抽的1250条时序定位样本。视频问答的标注数据，一条都没用。

Time-R1

是一个面向视频时序定位任务后训练的数据集，提供视频片段以及对应事件的起止时间标注。

这意味着什么？模型压根没专门学过怎么回答视频问题，它学的只有一件事：这个事件发生在视频的哪一段。可到了评测阶段，研究者不光测时序定位，还把它扔进六个视频问答基准里检验，结果在这些完全没见过的任务类型上，它照样有明显提升。

背后的逻辑挺有意思。时序定位逼着模型把“语言描述”和“视频里具体发生的那一段时间”精确对应起来，这种能力本质上就是“证据定位”：知道该往哪看，该抓住哪些帧里的信息。视频问答表面上是另一种任务形式，背地里同样靠这种定位能力——要回答“视频里这个人用了什么工具”，前提也是先锁定相关画面证据。SAVER练出来的“稀疏条件下依然抓得住关键证据”的能力，恰好是能跨任务通用的底层技能。

看具体数字。2B模型在2.0 fps下，视频问答平均准确率从51.0%升到54.6%；到了0.1 fps这种极端稀疏条件，从45.9%升到50.8%。4B模型更夸张：0.1 fps时，考察知识获取能力的VideoMMMU基准上，准确率从52.4%直接冲到72.7%，整整提高20个百分点。

论文图2给了一个很直观的结果：2B模型在0.1 fps下经SAVER训练后，视频问答表现几乎追平原始Qwen3.5模型在2.0 fps下的水平。换句话说，用更少的帧，干了接近双倍帧数才能干的事。

当然，迁移效果并非在所有基准上都一边倒地好。论文也如实提到，VideoMME基准上2B模型有轻微下降，MVP基准上0.8B模型也有小幅退步。跨任务迁移确实存在，但不是无条件全面碾压，具体收益会随任务和模型规模波动。

效率究竟提升了多少

准确率说了这么多，实际计算开销到底省了多少？

论文给了一组详细的性能剖析数据，基于Qwen3.5-2B模型，在单张96GB的H100显卡上测得。采样帧率从2.0 fps降到0.1 fps，九个基准平均下来，视觉token数量减少86.8%，端到端推理延迟减少63.6%（相当于2.74倍加速），显存峰值占用减少49.3%。

这几个数字得放在一起看：它说的不只是“帧数变少了”，而是这种减少真的转化成了推理速度和资源占用的实际节省。对要在手机、边缘设备或实时流媒体场景部署的系统来说，这中间的差异，决定了这个模型用不用得起。

有个基准（MVBench）在0.1 fps下延迟反倒更高，问题不在视觉处理环节，而是模型面对稀疏输入时把回答写长了——平均从8.8个token涨到43.3个token。信息不够，模型就想靠更长的推理过程去补，这个现象本身挺耐人寻味。

它和现有的加速方法差在哪

视频理解领域提速的思路已经不少。FastVID走的是动态剪枝视觉冗余信息的路子，WFS-SB则靠检测语义边界来挑关键帧。这些方法有个共同前提：手上先有一份比较丰富的视频输入，再从中筛出或压缩出有用的部分。

SAVER不这么干。推理阶段它不做任何挑选动作，直接在一个被规定死的稀疏输入预算下工作——不密集预扫描，不自适应选帧，也不做测试时优化。

打个比方：选帧类方法像先给你一本完整的书，再派助手帮你快速翻出重点章节；SAVER则是直接递给你一本被撕掉大半页码的书，但你事先经过针对性训练，知道怎么从残缺内容里拼出完整理解。两者面对的输入条件根本不同，严格说解决的不是同一个问题，而是互补的。

论文也验证了这种互补性。把SAVER和WFS-SB结合，先用WFS-SB从更丰富的候选帧池里挑出信息量大的帧，再交给SAVER处理这些稀疏帧，三个基准平均分从单用SAVER的51.0升到55.0；其中ActivityNet从37.2升到42.1，LongVideoBench从56.0升到62.3。训练时学会的稀疏鲁棒性，和推理时的自适应选帧，可以叠加使用，并不互相排斥。

训练细节，以及几个耐人寻味的发现

论文里几组消融实验的结果，挺能说明问题。

训练数据规模方面，研究者分别用625条、1250条、1875条和2500条（Time-R1数据集全量）做了测试。从625加到1250，效果持续提升；但继续加到1875和2500条之后，效果反而略微下降。论文的猜测是，定位任务训得太多，模型可能过度专精于狭窄的定位模式，丢掉了一部分更通用的时序推理能力。这个发现打破了“数据越多越好”的常见直觉——至少在这个特定的后训练场景里，1250条反倒是个恰到好处的甜点区间。

稀疏视图奖励权重的调节也有讲究。权重太小，模型对稀疏场景的适应压力不够；太大，又会过度偏向稀疏视图的优化目标，破坏稠密视图提供“脚手架”作用的平衡。最终选定的权重是2.0。

论文还试了一种“置信度驱动的稀疏到稠密回退”策略：先用稀疏帧推理，如果模型对这次预测的置信度低于某个阈值，就重新用稠密帧跑一遍，取稠密的结果。阈值设得比较高（比如0.7）时，确实能在增加一些计算量的前提下换来明显提升，时序定位从30.0升到38.3，同时处理的帧数（47帧）还是远少于全程稠密推理所需的110帧。可阈值太低时，置信度信号本身不够准，一些本来预测对的稀疏结果被替换成不那么好的稠密结果，效果出现下降。这说明回退机制有潜力，但效果高度依赖置信度估计是否靠谱，论文也把它定位为可选的扩展方案，而非SAVER默认推理流程的一部分。

哪些地方还会出错

论文也坦率地展示了几个失败案例。

一种典型的失败模式是：稀疏采样的帧恰好完全错过关键事件发生的那一瞬间，模型还是会给出一个过宽或者偏移的时间区间猜测。论文举了个例子，“person throws their blanket inside”这个动作，真实区间是4.3秒到8秒，SAVER却预测成3秒到4秒——稀疏帧里恰好没捕捉到准确的投掷瞬间，模型只能凭人物靠近门口这个模糊线索做了个偏早的猜测。

视频问答任务中还暴露了另一种出错方式，题目考的是氢原子与氧原子的质量关系。模型套用了水分子 H?O 中氢氧原子个数比为 2 比 1、原子质量比为 1 比 16 的常见比例，据此得出 4 千克氢对应 32 千克氧，并选择了 C 选项。可正确答案是 D 选项 64 千克，它对应的是 1 比 16 的质量关系，并非模型默认采用的那套比例。这个例子值得琢磨：模型每一步运算都自洽，问题不在算术，而在它搬来一个未经检验的先验假设，没有真正依据视频中呈现的具体关系去推导。稀疏视频推理的风险并不止于“漏掉关键帧”，有时模型还会用一个听上去合理、却未被视频证实的假设去填补信息缺口。

写在后面

读完这篇论文，最让我觉得有意思的其实不是那些提升的百分比数字，而是背后那个反直觉的训练哲学：想让系统在信息匮乏的条件下表现好，最有效的办法往往不是直接在匮乏条件下死磕它，而是先让它在信息充裕的环境里把该学的学透，再逼它脱离舒适区。

这个思路和人类学某些技能的方式很像。学急救的人平时反复演练各种细节步骤，有充足时间观察和纠正；真遇到突发状况，往往没时间按部就班回忆整套流程，靠的是平时训练内化出来的直觉瞬间反应。SAVER某种程度上就是在给模型装上这种“平时反复训练、关键时刻靠直觉”的能力。

还有一点值得单独拿出来说：1250条数据就够、更多数据反而会轻微伤害效果。这和当下“大力出奇迹”的主流叙事不太一样，它提醒我们，有些能力的习得可能不是靠堆数据量，而是靠训练信号设计得够不够巧妙。一个任务如果能提供足够精准的“证据定位”信号，哪怕样本量不大，也能撬动出跨任务的通用能力。这种“小数据撬动大迁移”的现象到底在多大范围内成立，是不是只在时序定位这种结构化很强的任务上才管用，我觉得是个值得继续追问的问题。

Q&A

Q1：SAVER是什么？

SAVER到底是什么？它是一个从稠密走向稀疏的视频模型后训练框架。训练阶段，模型拿稠密帧和稀疏帧成对学；到了推理阶段，只喂稀疏帧。帧数压得很低，推理准确率仍能维持较高水平。它训练时用了多少数据、效果又怎样？

答案是1250条。SAVER随机抽取了这么多条时序定位训练样本，视频问答标注数据一条没用。结果在三个时序定位基准和六个视频问答基准上都有明显提升。换句话说，学到的能力能跨任务迁移。

那它和FastVID、WFS-SB这类选帧加速方法差在哪？FastVID和WFS-SB的做法是在推理时从大量视频输入里挑出或压缩出关键帧；SAVER则把功夫下在训练阶段，让模型学会在固定的稀疏输入预算下稳定推理。两种思路互补，搭配起来用效果更好。