SAVER：帧数砍到0.1fps，视频模型定位精度为何腰斩

有没有想过这种事：只给你十张照片，让你推测一部两小时的电影讲了什么，细节多半猜不对，剧情走向倒能蒙个八九不离十。那要是只给四张呢？两张呢？

视频语言模型眼下碰到的，偏偏就是这道越来越刁钻的题。

有篇论文讲了个乍看有点反常识的发现。前几年视频理解模型往前走的套路基本只有一条：多看。多采几帧，模型看得更清，判得更准。直觉上没毛病——电影看得越细，理解自然越透。

可“多看”这笔账，贵得吓人。

一段视频真要密集采样，几十帧乃至上百帧画面就得一股脑塞进模型。这不是“多算一点”的事，视觉token数量会爆炸式增长，显存跟着飙升，推理延迟也越拖越长。放到手机助手、机器人、监控系统、直播流分析这类要实时响应的场景里，这种开销是致命的。总不能让一个监控摄像头为了判断“有没有人闯入”，先攒够两百帧再开始想。

新问题就来了：帧必须省着用，模型还能不能靠谱地推理？

论文作者没去另造一个“更聪明的选帧算法”，而是换了个问法：能不能让模型自己在训练阶段就学会，怎么把手里仅有的几帧用好？

稀疏观测到底有多难

先说说这事有多棘手。

论文给了一组很扎实的数字。实验拿Qwen3.5这个模型家族来做，在时序定位任务（判断某个事件发生在视频的哪个时间区间）上，采样帧率从2.0 fps降到0.1 fps，2B参数的模型平均mIoU（衡量定位准确度的指标，数值越高说明预测区间和真实区间重合越多）从34.9%直接掉到18.4%。

这是什么概念？

几乎腰斩。

时序定位

所谓时间定位，就是给模型一句描述，让它到视频里锁定这件事发生的前后节点。像“这个人什么时候开始倒橙汁”，模型得答出一个区间，比如7.5秒到13秒。

帧数一减，定位准确率为什么崩得这么快？事件的边界信息本来就藏在连续帧的变化里。只给模型看头尾两张截图，它怎么知道中间哪一秒发生了转折？好比问一个只看过电影开头和结尾两帧的人，男主角哪一分钟开始哭，他只能瞎猜个大概范围，而且往往猜得特别宽，因为手上根本没有足够线索去收窄答案。这不是模型笨，是信息本身就不够用。

更麻烦的是，稀疏采样不光让模型“猜得更模糊”，还可能让它彻底错过关键事件，或者被无关的静态画面带偏。比如恰好采到的那一帧里人物静止不动，模型就可能误判这段时间什么都没发生。

那稠密采样是不是就万事大吉了？也不是。稠密输入会带进大量冗余，计算成本随帧数涨得很快，很多应用场景压根负担不起这笔开销。

所以真正的矛盾不在“选稀疏还是选稠密”，而在于：能不能让模型在稀疏条件下，依然保住那些真正要紧的时序证据？

论文给出的答案，叫SAVER。

核心思路：用稠密的“排练”换稀疏的“正式演出”

SAVER

全称是论文提出的一种“稠密到稀疏”后训练框架，核心目标是让模型在推理时只用稀疏帧，但表现得像是看过更多帧一样。

SAVER的设计思路，其实拿一个场景就能理解。

想象一个运动员要上场比赛，比赛当天只许他看一眼赛场布局，不能反复观察。要是从没练过，临场肯定手忙脚乱。可如果训练阶段他已经在完整信息条件下把赛场每个细节反复研究过，哪怕正式比赛只给一眼，脑子里也攒够了先验知识，能快速判断该往哪跑。不这么练，直接让他裸眼上场，那就是前面说的那种“腰斩式”崩溃——他从来没学过怎么用有限信息做判断。

SAVER就是这个训练思路的技术实现。训练阶段，它从同一个视频里同时抽两个版本：一个稠密视图，帧数多、信息丰富；一个稀疏视图，帧数少，模拟真实推理时的苛刻条件。两个视图一起喂给同一个模型，模型分别给出两份预测。关键在于，稠密视图的预测结果不是留到推理时帮忙的，它只在训练阶段出现，充当“参照答案”，教稀疏视图那条推理路径该怎么抓重点。

训练一结束，稠密视图就被彻底扔掉。推理时模型只用稀疏帧，就像运动员上了场手里什么参考资料都没有，全靠平时训练攒下的直觉。

这个设计解开了一个很根本的矛盾：直接用稀疏数据训练，模型压根学不到足够的模式，毕竟稀疏视图本身信息量就不够；可训练和推理都用稠密数据，推理成本又降不下来，等于白练。SAVER把“学习”和“使用”拆成了两件事——学的时候贪婪地吸收信息，用的时候轻装上阵。

要让模型学会抓重点，光有稠密和稀疏两个视图还不够，还得有明确的反馈告诉它做得对不对。SAVER为此设了三种奖励。

第一种是格式奖励，看模型输出是否符合规定格式，比如起止时间戳有没有给对。它的作用主要是防止输出乱七八糟的内容，让训练稳下来。

格式奖励

这个奖励不算复杂，但少不了。阅卷先看答案有没有写在答题卡指定位置，格式不对，内容再好也判不了分。

第二种是定位奖励，直接衡量预测时间区间和真实区间重合多少，用的是tIoU（时序交并比）指标，另外加了一个边界惩罚项，专门纠起止时间点的偏差。稠密视图和稀疏视图都会用到它，两边各算各的，保证两条路径都朝正确方向走。

第三种参考奖励才是真正有意思的地方。它没有简单粗暴地让稀疏视图去模仿稠密视图的预测，而是先设了一道门槛：只有稠密视图这一次的预测确实比稀疏视图更准——准不准看定位奖励的高低——参考奖励才会被激活，去拉近两者的预测区间。反过来，这次稠密视图表现更差，参考奖励直接归零，不逼着稀疏视图去学它。

“老师靠谱才跟老师学”，这个设计对应的是一个挺常见的现实困境。

好比学一门手艺，师父状态好的时候演示得特别标准，跟着学准没错；可他也有手滑的时候，动作就走了样。要是不管三七二十一，每次都机械模仿师父当时那个动作，学出来的技艺质量参差不齐，连师父的失误也一并学进去。聪明的徒弟会在心里判断这一次师父做得标不标准，标准就认真学，不标准就按自己原来的理解来。SAVER这套“相对可靠性门控”机制，说到底就是让模型学会这种判断力，不盲从一个不一定靠谱的参照。

要是没有这道门控，无条件让稀疏视图去对齐稠密视图的每一次预测，会怎样？论文的消融实验给了答案：去掉门控后，0.1 fps下的时序定位mIoU从30.0掉到29.1，视频问答平均准确率从50.8%掉到49.3%。差距不算惊人，但确实说明，无脑模仿一个不一定靠谱的参照，会拖累效果。

论文还从理论上给了一个简单的风险上界公式：稀疏视图的预测误差可以拆成两部分，一是稠密视图本身的预测误差，二是稀疏视图和稠密视图之间预测分布的差异。SAVER的两种奖励正好各管一块，定位奖励提升每个视图单独的预测质量，参考奖励则在稠密视图更可靠时缩小两者之间的差距。

只用1250条数据，却能迁移到完全没见过的任务

这篇论文最让人意外的，大概是训练数据的规模。

SAVER全部后训练数据，就是从Time-R1数据集里随机抽的1250条时序定位样本，视频问答的标注数据一条都没用。

Time-R1是一个用于视频时序定位任务后训练的数据集，提供视频片段及其对应事件的起止时间标注。

这意味着模型压根没专门学过怎么回答视频问题，它学的全部内容就是一件事：“这个事件发生在视频的哪个时间段”。可最终评测时，研究者不光测了时序定位，还把它扔到六个视频问答基准上检验，结果在这些完全没见过的任务类型上照样有明显提升。

背后的逻辑挺有意思。时序定位逼着模型必须精确地把“语言描述”和“视频里具体发生的那一段时间”对应起来，这种能力本质上是一种“证据定位”能力——知道该往哪看、该抓住哪些帧里的信息。视频问答表面上是另一种任务形式，背地里同样依赖这种定位能力：要回答“视频里这个人用了什么工具”之类的问题，前提也是先锁定相关的画面证据。SAVER练出来的这种“稀疏条件下依然能抓住关键证据”的能力，恰好是跨任务通用的底层技能。

具体数字上，2B模型在2.0 fps下，视频问答平均准确率从51.0%提升到54.6%；在0.1 fps这种极端稀疏条件下，从45.9%提升到50.8%。4B模型更夸张，0.1 fps时在VideoMMMU这个考察知识获取能力的基准上，准确率从52.4%直接飙升到72.7%，整整提升20个百分点。

论文的图2给出了一个很直观的结果：2B模型在0.1 fps下用SAVER训练后，视频问答表现几乎追平原始Qwen3.5模型在2.0 fps下的水平。换句话说，花更少的帧，干了接近双倍帧数才能干的事。

当然，迁移效果不是在所有基准上都一边倒地好。论文也诚实地提到，VideoMME基准上2B模型出现了轻微下降，MVP基准上0.8B模型也有小幅退步。跨任务迁移确实存在，但不是无条件全面碾压，具体收益会因任务和模型规模而有波动。

效率到底提升了多少

准确率说了这么多，实际的计算开销到底省了多少？

论文给了一组详细的性能剖析数据，基于Qwen3.5-2B模型，在单张96GB的H100显卡上测得。

把采样帧率从2.0 fps降到0.1 fps，九个基准平均下来，视觉token数量减少了86.8%，端到端推理延迟减少了63.6%（相当于2.74倍的加速），显存峰值占用减少了49.3%。

这几个数字放在一起看才有意义：它不只说明“帧数变少了”，更说明这种减少真的转化成了实打实的推理速度提升和资源节省。

对一个要在手机、边缘设备或者实时流媒体场景部署的系统来说，这种差异就是能不能用得起这个模型的分水岭。

有个基准（MVBench）出现了反常：0.1 fps 下延迟不降反升。视觉处理并没有变慢，变长的是回答文字——平均从 8.8 个 token 涨到 43.3 个 token。信息不够，模型就靠更长的推理去补，这个现象本身挺耐人寻味。

和现有加速方法有什么不同

视频理解领域提速的思路已经不少。FastVID 走的是动态剪枝，把视觉冗余信息砍掉；WFS-SB 则靠检测语义边界来挑关键帧。这些做法有个共同前提：手上已经有一份足够丰富的视频输入，再从中筛选或压缩出有用部分。

SAVER 换了一条路。推理阶段它不做任何挑选动作，而是直接在一个被规定死的稀疏输入预算下干活——没有密集预扫描，没有自适应选帧，也没有测试时优化。

打个比方：选帧类方法像先给你一本完整的书，再派助手帮你快速翻出重点章节；SAVER 拿到的是一本被撕掉大半页码的书，但你事先经过针对性训练，知道怎么从残缺内容里拼出完整理解。两者面对的输入条件根本不同，严格说解决的不是同一个问题，而是互补。

论文也验证了这种互补性。把 SAVER 和 WFS-SB 结合，先用 WFS-SB 从更丰富的候选帧池里挑出信息量大的帧，再交给 SAVER 处理这些稀疏帧，三个基准平均分从单独用 SAVER 的 51.0 升到 55.0，其中 ActivityNet 从 37.2 升到 42.1，LongVideoBench 从 56.0 升到 62.3。训练时学到的稀疏鲁棒性，和推理时的自适应选帧，可以叠加使用，并不互相排斥。

训练细节和一些值得玩味的发现

论文里几个消融实验的结果，挺能说明问题。

训练数据规模方面，研究者分别用 625 条、1250 条、1875 条和 2500 条（Time-R1 数据集的全量）试了一遍。625 加到 1250 时效果持续提升，可继续加到 1875 和 2500 条之后，效果反而略微往下掉。论文猜测，定位任务训得太多，模型可能过度专精于狭窄的定位模式，丢掉了一部分更通用的时序推理能力。这个发现打破了“数据越多越好”的常见直觉——至少在这个特定的后训练场景里，1250 条恰好是个甜点区间。

稀疏视图奖励权重的调节也有讲究。权重太小，模型对稀疏场景的适应压力不够；太大，模型又过度偏向稀疏视图的优化目标，稠密视图充当“脚手架”的平衡被打破。最终选定的权重是 2.0。

论文还试了一种“置信度驱动的稀疏到稠密回退”策略：先用稀疏帧推理，如果模型对这次预测的置信度低于某个阈值，就重新用稠密帧跑一遍，取稠密的结果。阈值设得较高（比如 0.7）时，多花一些计算量能换来明显提升，时序定位从 30.0 升到 38.3，同时处理的帧数（47 帧）仍远少于全程稠密推理所需的 110 帧。阈值太低就出问题：置信度信号本身不够准，一些本来预测对的稀疏结果被替换成不那么好的稠密结果，效果反而下降。这种回退机制有潜力，但效果高度依赖置信度估计是否靠谱，论文把它定位为可选的扩展方案，而不是 SAVER 默认推理流程的一部分。

哪里还会出错

论文也坦率地展示了几个失败案例。

一种典型的失败模式：稀疏采样的帧恰好完全错过关键事件发生的瞬间，模型仍会给出过宽或者偏移的时间区间。论文举了个例子，“person throws their blanket inside”这个动作，真实区间是 4.3 秒到 8 秒，SAVER 却预测成 3 秒到 4 秒——稀疏帧里没捕捉到准确的投掷瞬间，模型只能凭人物靠近门口这个模糊线索，做了一个偏早的猜测。

另一种失败模式出现在视频问答任务里，是一道关于氢原子和氧原子质量关系的化学题。模型按水分子 H?O 里氢氧原子数量 2 比 1、原子质量 1 比 16 的经典比例，推算出 4 千克氢对应 32 千克氧，选了 C 选项。但正确答案是 D 选项 64 千克，对应的是 1 比 16 的质量关系，而不是模型默认套用的比例关系。这个案例耐人寻味：模型的运算过程完全自洽，错不在计算本身，而在于它调用了一个默认的先验假设，没有真正基于视频里展示的具体关系去推理。稀疏视频推理的风险不只是“漏掉关键帧”，有时候模型会用一个听起来合理、其实没被视频证实的假设去填补信息空白。

写在后面

读完这篇论文，最让我觉得有意思的不是那些提升的百分比数字，而是背后那个反直觉的训练哲学：想让系统在信息匮乏时表现好，最有效的办法往往不是直接在匮乏条件下死磕，而是先让它在信息充裕的环境里把该学的学透，再逼它脱离舒适区。

这个思路和人类学某些技能的方式很像。学急救的人平时反复演练各种细节步骤，有充足时间观察和纠正；真遇到突发状况，往往没时间按部就班回忆整套流程，靠的是平时训练内化出来的直觉瞬间反应。SAVER 某种程度上就是在给模型装上这种“平时反复训练、关键时刻靠直觉”的能力。

还有一点值得单独拿出来说：1250 条数据就够、更多数据反而轻微伤害效果。这和当下“大力出奇迹”的主流叙事不太一样。有些能力的习得，可能不是靠堆数据量堆出来的，而是靠训练信号设计得够不够巧妙。一个任务本身能提供足够精准的“证据定位”信号，哪怕样本量不大，也能撬动跨任务的通用能力。这种“小数据撬动大迁移”到底在多大范围内成立，是不是只在时序定位这种结构化很强的任务上才管用，是个值得继续追问的问题。

Q&A

Q1：SAVER是什么？

SAVER 是一个从稠密到稀疏的视频模型后训练框架：训练阶段把稠密帧和稀疏帧成对喂给模型学习，推理阶段则只用稀疏帧，帧数很少时推理准确率依然能保持较高水平。那它训练用了多少数据？答案是仅 1250 条随机抽取的时序定位训练样本。

这些样本之外，SAVER 没有使用任何视频问答标注数据。效果上，它在三个时序定位基准和六个视频问答基准上都拿到了明显提升，说明学到的能力可以跨任务迁移。

它和 FastVID、WFS-SB 这类选帧加速方法有什么不同？FastVID 和 WFS-SB 的做法是在推理时从丰富的视频输入里挑出或压缩出关键帧；SAVER 则把功夫下在训练阶段，让模型学会在固定的稀疏输入预算下可靠推理。两种思路互补，结合起来用效果更好。