视频生成提速50%:按块提前交卷,专挑难画的接着算
你有没有想过,一个AI在画一段视频的时候,画面里每一个像素块需要的"打磨时间"真的一样多吗?比如一个人站在废墟里说话,背景的瓦砾堆几步前就已经和之前的画面长得差不多了,但人物的嘴型和表情还在不停变化。按照常理,AI模型应该聪明到知道"瓦砾可以先放一放,嘴型得继续抠细节",但事实是,几乎所有的视频生成模型都在...
一个AI画视频时,画面里每个像素块要花的时间,真的一样多吗?
举个例子:一个人站在废墟里说话,几步之前背景的瓦砾堆就已经和之前画面很接近了,可人物的嘴型、表情还在不停变。按道理,模型该知道瓦砾能先放一放、嘴型得继续抠,实际情况却是几乎所有视频生成模型都对画面每个角落用同一套流程——不管这块早画好了还是差得远,都要把全部计算步骤走完。这个问题,就是下文要处理的。
**核心问题:为什么“一视同仁”是一种浪费**
要弄明白浪费在哪,得先知道AI是怎么画视频的。
眼下效率最高的视频生成方式叫做
扩散模型
为了够快、撑得住实时的视频流生成,研究者把原本几十步甚至上百步的去噪压到只有四步,这种压缩技术叫做
听上去已经很极限,四步似乎没什么可省的空间了。麻烦恰恰出在这:四步是按整个画面的“平均难度”定的,画面里不同区域的难度却根本不一样。论文给了一个很直观的证据——把每个画面块在第一步、第二步、第三步的中间结果,分别拿去跟第四步(“标准答案”)对比,有些区域几步之内差距就很小了,另一些区域直到第四步差距依然很大。
这就像一个老师批一整个班的作业:有的学生写得又快又对,第一遍就该收卷;有的还在反复涂改。可老师偏偏规定所有人必须等铃响才能交。不这么规定会怎样?那些早写完的学生要么无事可做,要么被迫在已经写对的答案上继续改,改到最后反而改错了,本来能用在“后进生”身上的辅导时间就这么浪费掉。四步去噪的模型,就是这间铃响才能交卷的教室。
论文作者盯上了一个关键细节:这些压缩后的模型,训练阶段用的技术叫
分布匹配蒸馏
而
**Speculative Forcing:把每个画面块当成一份独立的草稿**
作者由此提出Speculative Forcing框架,中文可以理解为投机式强制去噪。
具体操作分三步。第一,每走一步去噪,就把当前的中间结果当成一份草稿。第二,找检验者来判断这份草稿离“标准答案”是不是已经够近了。第三,判断通过的话,这个画面块就被冻结,不再参加后面的去噪计算,但它算出的特征会留下来,供其他还没写完的画面块当参考。
这里有个很关键的技术细节,叫做
键值缓存
被冻结的画面块虽然不再计算,但它的
那判断一份草稿够不够格提前交卷,靠的是什么?论文里最核心的,是两套检验机制。
**训练免费型检验员:靠眼熟和稳定来判断**
第一套方案不需要任何额外训练,作者管它叫训练免费的检验员。
它的逻辑来自两个朴素的观察。其一,去噪第一步时,如果某个画面块的草稿已经和之前生成过的内容、或者参考图片里某块内容非常像,那它大概率已经收敛,不用再折腾。这叫
第二个观察从第二步开始。这时手上已经有两份连续的草稿可比,要是这两份几乎没变化,说明这个画面块稳住了,不会再有大改动。这叫
这套机制很像看一锅汤炖好没有。第一口尝下去,味道已经跟记忆里“炖好的汤”差不多,你可能直接关火,这是
**
训练免费的办法省事,可它判断的只是草稿的“外在表现”,没进模型内部看“内心活动”。碰上更复杂的场景,比如论文里提到的
世界模型
为什么
于是作者又设计了第二套方案,叫
这个卷积头只有三层3D卷积,参数量411万,跟整个生成模型动辄十几亿的参数比几乎可以忽略。训练时生成模型本身冻结不动,只训这个小小的检验头,让它学会从模型的“大脑活动”里读出“这块画面还差多少才收敛”的信号。
这就像一个经验老到的中医,不盯着病人脸上的气色,而是直接搭脉判断身体状况。气色是外在表现,有时会骗人——人一紧张脸就发白,可这不代表真有病,对应到训练免费检验员身上,就是可能出现的误判。脉象不一样,它反映的是身体内部真实的运行状态,靠得住得多。判断也不是整块一起做,而是逐个像素块单独裁决。
有个设计很容易被忽略,其实很关键:判断的粒度落在单个画面块上,既不是整帧画面,更不是整段视频。此前已有研究试过给整段视频或整帧画面统一分配去噪步数,论文里就提到了这类做法。为了验证,论文专门做了对比实验,让……
实验结果是省了一半计算量,质量没掉。设计思路讲了这么多,实际效果究竟如何?
论文在三个场景下做了验证:短视频生成、长视频生成、交互式世界模型生成。所用基座模型分别是 LongLive 和 Lingbot-World 2.0。
短视频生成任务上,原本四步去噪的 LongLive 总分 83.08。用上 Speculative Forcing 后,平均每个画面块只需约 1.68 步去噪,总分反而小幅升到 83.21。推理速度从每秒 26.4 帧提到 41.74 帧,快了 1.58 倍。
长视频生成任务上,也就是 30 秒的长片段,四步基准模型总分 82.69,
最具挑战的世界模型任务里,摄像机运动不断带来全新画面内容,平均步数压不到两步以下,最终稳定在 2.55 步左右。即便如此,质量分数 82.65 依然与四步基准的 82.62 基本持平,画质漂移从 3.094 降到 2.839,相机轨迹跟随的精度也没有打折扣。速度从 18.1 帧提升到 24.5 帧,快了 1.35 倍。
论文还专门做了对照实验,拿一个理论上限最高的方案作参照,叫做……
写在后面。读这篇论文时,我一直在想一个问题:这种“按需分配计算量”的思路,为什么直到现在才被明确提出来用于视频生成?后来想明白了,这其实跟……
论文里有个细节我觉得值得单独说:作者发现一个完全没训练过、结构更简单的……
由此引出一个更根本的疑问:过去我们只关注模型的最终输出,却把这些“稍一读取就能拿到”的信号完全放过了——生成模型内部究竟还埋着多少类似的东西?假如模型中间状态本身已经携带了关于自身计算进度和置信程度的大量信息,那这些“过程产物”是不是值得更认真对待,而不该只被当成通往终点的垫脚石?
Q&A
Q1:Speculative Forcing 是什么?
A:Speculative Forcing 是一个让视频生成模型按需分配计算量的框架。它把去噪过程中的中间结果当成草稿,用检验机制判断哪些画面块已经收敛、可以提前“交卷”,从而砍掉不必要的计算,在不损失画质的前提下把生成速度提升超过 1.5 倍。
Q2:Speculative Forcing 为什么能加速视频生成还不降低质量?
A:视频画面里不同区域的收敛速度本来就不一样。背景或重复内容往往几步就定型,新出现或变化剧烈的区域则需要更多打磨。该方法让已收敛的区域提前冻结、停止计算,把算力集中花在还没收敛的区域上,省下来的计算量用在了真正需要的地方。
Q3:Speculative Forcing 的训练免费检验员和学习型检验员有什么区别?
A:训练免费的检验员判断是否收敛,依据的是画面草稿与历史内容有多相似、连续两步之间变化有多大,无需额外训练;学习型检验员走的是另一条路——用一个轻量卷积头读取生成模型内部的隐藏特征,直接预测收敛差距,在摄像机运动剧烈的世界模型场景下表现更稳定。