视频生成也分区域对待:有的地方可提前收工,有的必须走完全程
你有没有想过,为什么现在那些能实时互动的AI视频生成工具,画面质量总是差点意思?不是算法不够聪明,是它们在做一件挺浪费的事:不管画面里哪块地方,统统用同样的力气去处理。这事说起来有点反直觉。你可能觉得,视频生成模型既然已经是顶尖AI技术了,那对每一帧画面肯定都做了最优处理吧。但事实恰恰相反。现在主流的自回...
实时互动的AI视频生成工具,画面质量常常差一口气。问题不在算法聪不聪明,而在它干了件费力不讨好的事:画面里哪块地方都用一样的力气去算。
这听着有点反直觉。顶尖的AI技术,按理说每帧画面都该被最优处理,可实际情况正相反。眼下的自回归视频扩散模型生成下一段视频时,会先把整幅画面切成一个个小块(学术上叫patch),再逐块去噪。
打个比方,画家画风景,天空和云彩几笔就似模似样,人物的面部表情、手指关节却得反复描。要是要求他对每一寸画面都花同样多的时间精修,结果只有两种:简单的部分白费工夫,效率低;总时间一压缩,复杂的部分又来不及画细,质量差。视频生成模型眼下卡的就是这个两难。
HKUST(香港科技大学)、VAST和澳门科技大学的研究者联合提出了一个叫ForcingBooster的方案,思路是让模型按区域区别对待。
难点究竟在哪儿
先说说什么是patch。
自回归视频扩散:把一整段视频拆成一段一段地生成,每一段(叫做一个chunk)内部再逐块去噪。
这种技术最早由相关团队提出,后来被不断压缩步数。
代价是,即便压到四步,这四步还是“一刀切”地套在画面的每一个patch上。
实验结果挺有意思。30.6%的画面区域,走完第一步就已经非常接近最终效果;另有12.25%和9.69%分别在第二步、第三步达标。剩下47.45%的区域,前三步都没过这个阈值,得走完全部步骤才稳定。
这组数字意味着什么?把全部区域都按“最难的那47.45%”来分配资源,前面三成区域纯属白干;反过来图省事把步数砍到一两步,将近一半的区域会留下明显瑕疵。论文里举了个直观的例子:攀岩者的手部和岩石纹理,只用一两步生成时明显变形走样,背景的天空和山坡却几乎看不出区别。
这就是
让模型学会“偷懒”和“较真”
ForcingBooster的核心设计,是给已经训练好的视频生成模型装上一个轻量级的“路由器”(router)。
路由器:一个额外训练的小模块。它干的事是在每一步去噪之后给画面里每个patch打分,预测这个区域“是不是已经够好了、可以提前停止去噪”。某个patch的停止概率一旦超过设定阈值,它就不再参与后续去噪计算,当前步骤算出的结果直接当作最终输出。
这里要解决两个技术难题。第一个:一个patch提前“下班”了,拿什么当最终输出?
这就牵涉到扩散模型和x0预测。
x0预测:不管模型内部预测的是噪声还是速度场,每一步去噪的中间阶段都能反推出一张“假如现在就停、画面会长什么样”的清晰图像估计。有了这个中间估计,提前退出的patch就有了现成、可直接使用的输出,不必额外设计机制。
这个设计挺巧妙,原来的生成网络一点不用改,只是多“读取”一下模型本来就会产生的中间信息。就像老师批改作文,学生写到一半,文章最终能打多少分已大致看得出来,不必等全文写完。
第二个难题更棘手:怎么知道一个patch该在第几步停下?没有谁给过“标准答案”,告诉模型这块区域该在第二步停、那块必须撑到第四步。
研究者的解法是设计两个损失函数。
第一个是
停止代理损失:拿当前patch的中间预测结果和“跑完全部步骤”的最终结果比误差,误差大却还被判“可以停止”的,要受罚。换句话说,某区域现在停下效果就很差,给它打高停止概率就要挨罚;已经和最终结果很接近的,提前停反而不罚。
可光有这一条损失会出大问题。对模型来说,最保险的策略永远是“一个都不停、跑满全部步骤”,误差肯定最小,提速的意义却全没了。
于是第二条损失登场,叫做预算损失,用来约束整体提前退出的比例。
训练过程还有个细节:在线策略(on-policy)训练。
训练上还有个细节,叫在线策略(on-policy)训练。打个比方,健身的人会照着自己当天的真实状态去调训练计划,而不是死守几年前定下的那张固定课表。不这么做的话,路由器学到的早停策略和它实际运行时的行为就对不上号,训练出来的东西也用不上。
整套训练很轻,大约500步就够。监督数据也不是另找的,全部由冻结不动的原始生成模型自己跑出完整结果,不用额外收集视频数据,也不用人工标注。
效果怎么样,看数字。研究者在多个模型上做了验证,包括Causal Forcing 1.3B、Wan2.1 14B、LingBot-World-V2 14B和LongLive。
其中Causal Forcing上的结果给得最细。四步基线的Total得分是82.08,ForcingBooster拿到81.55,几乎没有掉分。分档数据如下:方法、Quality、Semantic、Total、速度提升、步数减少;一步为83.06、69.50、80.35、1.58倍、64.29%;两步为83.69、71.66、81.29、1.29倍、42.86%;三步为84.24、71.96、81.78、1.14倍、21.43%;四步(基线)为84.54、72.21、82.08、-、-;ForcingBooster为83.88、72.20、81.55、1.30倍、50.19%。
这张表里最该看的一点是:ForcingBooster跑起来和两步法速度差不多,三项指标却全面压过两步法。问题不在“少用几步”,而在“少用在哪里”。
换到Wan2.1 14B、LingBot-World-V2 14B、LongLive这三个规模和架构都不一样的模型上,结果也接近:ForcingBooster的质量分数都紧贴四步基线,速度提升落在1.15到1.31倍之间,整体好于单步采样。单步采样确实最快,可图片一对比就能看出来,人物面部、手部细节和复杂纹理区域都出现了肉眼可见的瑕疵。
这还没完。研究者另做了一组对照实验,想弄清“选对位置”到底有没有必要,还是随便分配步数效果也差不多。他们设了两个对比策略:一个叫“随机”(Random),保留每帧里各步数对应区域的数量分布,只把区域位置随机打乱;另一个叫“按块统一”(Chunk-wise)。结果显示,运行时间接近时,ForcingBooster的Total得分是81.54,明显高于随机策略的79.03和按块统一的80.01。可见早停决策“放对位置”本身就有价值,不是单纯省了几步换来的。画面上的差别也直观:按块统一会让某些时间段发糊,人物面部和手部细节变弱;随机策略闪烁感明显,物体轮廓忽隐忽现,看着不稳。ForcingBooster在视觉锐度和时间一致性上都最接近四步基线。
两个关键参数该怎么调,论文也做了分析。
第一个是计算成本权重,它决定训练时“鼓励早停”的压力有多大。设得太小或者为零,路由器就干脆什么都不停,四步全跑完,路由器自身的计算开销白添一笔,反而更慢。设到0.015到0.03之间,省时间的效果明显,效果又能贴近四步基线。
第二个是停止阈值,也就是停止概率高过多少才判定可以退出。实验里针对0.1到0.9这个区间分别训练了独立的路由器。有意思的是,阈值调高一般会让运行时间变长,却不必然换来更接近四步基线的效果。可见单靠调高或调低阈值,并不是提升质量的可靠路子,真正管用的是路由器自己学到的判断能力。
最后还有一组关于视频“动态程度”的分析。研究者用
这套思路和此前的工作差在哪?领域里尝试类似“自适应计算”思路的人其实不少。比如
ForcingBooster与这些工作最大的区别是:原始生成器一点不动,只训练一个轻量路由器,挂在冻结不动的少步生成模型上。被提前停下的patch,其清晰预测结果直接固定住,后面的Transformer计算完全不再碰它,只是把它的
写在后面
这篇论文看下来,真正让我记住的不是速度提升了多少,而是“30.6%的区域一步就够了”这组数据。它说明的事情其实很简单:视频里各处的信息密度本来就不一样。大家总以为AI模型越强,算得就该越整齐、越统一,可这项研究给出的结论正相反——聪明的系统得看人下菜碟,简单的地方省点力,复杂的地方多花心思。
论文里还有一个细节可以单独拎出来讲。那组关于运动幅度的实验,实际上回答了一个挺实际的问题:这套办法用在哪儿最划算?结论是运动幅度小的视频,像机位不动、背景变化不大的那种场景。
有个问题论文没细讲:画面突然剧烈变化时,这套路由机制反应有多快?镜头猛晃、场景瞬间切换的那一刹那,路由器能不能及时调整自己的“信心”判断,还是说会慢半拍。论文没专门测这一点,但这个问题值得接着追,毕竟真实的交互式视频生成里,这种突变并不少见。
哪块该省、哪块该细,原来不用人去教模型,它自己能判断。那再往后想一步:会不会连“去噪步数”本身都不再必要,模型直接学会估每个区域离“完成”还差多远?
Q&A
Q1:ForcingBooster是什么?
A:它是一个加在已训练好的少步视频生成模型上的轻量路由模块。它动态判断画面中每个小区域是否已经生成到位,简单的区域提前结束去噪,复杂的区域接着精细处理。整体去噪步数能降约50%,画质基本不受影响。
Q2:ForcingBooster需要重新训练整个视频生成模型吗?
A:不用。要训练的只是一个轻量路由器模块,原有生成模型全程冻结。训练大概500步就能完成,监督信号全部来自模型自己生成的完整结果,既不额外要视频数据,也不需要人工标注。
Q3:ForcingBooster和单纯减少去噪步数(比如直接用一步或两步采样)有什么区别?
A:直接把步数砍掉,是对所有区域一视同仁,复杂区域(人物手部、精细纹理之类)很容易出明显瑕疵。ForcingBooster改成分区分配:简单区域少算,复杂区域多算。运行速度差不多的情况下,画质明显好于均匀减步的做法。