AI视频生成提速的代价:四步生成为什么总是糊的?
你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...
你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?
这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。
**
这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。
**
视频扩散模型要跑得快,到底难在哪
先说说背景。现在主流的视频生成模型,比如Wan2.1这种,本质上是靠一步步"去噪"生成画面的。
扩散模型
这个"猜"的过程,猜个二三十步才能出一张还不错的画面。但现实应用里,比如直播互动、实时游戏画面生成,没人愿意等你猜三十次。所以工业界一直在琢磨:能不能让模型学会"少猜几次也能猜准"?
这就是
蒸馏*:用一个训练好的"大模型"(老师)去教一个"小而快"的模型(学生),让学生用更少的步骤、更简单的结构,模仿出老师的生成能力。
还有一个更麻烦的问题:自回归生成。普通的视频
自回归(AR)
问题来了:双向模型训练出来的"老师",天生就能看到未来帧的信息,而自回归的"学生"不能。这种能力不对等,导致直接照抄老师的答案会出问题,论文管这叫"
为了解决这个落差,之前的做法(叫
但论文作者发现,这套"学长示范"的方法,步数一少,照样会模糊。
四步生成的时候,图像细节丢失得很明显,不管学长教得多认真。这说明问题不在于"抄谁的作业",而在于"抄作业"这件事本身,用某种特定的评分标准去对答案,天然就会导致模糊。
为什么"对答案"这件事会导致模糊
这里要讲一个数学上的小道理,但其实生活里到处都是它的影子。
论文里证明了一个命题:如果你用最常见的误差衡量方式(欧氏距离平方,也就是
这是什么意思?
设想一个场景:你让模型根据一句模糊的描述"一个人在挥手"去生成视频,但这句描述其实能对应很多种可能,可能是左手挥,可能是右手挥,挥动的幅度、角度、速度都有无数种合理答案。如果训练目标是"让预测结果和所有这些可能答案的误差平均起来最小",那模型学出来的最优策略,就是把这些可能答案叠在一起取平均,结果就是一只虚影重重、轮廓模糊的手。
这就跟你让十个目击证人分别画一张嫌疑人的素描,然后把十张素描叠在一起取平均值一样。每张素描单独看都是一张合理的脸,但叠加平均之后,五官会变得模糊、不聚焦,谁也不像。证人们各自的判断没有错,错在"把多个合理答案强行平均"这个操作本身。如果不这么做,而是挑其中一张最可信的,画面反而会更清楚,哪怕有偏差也比"四不像"强。
这就是论文里证明的核心数学结论:条件分布如果存在不确定性,
那为什么用"中间老师"的确定性目标(ODE蒸馏)能缓解一部分问题,但没法彻底根治呢?
论文解释说,ODE初始化至少把目标变成了确定的单一答案,不再是一堆答案取平均,这确实缓解了模糊。但在步数极少(比如只有四步)的情况下,留给模型"修正细节"的机会太少了,细节依然补不回来。论文配图里展示得很直观:八步、十二步的时候,ODE初始化的效果已经能追上新方法,但一旦压到四步,差距立刻拉开。
核心方法:别在像素层面较劲,去"感知空间"里比较
研究者们的解法叫
这个思路的转折点在哪儿?
与其在原始的视频像素/隐空间里逐帧逐点地比较"预测画面"和"目标画面"像不像(也就是前面说的那种容易导致平均化模糊的
这个被拿来当裁判的网络,论文里用的是Wan2.1-14B,一个参数量很大、本身没有被继续训练、只负责提取特征的视频扩散变换器。
DiT(Diffusion Transformer)
为什么换个"比较方式"就能避开模糊的问题?
这里要讲第二个类比。假设你是一个美术老师,判断学生画得像不像照片,有两种评分方式。第一种是拿着照片和画作逐个像素比对颜色数值,算平均误差,这种评分方式下,如果照片本身存在多种"合理临摹"(比如阴影画深一点还是浅一点都说得过去),学生最保险的策略就是把阴影画得不深不浅,两头都不得罪,结果画面发灰发糊。第二种评分方式是让另一个经验丰富的美术鉴赏家来看,这个鉴赏家不逐像素比对,而是判断"这幅画有没有捕捉到原作的神韵、笔触、质感",这种评价方式下,画面即便和原作像素级不完全一致,只要神韵对了,鉴赏家就会给高分,学生也就没有动机去画一张"谁也不像的平均脸"。
表征空间的监督,干的就是把裁判从"逐像素比对"换成"懂行的鉴赏家"。
论文里用的具体方式是:学生预测出的清晰视频块和真实的训练视频,分别通过同一个冻结的Wan2.1-14B网络的前几层(具体是第8层,占全部40层深度的大约五分之一),提取出每个画面片段(token)的特征向量,归一化后,用
余弦相似度
这套新方法有个额外的好处,也是整篇论文设计上很聪明的一点:它完全不需要像之前的方法那样,先单独训练一个"中间老师"模型,再用这个中间老师去生成一大堆额外的ODE轨迹数据供学生模仿。它直接复用了训练"中间老师"时本来就要用的那批合成视频(大约3000条,来自VidProM提示词生成的Wan双向模型合成视频),一步到位,既省了一次独立训练阶段,又省了生成额外轨迹数据的开销。
为什么选中间层而不是最浅层或最深层来提取特征,论文也给了解释:浅层的特征和原始像素空间关系太近,容易把像素层面的"平均化倾向"也带进来;深层的特征又太抽象,可能连基本的外观细节都被抽象掉了,变得对具体纹理不敏感。中间层刚好卡在"既有一定抽象能力,又没丢失细节"的甜蜜点上。实验里消融测试也验证了这点:五分之一深度处的效果最好,比八分之一深度和二分之一深度都要好。
训练流程:两步走,表征初始化加DMD精调
整个RepForcing的训练分两步。
第一步是刚才讲的表征空间初始化训练,这一步让自回归的小模型学会在
教师强制
第二步是不动的,沿用了之前Self Forcing方法里的非对称DMD(分布匹配蒸馏)精调流程。这一步让模型用自己生成的历史画面去做"自我滚动"推理,缩小训练和真实使用场景之间的差距,训练时用的那个Wan2.1-14B特征提取网络在这一步就不再参与了,彻底功成身退。
DMD(Distribution Matching Distillation,分布匹配蒸馏)
效果到底好多少:数字说话
论文在
在四步、分块(chunk-wise)生成的设置下,RepForcing拿到了
对比之前报告的
和另一个同期工作Causal-rCM相比(总分84.37,VisionReward 8.211),RepForcing总分高出0.29分,VisionReward高出22.69%。
在逐帧(frame-wise)生成设置下,RepForcing总分84.38,VisionReward 10.598,相比
不过论文也很诚实地指出,这个方法不是在所有维度上都赢。比如
研究者没有回避这些不如人的地方,而是坦承:这个方法带来的是"整体质量和奖励评分的提升,而不是每一项指标都最优"。
| 模型 | 总分 | 质量 | 语义 | 动态程度 | VisionReward |
|---|---|---|---|---|---|---|
| CausVid | 81.33 | 83.98 | 70.72 | 62 | 5.741 | 12 |
| Self Forcing | 83.74 | 84.48 | 80.77 | 57 | 5.820 | 48 |
| Causal Forcing | 84.04 | 84.59 | **81.84** | 68 | 6.326 | 56 |
| Causal-rCM | 84.37 | 85.02 | 81.73 | **71** | 8.211 | 64 |
| RepForcing(分块) | **84.66** | **85.55** | 81.10 | 69 | **10.074** | **78** |
消融实验还测了不同的特征提取网络选择,拿
写在后面
读完这篇论文,最触动我的其实不是具体的分数提升,而是那个"
它用一种很干脆的方式解释了一个我们在生成式AI里经常遇到但说不清楚的现象:为什么有些模型生成的东西"看着没错,但就是没有灵魂"。答案可能很简单,用均方误差训练出来的模型,天生就倾向于给出一个"保守的平均答案",而不是一个"大胆的具体答案"。这个道理其实不只适用于视频生成,文本生成里那种"正确但平庸"的输出,某种程度上也是同一种机制在作祟。
另一个值得琢磨的地方是,这篇论文没有去发明一个全新的网络结构,也没有引入额外的判别器(像GAN那样),它做的事情说到底就是换了一把"尺子"。原来用像素级误差量尺子,现在用一个预训练模型的内部特征当尺子。这种"不改架构,只改监督信号"的思路成本很低,却撬动了不小的效果提升,这也许提示我们,很多时候卡住性能的瓶颈,不一定在模型能力本身,而在你拿什么标准去要求它。
论文里还提到一个细节,他们尝试了不同深度的特征层,发现太浅太深都不行,五分之一深度最合适。这个"甜蜜点"是怎么找到的,论文没细说是不是靠系统搜索还是经验尝试,但这种"既不能太贴近原始数据,又不能太抽象"的调参智慧,其实在很多领域都似曾相识,调音响要找到合适的均衡点,熬汤要找到合适的火候,大抵都是同一类问题。
四步能把视频生成做到接近高步数的效果,这个方向会走多远,会不会有一天变成一步生成,这是个悬而未决的问题。
Q&A
Q1:RepForcing是什么?
A:RepForcing是一种把预训练视频扩散模型压缩成少步自回归生成器的蒸馏方法,核心创新是用冻结视频模型的内部特征来监督训练,而不是直接对像素或隐空间做回归,从而在四步生成这种极限场景下保留更多画面细节。
Q2:RepForcing相比之前的Causal Forcing方法好在哪里?
A:在四步分块生成设置下,RepForcing把VBench总分从84.04提升到84.66,VisionReward从6.326提升到10.074,提升幅度接近59.25%,同时省去了训练中间自回归老师和生成额外ODE轨迹数据的步骤。
Q3:为什么少步数视频生成容易出现模糊?
A:论文证明,常用的像素级L2回归训练出的模型,最优解其实是所有合理答案的平均值而非某个具体清晰画面,步数越少留给模型修正细节的机会越少,模糊就越明显,这是均方误差回归本身的数学性质决定的。