AI长视频越往后越糊：港中文与腾讯AIPD论文找到元凶

刷AI生成的长视频时，开头画面往往还算正常，往后却越来越怪——颜色泛绿发紫，物体边缘糊成像素块，原本清楚的狗身上突然冒出马赛克似的斑点。设备没毛病，这是整个视频生成领域一直没解决的老问题。香港中文大学和腾讯AIPD的这篇论文，专门来拆它。

**问题到底出在哪**

眼下做长视频的主流路子，是让AI一段接一段往下生成，前面产出的内容充当后面生成的参考，好比写小说得先有第一章才能写第二章。这种做法有个专业名称。自回归视频生成*：模型按时间顺序逐段产出视频，每段新内容都拿此前生成的内容当参考，像接龙一样往前推。

麻烦在于，AI生成的每一段都做不到100%完美，总会留下些细微瑕疵。第一段画面稍微带点噪点，第二段接着它生成时，这点噪点就成了“既定事实”，被AI当作正常内容延续下去，再在这个基础上添一点新误差。十段过去，误差像滚雪球般越滚越大。论文里提到，训练时通常只练5秒钟的片段，可实际用起来谁会只生成5秒？用户往往要几十秒甚至几分钟，这就是训练和测试之间的差距。

为了让模型提前适应这种“自己给自己挖坑”的局面，研究者想了个办法：训练阶段也让模型拿自己生成的内容当参考，反复练这种自产自销的循环。可新问题又来了——模型生成的视频和真实视频长得不完全一样，没有现成的“标准答案”可以对比纠错，怎么判断生成得好不好？

于是引出了分布匹配蒸馏这项技术。分布匹配蒸馏(DMD)*：一种训练方法，不要求生成内容与某个具体真实样本完全一致，而是找一个更强的“教师模型”来打分，只要生成内容的整体风格、质感符合教师模型心目中“好视频”的标准就行，相当于请了个质检员，而不是对答案。

这个教师模型一般是个更大、更强的双向视频扩散模型，过去和未来它都能同时看到，判断力比边生成边决策的学生模型强得多。听起来这套流程挺完美——一个强大的裁判实时给选手打分纠错。但论文作者发现，这套看似合理的机制里藏着一个致命的设计缺陷。

**元凶原来是联合打分**

这个缺陷说出来挺反直觉。你或许以为，教师模型这么强，肯定能揪出视频里的瑕疵，逼学生模型改正。事实恰恰相反，教师模型的“全局视野”反倒成了纵容错误的帮凶。

问题出在教师模型打分的方式上。现有方法里，教师模型把整段视频——包括已经生成的历史画面和当前正在生成的新片段——打包在一起整体打分。这就带来一个两难：如果视频前面已经出现颜色失真、纹理损坏，教师模型给当前这段打分时没法回头修改已生成的历史画面，只能眼睁睁看着错误摆在那里。

这时如果教师模型硬要求当前这段突然变得干净漂亮，会怎样？整段视频就会出现突兀的跳跃感，前一秒还脏兮兮，后一秒突然干净了，这种断层本身也不自然。于是教师模型做了个权衡：为了维持前后画面看起来是连贯的同一条视频，它选择容忍当前片段也带点历史遗留的瑕疵，用牺牲清晰度去换所谓的“一致性”。

论文里有张对比图特别直观：画面里是一只猫头鹰，随着自回归生成推进，背景的树叶渐渐出现诡异的噪点和色彩错乱。在传统的联合打分机制下，教师模型给出的“标准答案”里，这些噪点竟然被保留了下来，仿佛教师模型在说“没事，这样才算连贯”。换成论文提出的新方法后，教师模型给出的标准答案是干净清晰的猫头鹰，完全不受历史瑕疵拖累。

这个发现其实挺值得琢磨。我们通常以为，给AI提供更多上下文信息总是好事，信息越全面判断应该越准确。可在这个场景里，恰恰是这种“顾全大局”的思维，成了阻碍局部纠错的枷锁。

举个例子。你若是作文批改老师，手里是一篇由学生接力写成的文章，前半截用词粗糙、错字一堆，等你批到最后一段，发现它文笔漂亮、条理分明。这时你会不会为了“跟前文风格统一”，特意把这段改得平庸一点，让整篇读着不扎眼？正常的批改当然不这么干，每段该单独打分，好在哪、差在哪都照实说，不能让前面写砸的部分拖累后面写得好的部分。可视频生成里的教师模型，偏偏因为被要求“整体打分”，栽进了这个坑。联合评分这套机制不打破，教师模型再强，它给出的纠错信号也会被历史包袱冲淡；生成越往后，包袱越沉，纠错越软——长视频生成质量崩掉，根子就在这儿。

**让每一段单独接受审判**

病根找准了，论文给的解法挺直接：联合打分既然会被历史连累，那就别联合，每个视频片段单独交给教师模型看，教师只判断这一段本身画得好不好，前因后果一概不管。

这个方法论文里起名叫做滚动边际蒸馏。滚动边际蒸馏(RMD)*：一种新的训练目标，让模型在生成时依然参考历史画面来保证内容连贯，但在评判生成质量好坏时，只针对当前这一个片段本身打分，完全不考虑它前后的画面内容。

有个细节安排得挺巧：生成环节照旧走自回归，该参考历史还参考历史，否则内容早对不上了，人物可能上一秒在跑、下一秒就坐下。动的只是打分这一步，把历史这个干扰项拿掉。打个比方，生成像正常接龙写故事，批改时老师只盯你刚写的这段有没有语法错、用词准不准，不会因为前面同学写得差就对你格外苛刻，也不会为了迁就前文风格就压低你这一段的分数。

这套独立打分要真正运转起来，还有个技术细节得解决。视频第一帧和后续帧在数据结构上并不一样。论文里提到，视频生成模型采用的编码方式叫视频VAE。

视频VAE*指的是一种编码器，它把视频压成更紧凑的数据表示，便于模型处理。第一帧不涉及时间维度上的压缩，所以它的数据特征跟后面那些帧差别明显。

这个差别会带来麻烦：如果直接拿一个为“整段视频”设计的教师模型，去给一段从视频中间截出来、脱离上下文的独立片段打分，教师模型可能把它当成视频开头，用错的标准去评判。研究者的做法是用LoRA技术，把教师模型放到大量“视频中间片段”上重新调教，让它学会给没头没尾的中间片段打出合理分数。

LoRA*是一种轻量化的模型微调技术。它不用重新训练整个大模型，只调整一小部分参数，就能让模型适应新任务，好比给西装做局部改款，而不是从头定做一件新衣服。

论文里还有个很细腻的设计，叫非对称去噪出口策略。视频生成每一步都要经过多轮去噪，把噪声图像逐渐变清晰。对视频的第一段，研究者会在去噪过程的某个随机中间步骤打分；后续片段则坚持只在去噪最后一步、画面最清晰的那一刻打分。

论文解释说，去噪早期主要靠参考历史信息来确定整体运动走向，这时候强行用独立打分干预，反而会破坏模型原本学到的运动连贯性先验知识；到了去噪末期，模型主要在精修局部细节，独立打分正好用来把关画面质量。消融实验也验证了这一点：把这个非对称设计去掉、全都用随机步骤打分，视频会出现严重的时间抖动，总分从81.26掉到78.29。

**独立打分的代价：视频片段之间开始“各自为政”**

不过天下没有免费的午餐。独立打分解决了历史包袱的问题，却也带来新麻烦：每一段都单独评判、单独优化，片段和片段之间的衔接就没人管了。

论文里的消融实验很直观。只用独立打分训练出来的模型，视觉质量分数确实很高，达到84.90分，但把视频按时间轴切一条线做成时空切片图来看，画面里出现了锯齿状的抖动痕迹。每一帧单独看都挺漂亮，帧与帧之间的运动衔接却变得生硬、跳跃。

这个现象其实也不难理解。想象一个合唱团，把每个人单独关在隔音房里训练发声，每个人唱出来的音色、音准可能都无可挑剔，可重新放到一起合唱时，彼此从没配合练习过，节奏、换气的时机全对不上，合唱效果反而一团糟。这种“各自为政”的问题不解决，视频里就会出现动作衔接不连贯、画面忽闪忽跳的毛病，观感上甚至可能比原来联合打分时还要别扭。

所以论文的完整方案是两步走。先用独立打分的方式，把每个片段训练到足够清晰干净，解决历史瑕疵累积的问题；然后在此基础上再补一轮传统的联合打分训练，这一轮不纠正单帧画质，专门用来抚平片段之间的衔接，让运动轨迹重新变得顺滑连贯。实验数据显示，加上第二步补课之后，画面主体一致性从97.29提升到98.05，运动平滑度从98.79提升到98.96，时空切片图里原本锯齿状的抖动痕迹也变得顺滑了。

这个“先独立精修、再统一打磨”的两段式思路，其实揭示了一个更普遍的道理：很多看起来矛盾的目标，未必需要用一个模型同时兼顾，分阶段、各个击破有时候反而更有效。

**实际效果怎么样**

说了这么多设计思路，最终效果到底如何？

论文用了一个叫VBench-Long的评测体系来打分，涵盖944个不同的文字提示，每个提示生成5次视频，统一在60秒时长下进行评测。

对比的基准方法包括Self Forcing和Causal Forcing，这是目前该领域比较有代表性的两个自回归视频蒸馏方案。结果显示，在片段大小为1的设置下，RMD的总分达到81.26分，而Self Forcing只有70.94分，Causal Forcing是69.88分，差距超过10分。更细分的质量分数上，RMD是84.52分，明显高于对手的77到78分左右；语义理解分数差距更夸张，RMD是68.24分，Self Forcing只有43.17分，Causal Forcing更低，只有36.03分，几乎是打了对折。

论文还专门做了一个追踪实验，看视频时长拉长后质量如何变化，从10秒一路测到60秒。结果很说明问题：RMD的质量分数从10秒时的84.68，到60秒时只轻微下降到84.52，几乎纹丝不动。而Self Forcing的总分从79.12一路跌到70.94，整整掉了8个多点。这还只是60秒的数据，如果继续拉长，差距只会更悬殊。

论文里最直观的展示是一张图：把训练时长只有5秒的模型，硬是拉到生成500秒视频，也就是训练时长的100倍。画面里是沙滩、海浪、沙漠、蘑菇、篝火这些场景，从视频开始一直到500秒处，画面始终保持着清晰的质感和稳定的结构，没有出现业内常见的颜色崩坏、结构扭曲。这整个过程完全依赖一个滑动窗口机制去参考最近的历史画面，没有用任何固定的记忆锚点，也没有改动模型架构本身，纯粹是靠训练方式的改进撑起来的。

**写在后面**

论文里有个细节挺耐人寻味。研究者并没有另起炉灶造一套新架构，也没往记忆机制上继续加码，反倒盯住了一个大家早就当成理所当然的训练环节发问：教师模型打分，究竟该覆盖多宽的上下文？这种重新翻检基础假设的做法，比一味加算力、加参数更费劲，可也更容易摸到问题的根子。另有一处也值得多想：文中说独立打分会让片段之间出现抖动，这背后其实藏着一层更深的矛盾——想让局部够优、又想让整体够连贯，单靠一个目标函数很难两头都顾上。说到底，这不单是视频生成一家的难题；不少既要局部精准、又要整体顺滑的系统设计，恐怕都绕不开分阶段取舍这条路。

论文没有绕开自身的短板。500秒的超长演示只算定性案例，并未进入正式的量化评测。换成人物对话、多物体复杂交互这类更吃长程记忆与逻辑一致性的场景，独立打分机制还顶不顶得住，论文把这个问题留了下来。

Q&A

Q1：视频生成里的滚动边际蒸馏，到底解决了什么麻烦？

A：它针对的是长视频自回归生成中画质一路走低的现象。做法是让教师模型对每一段视频单独打分，当前片段的纠错信号就不会被此前留下的瑕疵带偏，模型即便跑到远超训练时长，画面也能保持清晰稳定。

Q2：传统分布匹配蒸馏放到长视频生成里，为什么会失灵？

A：老办法是让教师模型对整段视频联合打分。历史画面一旦有瑕疵又改不回来，教师模型为了前后连贯，往往选择把这些瑕疵留着，而不是硬修，误差便在生成过程中越滚越大。

Q3：RMD做出500秒长视频，靠的是哪套机制？

A：靠的是一个滑动窗口，一直参考最近生成的历史画面。它没有设固定记忆锚点，也没加额外的显式记忆模块，生成模型本身的架构同样没动，超长时间下的稳定生成完全来自训练方式的改进。