LongTake论文：长视频生成模型为何越跑越呆，怎么破

刷到过AI生成的长视频吗？前几秒还挺抓人，人物走动、镜头推拉都像回事。可再往下看，画面会忽然“定”在那儿。人还在原地晃，背景也几乎不变，故事本该往前走，却像被谁按了暂停，视频却还在播。

这种情况并非孤例。眼下所有自回归视频生成模型，都躲不开这个通病。

更反直觉的是：这类“卡死”的视频，放到不少评测指标上，成绩反倒不差。

原因在于，常用指标更看重画面稳不稳、前后帧接不接得上。一个几乎不动的视频，恰恰最“稳”。局面就变得荒唐：模型越学越懒，分数却越打越高。KAIST和佐治亚理工的论文LongTake，盯上的就是这件事。

视频生成模型为什么会“越跑越呆”

要弄明白这个问题，得先看看现在主流的长视频生成模型是怎么干活的。

自回归视频生成

自回归（AR）视频生成：模型像接龙，一段接一段地往下生成。每产出一段新内容，都得回头参考前面已经生成的部分。这个“参考前文”的动作靠KV缓存完成，之前帧的关键信息都存在里面，后续生成时随时调阅。

问题出在哪？训练阶段，这些模型通常只拿五秒左右的短视频来喂。可真到用的时候，不管是世界模型、游戏引擎，还是长镜头创作，动辄要生成几十秒甚至几分钟。模型等于小学刚毕业就被拉去考大学题，它从没见过“三十秒之后的画面该怎么接”这类样本，只能自己瞎猜。猜着猜着就没词了，画面掉进一种“安全但空洞”的循环。

论文里有个很关键的洞察，就是这么引出来的：那些要几十秒才展得开的动态变化，短视频训练根本给不了任何直接的监督信号。

这句话到底什么意思，得停一下说清楚。

假设一个动作、一段剧情要三十秒才能完整演完，而训练视频只有五秒，那模型压根没见过“这个动作到第十五秒该是什么样”的例子。它能做的只有外推和猜测，时间拉得越长，猜错的概率就越是往上堆。

好比教一个厨师做菜，却只给他看“切菜”这一步的教学视频，炒菜、调味、装盘全没看过。真让他做一桌完整的菜，切菜他熟，后面的步骤只能自己琢磨。不给看完整过程，他大概率会在某个环节卡住，要么反复切菜，要么端出一盘四不像。短视频训出来的AR模型，面对长视频生成任务，就是这个处境。

论文作者把这个毛病拆成两层“鸿沟”：教师鸿沟和学生鸿沟。

教师鸿沟说的是，模型训练时见过的KV缓存状态，也就是“短期记忆”里装的东西，和它在真实长视频推理时碰到的KV缓存状态，完全不是一回事。训练时缓存里只有五秒内的内容，推理时却要处理几十秒攒下来的信息。

学生鸿沟是另一个老问题：训练时模型看到的“前文”是真实视频里的真实画面，推理时看到的“前文”却是自己生成的、可能已经带瑕疵的画面。训练和推理之间的这道落差，业内常叫“训练推理差距”。

两个鸿沟叠在一起，就是长视频生成翻车的根源。LongTake这篇论文的路子是，先集中攻教师鸿沟，再顺手把学生鸿沟处理掉。

用真实长视频补课：Long-Horizon TF是怎么做的

短视频训练给不了长距离的监督信号，那最直接的办法是什么？

找真实的长视频喂给模型，让它亲眼看看，三十秒之前发生的事，是怎么影响第三十秒画面的。

论文提出的第一个核心方法就是这个：Long-Horizon Teacher Forcing（长时程教师强制）。

教师强制

教师强制（Teacher Forcing）：一种常见的训练技巧。模型预测当前帧时，直接看真实的历史帧当参考答案，而不是看自己之前生成的、可能有误差的结果。这样训练过程会更稳。

传统教师强制只在短视频片段里操作，等于让模型做“抄近道”的练习题，答案就在眼前几步远。Long-Horizon TF不这么干：从真实长视频里随机截一个起点，把起点之前的所有内容都塞进KV缓存，再让模型去预测紧跟着的一小段画面。

关键在“起点”可以落在视频的任何位置，第5秒也行，第27秒也行。这就意味着，模型不光要学会“刚开场怎么演”，还得学会“演到第27秒的时候，接下来该怎么接”。

论文点出了一个技术细节：视频前缀越长，模型并不会把全部历史帧都堆进缓存，否则计算量会失控。它采用的是“sink+recent”（锚点+近期）缓存策略——保留视频最开头几帧当锚点，同时留住最近若干帧，被挤出中间位置的部分，要么按FIFO直接丢掉，要么通过加权平均融进锚点（EMA）。

这套思路和人的回忆方式挺像。回想一趟长途旅行，你没法把路上每一分钟都记得一清二楚，能留下的是出发时的画面（锚点），加上最近发生的几件事（近期记忆），中间那些零碎细节，要么忘干净，要么糊成一种“大概的印象”。

取舍机制要是不做，模型就面临两难：要么被信息量压垮、计算成本失控，要么死守最初几秒、把中间的演变全丢掉，画面也就越来越僵。

那这种训练方式真管用吗？论文给出了一个挺扎实的发现：用Long-Horizon TF训练出来的模型，能直接拿去做后续蒸馏，效果明显好过传统短视频训练模型，甚至不需要中间那道额外的“几步蒸馏”工序。

这个结果有点意外。在这篇论文之前，业内标准做法分三步：先训练一个多步扩散模型，再做一次因果蒸馏把它变成几步模型，最后进行自我展开的分布匹配蒸馏。LongTake说明的是：只要第一步教师强制训练用了足够长的真实视频，第二步那道专门的“瘦身”工序完全可以省掉。

省一道工序，听起来只是工程上的方便，但背后的信息更关键：病根本来就在“教师没见过长距离的例子”，不在“学生模型结构不够精简”。病根找对了，药到病除自然更快。

蒸馏阶段：让模型在自己的“回放”中学习

教师模型能看懂长视频，这一步完成之后，就该让它去带一个更轻量、出片更快的“学生”模型了。用的技术叫分布匹配蒸馏。

分布匹配蒸馏

分布匹配蒸馏（DMD）是这样一种训练方法：小模型（学生）去模仿大模型（教师）的输出分布。它并不要求学生把教师每一步操作都精确复制下来，只要求生成内容的整体分布与教师接近，于是用更少的计算步骤也能拿到差不多的效果。

但这里有个更棘手的问题：学生模型实际生成视频时，用来参考的“前文”是它自己刚生成的画面，不是真实视频。训练时如果只用真实视频片段，学生模型一旦在推理阶段看到自己生成的、带瑕疵的画面，就可能不知所措，这就是前面提到的学生鸿沟。

应对办法叫自我展开训练：先让学生模型自己产出一段视频，再把它生成的内容与教师模型的输出做比对、算出损失，反过来去更新学生模型的参数。

其中有个工程上的巧思，叫梯度回放。完整的自我展开生成过程计算量极大，倘若每一步都反向传播梯度，训练开销会高到无法承受。论文借用了Self Gradient Forcing的思路：先让学生模型把自我展开完整跑一遍，这一遍不记录梯度，只随机选一个去噪步骤，把当时的输入存下来；随后拿这些存下的输入重做一次前向计算，这回才开启梯度追踪，用于参数更新。

打个比方，这像排练话剧。演员先把整场戏走一遍，不必计较灯光音响是否到位，只找找感觉、记住几个关键转折点。到了真正打磨演技的时候，导演不会让演员从头到尾再演一遍去抠每个细节，而是把那几个关键转折点单独拎出来，反复练、细细磨。否则每调整一次都得从头演到尾，排练效率低得没法接受。

Hybrid DMD：把长距离监督也用上

标准DMD训练只在五秒左右的短窗口内做联合监督，窗口以外的帧，学生模型仍然拿不到直接的指导信号。这跟开头说的教师鸿沟其实是同一回事，只是这回出现在蒸馏阶段。

论文给的解法很顺：第一阶段既然已经训出一个会看长视频的AR教师，那何不把它也拉进蒸馏阶段，专门去管窗口之外的那些帧？

Hybrid DMD（混合分布匹配蒸馏）的核心思路正在于此。监督被拆成两块：窗口内仍由原先那个双向教师模型（能看到完整视频上下文的大模型）联合监督；窗口外则交给Long-Horizon TF训练出的AR教师，针对每一个新生成的片段，以学生模型自己生成的前文为条件，给出一个“条件目标”。

这里有个微妙但重要的设计区别。论文特意提到，它跟同期的Context Forcing方法不一样：Context Forcing是用一个共享的前文去联合打分一整个目标窗口，而Hybrid DMD是每生成一个新片段，就用当前最新的、由学生自己更新过的KV缓存去打分一次。

这两种做法的差别，好比两种辅导方式。一种是把整篇作文的批注提前写好，让学生照着改；另一种是学生写一句、老师看一句，依据学生刚写出的内容给针对性建议，再接着写下一句。后一种显然更贴合学生实际的创作状态——学生每写一步都可能偏离预想，提前写好的批注未必还对得上。Hybrid DMD选的是后一种，让监督始终跟着学生实际生成的内容走。

论文还加了一个权重系数λ，用来调节这种条件监督相对联合监督占多大分量。实验显示λ取0.2时效果最佳，动态程度和整体质量在这个点上平衡得较好。

效果到底怎么样

说了这么多方法设计，最终还是要看数据说话。

论文选用的基础模型是Wan2.1-T2V-1.3B，在832×480分辨率、16帧每秒的设置下测试。评测用了两套场景：30秒生成用128条来自MovieGen的提示词，60秒生成用251条VBench-Long的提示词。

评测体系里设了几个核心指标。

VBench 是业内用得比较多的视频生成质量评测框架，主体一致性、背景一致性、动态程度、美学质量、成像质量等维度都覆盖在内，用来综合衡量生成视频的表现。

动态程度看的是视频里究竟有没有“动起来”，美学质量看的是画面好不好看。这两个指标常常互相拉扯：模型越想稳住画面、保持美观，就越容易把动态变化压下去。

30秒测试的结果呈现出清晰的趋势：几乎所有对比方法都是美学质量越高、动态程度越低。LongLive 美学质量63.21分，动态程度只有41.25；Self Forcing 动态程度40.42，美学质量60.66。LongTake 美学质量62.51，动态程度却达到90.73，叠加 Hybrid DMD 后进一步升到96.30分，美学质量仍保持在62分以上。

论文里的说法很直接：凡是美学质量高于 LongTake 的基线方法，动态程度都没超过58分；唯一动态程度破90的基线方法 Rolling Forcing，美学质量又比 LongTake 低3.9分。换句话说，眼下只有 LongTake 同时站到了“动得起来”和“看起来还不错”这两条线的最前端。

论文用“帕累托前沿”这个概念来描述它所处的位置。

帕累托前沿

帕累托前沿指的是：在多个彼此冲突的目标之间，找不到另一个方案能在不牺牲任何一个目标的前提下让至少一个目标变得更好；落在这条线上的方案，都代表某种“没有更优解”的平衡点。

无论30秒还是60秒，LongTake 都处在这条前沿线上，并且是线上唯一动态程度超过90的点。

60秒长视频测试更能看出模型的真实能力，因为这已经远远超出训练阶段的监督范围（Long-Horizon TF 最长只监督到30秒）。在这项更严苛的测试里，LongTake 动态程度为94.72，叠加 Hybrid DMD 后是97.36，依旧领先所有对比方法。

论文还补了一组视觉稳定性评测，用到两个指标：ΔIQ 衡量视频首尾五秒成像质量的绝对变化；VLM 曝光评测则请大语言模型 Gemini 当裁判，给视频的曝光稳定性打分，避免画面过曝或欠曝造成细节丢失。LongTake 在这两项上都表现稳健，说明它的高动态程度并不是靠牺牲画面质量换来的。

论文在这里提醒了一个容易被忽略的陷阱：动态程度低的视频，往往每一帧都清晰锐利，各项一致性指标也很漂亮，可它其实已经偏离了提示词描述的内容。提示词写的是“女人在东京街头漫步”，生成的视频里她却从第8秒到第30秒几乎保持同一个姿势和位置——这种视频本质上是在“拖时长而不增加内容”。这正是长视频生成领域最容易被评测指标掩盖的问题。

消融实验：调参数带来的取舍

论文还针对 λ 参数做了一组消融实验，其他训练条件固定不变，只改动条件监督的权重。

结果显示，λ 从0逐步提高到0.4的过程中，动态程度在 λ=0.2 时冲到峰值96.30，之后略有回落；主体一致性和美学质量则随着 λ 增大略微走低。可见条件监督确实带来一种可调节的取舍：权重加大，动态效果更强，画面稳定性却要打点折扣。研究者最终选定 λ=0.2，是在这条取舍曲线上找到的相对均衡的点。

这种调参逻辑有点像调一辆车的油门灵敏度。调得太轻，车子反应迟钝，怎么踩都感觉不到推背感；调得太猛，车子一点就窜，操控稳定性下降。λ=0.2 就是工程师试出来的那个“既有劲又不失控”的区间。

论文的局限性与未来方向

作者也坦承地指出了这个方法目前的边界。

Hybrid DMD 的效果，很大程度上取决于那个 Long-Horizon AR 教师自身的预测质量。学生在自我展开过程中生成的画面一旦出现误差，又被教师当成“正确的前文”来打分，误差就可能被放大。论文提到，未来可以考虑引入 Stable Video Infinity 论文里的“错误回收微调”技术，让教师模型对带噪声的输入前缀更鲁棒。

另外，目前所有实验都基于13亿参数规模的模型，生成时长测试也只做到60秒。规模更大的模型、更长的生成时长会是什么效果，论文没有给出答案。

写在后面

读完这篇论文，最触动我的是那个关于评测指标的悖论。

一个几乎静止的视频，在很多常规指标上反而能拿高分。这意味着整个行业可能正用一套系统性偏向“保守”的标准，去评价一个本质上需要“创造变化”的任务。这让我想起之前读到的一些强化学习研究里的“奖励黑客”现象：给智能体设定一个不够周全的目标函数，它总能找到钻空子的捷径，用最小的努力拿到最高的分数。视频生成模型学会“装死”骗过一致性指标，某种程度上也是同一种现象的变体。

换个角度看，LongTake 这篇论文的解法，关键不在搭出多复杂的新架构，而在把训练数据的时间跨度重新想了一遍。

这跟更早的一个判断对得上。论文引了 Brooks 等人 2022 年的工作，里面说得很直白：序列长度要是短于某个效果发生的周期，这个效果就拿不到训练信号。这条规律恐怕不只在视频生成里成立，任何要建模长期依赖的任务都一样。语言模型想读懂长篇小说的情节走向，机器人要学着完成一个几十步的任务，训练数据的跨度盖不住任务真正展开的尺度，模型多半就会在这个尺度上掉链子。

论文还提到了另外两项后续工作。Context Forcing的做法是拿真实长视频训练一个长上下文教师，差别在蒸馏环节，它是对整个目标窗口统一打分；Context-Matched Distillation更进一步，在教师打分的条件前缀上加了扰动，让学生自己展开时出现的误差不至于影响监督效果。两条路线加上LongTake，切入点各不相同，盯的却是同一个核心问题。用长视频数据来补课，在这个领域里正慢慢成为一种被接受的做法。

一段视频要有什么样的动态，才配叫"活"？这恐怕已经不只是技术层面的问题。

Q&A

Q1：LongTake是什么？

A：这是KAIST与佐治亚理工联手提出的两阶段训练方案。自回归视频生成模型在长时间生成时容易画面僵住、质量下滑，这套方案就是冲着这个毛病去的，关键在于用真实长视频教模型预测更远的未来帧。

Q2：长视频生成模型为什么会变"呆滞"？

A：原因在于训练素材通常只有五秒上下的短视频，模型压根没见过几十秒之后画面该怎么变，推理时只能往外推着猜。评测指标又常常偏向静止的画面，模型于是乐得偷懒，干脆不动。

Q3：Hybrid DMD和普通DMD训练差在哪？

A：普通DMD只在几秒的短窗口里做联合监督，窗口之外的帧没人管。Hybrid DMD多请了一位学过长视频的AR教师模型，窗口外每冒出一个新片段，就用学生自己生成的前文现场打分、现场指导，更长的生成过程也就有了有效监督。