AI视频越生成越糊？论文找到元凶：两个角色抢一套参数

十个人排成一排传话，第一个人悄悄说一句，传到最后一个人嘴里常常已经面目全非——这种“传话游戏”不少人都玩过。AI生成长视频其实也在玩类似的游戏，只是玩得更久，一玩可能就是几万帧。

这篇论文要解决的，正是这个问题。

**AI生成的视频，为何越拍越崩**

先交代一个背景：眼下主流的AI视频生成模型，大多按“自回归”的方式工作。

所谓自回归生成，就是模型不会一口气把整段视频画完，而是像写小说那样一段接一段往下写，每写一段都得参考前面已经写好的内容。

这么做的好处很直接：能支持实时生成，也能无限往下延伸，很适合做交互式的“世界模型”，比如游戏场景、虚拟人这类应用。可毛病同样明显——视频越长，前面的误差越容易被后面继承、放大，到头来画面崩坏、人物变形、场景漂移，这类问题屡见不鲜。

过去几年，研究者想了不少办法来缓解。一个叫Self Forcing（SF）的方法提出，用“自己生成的历史”而不是“标准答案历史”来训练模型，让训练和实际使用的情况对得上号，不至于“平时在标准答案里长大，上了考场就懵”。这个思路确实管用，但SF有个取巧的地方：它把历史记录当成一份冻结的缓存，只让后面的生成结果去“读”这段历史，却不允许反过来调整“这段历史当初是怎么被写进缓存的”。

打个比方。你写周报，每周都要参考上周的工作记录。SF相当于规定：上周的记录你可以随便看，但“写周报总结”这件事本身的方法不能改，哪怕你发现过去的总结方式总是遗漏重点。时间一长，这种总结方式的缺陷不断积累，越往后的周报质量越差。

后来有人发现了这个漏洞，提出Self Gradient Forcing（SGF），让“写历史”这个动作也接受训练信号的指导，不再一成不变，长视频的稳定性一下子改善了。但论文作者们在用SGF时发现了一个让人意外的现象：有些生成出来的视频，第一帧的画质反而不如SF，明明SGF应该更强才对。

这个反常现象，成了整篇论文的起点。

**两个角色，一套参数，谁来背锅**

要理解这个反常现象，得先搞清楚自回归视频生成里到底在做两件什么事。

第一件事叫“去噪”，就是把一堆带噪声的像素一步步清理成清晰画面，这是生成当前这一帧或这一段的核心工作。第二件事叫“写上下文”，就是把刚生成好的干净画面编码成一种特殊格式存进缓存，供后面生成使用。

大多数模型里，这两件事用的是同一套参数。换句话说，同一个神经网络既要负责“把当前内容画清楚”，又要负责“把这段内容记录得对未来有用”。

论文作者做了一件很细致的事：分别测量这两个角色在训练时产生的梯度方向，看它们是不是朝着同一个方向努力。

梯度可以理解成“参数该往哪个方向调整”的指南针指向。方向一致，说明两件事的优化目标协调；方向相反，则说明两件事在互相拖后腿。

作者用 t-SNE 可视化（一种把高维数据压到二维平面上便于观察的技术）把“写上下文”和“去噪”产生的梯度画了出来，结果出人意料：在注意力模块和前馈网络模块里，这两类梯度都各自聚成清清楚楚的一团，并没有混在一起。再算两者平均方向的夹角，注意力模块是 104.2 度，前馈网络模块是 106.3 度，均大于 90 度，说明两个平均方向彼此相反。他们还统计了跨 128 个提示词、4 个去噪时间步、共 512 组配对的余弦相似度，结果无一例外，全是负数。

这意味着什么？意味着“写上下文”和“去噪”这两件事在同一套参数上拔河，而且几乎每次拔河都是往相反方向使劲。

打个比方，夫妻俩一起开店，一个管进货、一个管卖货，可决策权却只有一份、两人共用：管进货的想多囤点货应付旺季，管卖货的想少囤点货好加快周转，两边谁都说服不了谁，每次开会做决定，都在把对方的努力抵消掉，店开得磕磕绊绊。只要决策权不分开，两人各自合理的要求就会一直互相牵扯，谁也没法把自己那摊事做好。

开头那个反常现象也就有了答案：SGF虽然打通了“写上下文”接受训练信号这条路，但两个角色挤在同一套参数里互相拖拽，有时候反而连累去噪这个本职工作，画质不升反降。

**解法：两件事，交给两套参数**

既然两个角色在同一套参数上打架，顺理成章的想法就是各配一套参数，互不干扰。

这正是论文提出的核心方法，名叫Self Gradient Forcing Plus，简称SGF+。

SGF+在SGF的基础上，把“写上下文”和“去噪”这两个角色拆成两套独立参数，一个叫context writer（上下文书写器），一个叫denoiser（去噪器）。两者分别从同一个基础模型初始化，训练过程中各自独立更新。

论文采用的还是SGF那套两阶段训练。第一步叫“无梯度预演”，让模型照常自己生成一段视频，这期间不记梯度，只把生成的干净画面和带噪声的目标帧存下来，目的就是攒一份“自己生成的历史”。第二步叫“可微分重建”，拿存好的样本把计算过程再跑一遍，这回记梯度，未来预测产生的训练信号就能往回传到“写上下文”那一步，但信号走的路径绕开了完整的自回归循环，算力花销压得住。

SGF的第二阶段里，写上下文和去噪共用同一套参数，梯度混在一块儿，前面说的互相抵消就是这么来的。SGF+的做法不复杂：把这套共享参数拆开。上下文书写器用自己的参数接训练信号，去噪器也用自己的参数接，前向传播时两者照旧靠注意力机制配合——去噪器要读上下文书写器产出的缓存——可到了反向传播更新参数，各走各的路，谁也不再拖累谁。

还是拿那对开店的夫妻打比方。两人后来想明白了，索性分灶吃饭：一个专管进货，一个专管销售，店还是同一家店，进的货照样要卖出去，但拍板权彻底分开，谁都不用再迁就对方的判断。管进货的能安心琢磨怎么囤货划算，管销售的能安心琢磨怎么促销有效，各自把手头的事做到极致，铺子的整体运转反倒顺了。

论文还给了一份理论分析，从局部优化的角度证明：两个角色的梯度方向打架时，参数分离确实能换来更大的下降幅度。这说明设计不是拍脑袋定的，背后有数学撑着。

参数共享引发的方向冲突，其实不是训练久了才冒出来的毛病。论文拿一个没做过任何自回归训练、只经过“标准答案式”教师强制训练（Teacher Forcing，简称TF，即用真实历史画面训练，而非模型自己生成的历史）的初始模型做了测试，同样的冲突已经在了。50步的扩散时间表里，从第0步（上下文书写，用干净画面）切到第1步（去噪，开始处理带噪声的输入）那一瞬间，梯度方向急转，注意力模块和前馈网络模块的平均夹角分别为95.1度和105.1度，也都超过90度。可见这两个角色从一开始就“性格不合”，并非训练途中才闹掰。

**效果：不只是稳，是真的更清楚**

设计理念说了这么多，实际跑出来怎么样？

论文在VBench基准上做了系统评测，生成时长覆盖5秒、60秒、240秒，模式上分了逐帧生成和逐块生成两种。这里有个前提：训练用的视频窗口只有5秒，60秒和240秒的测试等于让模型外推到远超训练长度的尺度，长视频稳不稳，这是硬指标。

拿240秒逐块生成来说，SGF+的主体一致性98.21分，背景一致性97.31分，画面闪烁97.57分（这项分数越高，画面抖动越少），运动流畅度98.63分，美学质量64.74分，成像质量71.39分，几乎全面压过SF和SGF。60秒逐帧生成的场景里，SGF+主体一致性达到99.08分，是三种方法中最高的。

有个指标挺有意思，叫Dynamic Degree（动态程度）。论文专门解释了SGF+在这项上为什么常常不是最高分。

动态程度衡量的是视频画面变化幅度，数值越高，理论上动作越丰富。可论文发现，画面崩坏、场景突然跳变、人物莫名其妙变多这些生成失败的情况，也会被这个指标误判成“动作丰富”，光看这个数字容易上当。

打个比方，一个人总把杯子打碎，动作确实够“丰富”，可这不是我们要的那种丰富。SGF+生成的视频画面更稳、动作更连贯，这项指标反而不占优，恰恰说明它没在制造虚假的“动态感”。

论文还做了模块级消融实验：只在注意力模块分离参数，或只在前馈网络模块分离参数，效果都比不上两个模块全分离的完整方案。可见注意力模块本身就存在明显的角色冲突，光靠类似专家混合（MoE，一种让不同输入走不同子网络处理的架构设计）那样只在前馈网络层面做区分并不够，冲突贯穿整个网络结构，不是某个模块独有的问题。

效率上论文给了实打实的数字。SGF+把生成器参数量从14亿翻倍到28亿，但每个token在前向传播时只调用自己角色对应的那套参数，实际计算量并不会跟着翻倍。81帧视频的推理时间从SGF的4.962秒变为4.969秒，几乎没差别，推理显存从24.85GB涨到27.96GB。训练端每步耗时从11.79秒涨到12.76秒，多了大约8.2%。这点代价换前面那些画质和稳定性提升，账算下来划算。

最让人印象深刻的，是论文标题里点到的那个场景：训练视频只用5秒，SGF+却能连续生成长达24小时的视频，还不用额外做“长视频微调”。论文管这叫“原生长时外推”——长时间生成的能力是在有限训练窗口里自然学出来的，不是靠堆更长的训练数据硬磨。

这几个数字摆在一起更有感觉：训练只看了5秒的内容，却能在24小时的尺度上保持连贯，训练和应用的时间跨度差了接近17280倍。好比一个人只学了5秒钟的走路姿势，靠这5秒的记忆稳稳走完一场马拉松，中途不崴脚不摔倒。能做到这点，靠的不是记住了更长的路线，而是把“怎么稳定地迈好每一步”这件事本身学扎实了。

**这篇论文还留下了什么没解决的问题**

论文作者也挺坦诚，点出了两个可以继续挖的方向。

头一个是世界动作模型（World Action Models，简称WAM，一种结合视觉生成和动作预测的模型，常用于机器人控制和具身智能场景）。这类模型通常也拿教师强制的方式训练，而前面说的梯度冲突在TF初始化阶段就已存在。那么角色分离的思路能不能搬到WAM里，让历史画面的表示和动作预测各自独立训练，或许能带来类似的提升。这是个开放且有价值的延伸方向。

另一种思路落在轻量化上下文书写器上。既然上下文书写和去噪能各用一套参数，那上下文书写器是否可以做得更小、更省，只专门学一件事——把冗余的历史视频压成紧凑的缓存表示，去噪器则原样不动？真能做成，缓存吃掉的显存和计算开销都会降，对想跑更长、更多路生成任务的场景来说，这很有吸引力。

论文作者还提到模型融合（model merging）一类技术，觉得将来也许能找到比简单参数分离更细的办法，把两个角色的优化协调起来。不过这部分没有展开，留给了后续研究。

Q&A

Q1：SGF+是什么？

A：SGF+（Self Gradient Forcing Plus）是一套自回归视频生成的训练方法。它把"写上下文"和"去噪"两个角色拆成两套独立参数，分别训练，避开两者共用参数时相互拖累的问题，由此把视频生成的画质和长时间稳定性提上去。

Q2：AI生成的长视频容易画面崩坏，原因在哪？

A：自回归生成是一段接一段往下写的，每一段都得参考前面生成的内容，前头的误差于是被一路继承、一路放大。论文还发现，负责"记录历史"和负责"生成画面"这两个过程一旦共用同一套参数，训练信号的方向常常相反，问题就更严重了。

Q3：SGF+只用5秒视频训练，真能生成24小时视频？

A：能。论文实验显示，SGF+仅用5秒的训练视频窗口，就能支持连续生成长达24小时的视频，也不用额外的长视频微调，这种能力被称为"原生长时外推"。