清华团队提出样本分布训练：一步生图达SOTA，8卡搞定14B流式视频

对着屏幕说一句“向左转”，画面就展开新的视野；改动角色动作，场景马上给出反馈。视觉生成得跟得上人的操作，等多太久，体验就断了。

于是 few-step generation（少步生成）成了交互系统的命门。把生成压到一步或者少数几步，省出时间和算力来持续响应，还得保住质量——这是生成模型迈向实时多模态交互、进一步接上世界模型绕不开的问题。

一步生图做到 SOTA，8 卡完成 140 亿参数流式视频模型后训练。清华大学等机构的研究者拿出 MGFlow 与 Elastic Forcing，两份成果彼此呼应。

MGFlow 在 ImageNet 256×256 生成中，后训练 pMF-H、JiT-H 拿下单步生成 1.45、1.64 FDr⁶ 的断崖式 SOTA；在 FLUX.2 [klein] 4B 文生图对照里，一步生成的 GenEval 达到 0.900，PickScore 达到 21.98，超过原版 4 步模型，也领先所有同规模 baseline。Elastic Forcing 用更少算力，在 VBench 上拿到 84.64 总分，大幅超过 Self Forcing，同时用 8 张 H200、23.2 小时完成了对 14B 生成模型的流式实时生成改造。

两项工作盯着同一个问题：生成过程被压到一步或少数几步之后，能不能让一批生成结果，直接从一批参考结果里学到“整体应该长什么样”？

MGFlow 从理论上说清这类监督为什么能带来有效更新，Elastic Forcing 则回答它怎么扩展到烧钱的视频训练。把两者连起来的，是一种新训练方法：样本分布训练（distributional training）。它基于样本统计，在分布层面做监督——拿生成样本和参考样本的整体分布去比，不必给每个生成结果预先指定唯一参考答案。说白了，就是让模型从“分布对分布”的比较里学。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

Volcanic dusk｜火山暮色。Elastic Forcing 五步流式生成。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A field of sunflowers｜向日葵花田。Elastic Forcing 五步流式生成。

从逐个“对答案”，到一批结果共同学习

生成任务一般没有唯一答案。同样画“山谷中的河流”，换个视角、光照、构图都成立。模型要学到的，是这组合理结果有多丰富。

多步扩散能一轮轮修结果，一步生成器却得在一次网络调用里完成从噪声到图像的映射。压缩后的模型能不能覆盖目标数据里的内容和变化？样本分布训练直接看整批生成结果，把这种整体差距变成学习信号。

它先用冻结的视觉编码器，把生成样本和参考样本映射到特征空间，再比较两组特征的分布。参考集合里若是有多种模式，生成器却只会其中一种，哪怕单个结果很漂亮，整体还是没学对。

特征空间让这种比较有了着力点：不同编码器可以关注语义、外观或者时序结构，把像素层面的复杂差异变成可比较的表征。这样一来，参考集合里“有哪些结果、各占多少、彼此怎么变”，都可能成为训练信息。

每条样本怎么更新，要看它和整个集合的关系。这种关系可以是共享的统计量，也可以是样本之间的相互作用，也就是“集体监督”。学分布本来就是生成建模的目标；这里的关键在于，从样本集合出发，直接把这种监督构造出来。

接着就有两个连在一起的问题：分布差异怎么变成有效更新？这种训练怎么在昂贵的视频模型上算得起？

MGFlow：把不同方法放进同一套分布优化框架

已有方法露出了集体监督的雏型，可出发点并不一样。FD-Loss 把 FD 指标当 loss 引入，比较两组特征的均值与协方差，从整体损失求梯度；Drifting 则靠参考样本的吸引、生成样本之间的排斥，直接构造更新方向。

一个问“整体差多少”，一个问“每个点往哪里走”。MGFlow 把两者收进同一套分布优化框架。

它拆开了两个关键选择：用什么模型描述分布，用什么准则比较分布。前者可以是单高斯、混合高斯或者核密度估计；后者可以是最优传输距离、KL 散度，或者其他度量。最优传输盯的是搬动分布的代价，KL 衡量的则是概率分配的差异。

把两者连起来的是 Wasserstein 梯度流：把生成特征想成一群粒子，分布层面的目标就能导出每个位置该往哪移。于是，“整体差异”和“逐点更新”有了共同解释。

也就是说，损失函数和更新规则能在同一套语言里分析：某种移动方式到底在缩小什么分布差异、又依赖怎样的分布假设，都能讲得更清楚。统一框架因此能指导设计。

按照论文里的分析设定，FD-Loss 对应的做法是单高斯配合最优传输；而换成高斯核密度估计加 KL 之后，在平滑密度上算出的更新场与高斯核 Drifting 一致，差别仅在带宽尺度因子上。

图 2：分布模型决定保留什么信息，匹配准则决定怎样对齐；梯度流连接整体目标与样本更新。原图来自 MGFlow 论文。

这套统一视角的价值，是把原本各自设计的方法变成一个能系统探索的设计空间。比如保留单高斯、把最优传输换成 KL，就能得到另一种解析更新；用混合高斯，则能在整体统计量与局部样本结构之间调节建模粒度。

能刻画多个模式，并不代表样本就能被放到对的位置上。设想参考分布里两类结果各占一半，生成器却明显倾向其中一类，这时哪怕每一类内部都越生成越真，整体比例还是可能失衡。MGFlow 的做法是在细化分布模型之外，再把样本分配和更新方向挂上钩，让“每个模式该分到多少”同“样本实际往哪儿走”彼此呼应。

顺此思路，MGFlow 拿多个高斯成分来刻画不同模式，把受容量约束的样本分配同成对更新绑在一起，使“归到哪个模式”与“往哪里更新”不脱节。整体覆盖的要求，也就落到了具体一批特征该怎么移动上。

换句话说，单个高斯好比只用一组整体统计量去概括所有结果，混合高斯则让不同区域各自拥有统计特征；分配与更新一配合，这些区域才算真正进入监督。多粒度的分布描述放在后训练阶段完成，推理时依旧只要跑一次网络评估。

实际收益随之出现。ImageNet 256×256 一步生成实验里，MGFlow-KL 在 pMF-H、JiT-H 上的 FDr⁶ 分别达到 SOTA 水平的 1.45、1.64，比 FD-Loss 低了约 23%、38%。这个指标把六种表征空间的分布差异合在一起算，数值越低越好。

更关键的是，MGFlow-KL 并未直接用 FD 损失去训练，却把这个指标做上去了；在没参与构造训练损失的三种编码器上，综合指标同样有改善。这说明它能跳出训练所用的表征，学到更优的分布。

文生图这边，MGFlow 把 FLUX.2 [klein] 4B 后训练成一步生成器，图文联合匹配版本的 GenEval 由原四步模型的 0.794 升到 0.900，PickScore 从 21.85 升到 21.98，超过了 FLUX.2 [klein] 4B 原版的四步结果，拿下同规模模型的 SOTA。

放到交互式图像创作里，用户每改一次提示词，都想尽快看到合意的新画面。MGFlow 把更快的反馈和更准的表达，收进了同一条后训练路径。

Elastic Forcing：把 14B 视频后训练带进单个八卡节点

减少步数、拉高速度，更重要的用武之地是自回归视频生成：只要生成快过播放，就能“边生成边播放”，实现实时流式生成和交互。可样本从图像换到视频，集体监督碰上的麻烦也跟着变大——视频更长、模型更大，一批结果之间做比较也更费钱。

沿用 Self Forcing 的做法，清一色是用非对称 DMD 把双向视频扩散模型蒸馏成少步自回归模型。这套路子在小模型上挺管用，但铺到百亿参数的大型视频模型上，就会撞上训练不稳、算力开销过高等问题。Elastic Forcing 换成了样本分布训练。新方法最直观的好处，是让 14B 自回归视频模型的后训练在单个八卡节点内跑完。若改用 Self Forcing 去训 14B 模型，64 卡上都会显存溢出；Elastic Forcing 用 8 张 H200、23.2 小时就完成，生成效果还超过了工业界模型 Krea-Realtime。

百亿级视频模型的分布后训练，由此变成单节点上就能跑的实验，继续迭代所需的资源门槛被拉低了。

单节点预算也让团队更容易围绕新数据、新目标反复试。对那些要不断改角色、风格或场景的产品来说，训练成本高低，直接决定多久敢试一次新方案。

这一优势源于后训练要维护的网络变了。继续用 score 监督，生成器一放大，辅助扩散网络的担子也跟着重；换成由参考视频来提供监督，资源就能更多压到生成器本身，百亿级流式模型的后训练也就有了明确、可执行的预算。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A clash above the clouds｜云端交锋。Elastic Forcing 五步流式生成。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A mountain sanctuary｜山间圣境。Elastic Forcing 五步流式生成。

那它是怎么做到的？Self Forcing 的 DMD 后训练，靠预训练扩散教师和在线辅助 score 模型给出训练方向。模型越大，维护这些额外网络就越贵。Elastic Forcing 保住了自回归生成流程，改用参考视频与生成视频在冻结特征空间中的最大均值差异（MMD）来监督，后训练阶段不再维护这两个辅助 score 网络。

图 3：Elastic Forcing 用参考样本特征的直接分布级监督，替代辅助 score 网络。

但光把额外网络拿掉还不够。MMD 里含有跨样本相互作用，通常要吃下很大的训练批量（batch），这在烧钱的视频模型训练里往往做不到。若把大批量拆开、各自算损失再把梯度加起来，跨小批量的样本对就被漏掉了。Elastic Forcing 的解法是拆成两层：先让足够多的样本在特征空间里一起定出更新方向，再控制把这个方向传回生成器要花多少代价。集体监督里样本间的联系不能丢，可反向传播未必非要同时扛起整批计算图。

在参考端，Elastic Forcing 把预计算统计摘要与随机抽样结合起来，平衡近似偏差和估计波动；在生成端，先拿整批特征定更新方向，再分开回放计算图、挑一部分样本反传，并做相应的梯度缩放。参与分布估计的规模和反传预算就此解耦，没被挑中反传的样本照样能影响整体方向。

这么安排，保住了集体监督最值钱的地方：让更多样本共同决定更新方向，同时不必把同等规模的计算图全留在显存里。统计估计需要多少样本、一次能承担多少反传，于是各自有了调节余地。

在与 Self Forcing 对齐架构、初始化和生成流程的 1.3B 对照中，Elastic Forcing 把 VBench 总分从 83.80 提到 84.64，同时维持 17 FPS 的生成速度。从小模型对照一路到 14B 扩展，分布监督在质量和训练可行性之间都兼顾到了。

人类盲评同样被用来检验 14B 模型的质量。人物动作、动物运动、物体交互等场景被纳入盲评范围，20 组配对视频由 42 位参与者打分。在 1—5 分量表下，Elastic Forcing 14B 用 8 卡训练一天，平均分达到 3.354，而工业界模型 Krea Realtime 14B 只有 3.054，差距明显。样本分布训练在流式视频生成模型后训练上的效果与潜力，由此得到证明。

参考分布，其实也在决定模型该学什么

目标一旦由参考样本界定，后训练的内容就会随参考集合的改变而改变。在 1.3B 上，Elastic Forcing 完成了奶龙角色、黑白风格以及全景投影式构图的适配，而且不必先针对这些目标去重新适配扩散教师。

参考数据的来源同样更灵活：标准实验用的是 Wan 生成的视频，论文中还给出了以 OpenVid 真实视频作参考的定性结果。模型能从什么样的目标中学习，和参考集合怎么选直接挂钩。

图 4：三行分别是 Self Forcing、Wan-14B 与 Elastic Forcing；右上橙框为角色示意。Elastic Forcing 用的是 1.3B 生成器，图片裁自论文。

MGFlow 的图文联合匹配走的是另一条路：把图像与文本特征拼接起来，监督信号里就直接含有文字与画面的对应关系。一个调整参考集合里装什么，一个调整训练时比较哪些联合信息，结果都是让 “模型要学什么” 变成可以设计的对象。

在 MGFlow 的文生图对照实验中，两个版本都接收文本条件，可只匹配图像分布时 GenEval 是 0.856，加上图文联合匹配就升到 0.900。训练目标开始直接盯住 “这段文字与这幅画面是否对应”，文本对齐的表现随之变好。

比如一批图像里既有红色汽车又有蓝色自行车，只看图像集合，能判断内容够不够丰富，但要想学会 “红色汽车” 这条指令对应哪种结果，条件与画面的配对信息就不能丢。图文联合分布把这种对应关系塞进监督目标，也为继续纳入动作、状态等条件留出了自然的入口。

两项工作用的匹配方法不一样，推进的却是同一条研究路线：MGFlow 说明分布监督怎么统一理解、系统怎么设计，Elastic Forcing 解决它进入大规模视频时的算力难题。描述分布、比较分布，再把它变成负担得起的训练信号，这正在成为生成模型新的探索空间。

让生成跟上交互，走向世界模型与动作模型

少步生成一旦进一步接入动作条件，这条路线就和世界模型（world model）、世界动作模型（world action model）搭上了关系。世界模型要预测环境如何变化，世界动作模型还得把行动与后果连起来：移动视角后能看见什么，执行一次操作后场景会怎样演化。每次预测都要参与下一次决策，生成速度也就直接决定了系统能以多高的频率观察、推演和响应。

少步生成在这里扮演快速预测的角色。固定时间内，生成过程越短，留给比较多种候选未来的空间就越大；自回归流式生成则提供了一条连续展开视觉状态的路子。面向动作驱动的环境模拟，下一步可以把当前观察、动作条件与后续视觉轨迹组织成联合分布，让监督既看未来画面合不合理，也看它和所采取动作对不对得上。

这种拓展和样本分布训练的出发点是一致的：同一场景、同一动作，合理的后续往往不止一种，模型要学的是它们的整体规律与发生比例。MGFlow 给出了设计这类分布监督的方法框架，Elastic Forcing 则展示了把直接样本监督扩展到大规模视频模型的训练路径。面向交互视频、游戏环境与具身智能，两项工作的结合点已经清楚：用少步生成缩短反馈，用联合分布组织条件与结果，用可承担的后训练持续吸收新场景数据。

输入一句话就能出内容，操作过程中还会不断冒出新的画面反馈，生成模型眼下正迈向连续交互这一步。MGFlow 和 Elastic Forcing 想解决的，就是让模型跑得更快，同时把学习效率和成本压下来。

两篇论文都出自清华大学人工智能学院 Meow Lab 实验室，并联合复旦大学、西安交通大学、北京大学、浙江大学、中国科学技术大学、加州大学伯克利分校等高校合作完成。

论文与项目资源

MGFlow：

• 论文：https://arxiv.org/abs/2609.35763
• 项目与样例：https://shihaoyang0423.github.io/MGFlow-website/
• 代码：https://github.com/shihaoyang0423/MGFlow
• 模型：https://huggingface.co/shy0423/MGFlow

Elastic Forcing：

• 论文：https://arxiv.org/abs/2609.35491
• 项目与视频：https://video-examples-m8r2v6.pages.dev/
• 代码：https://gitee.com/liu-yueyi/elastic-forcing