一条视频训练出84.22分模型:视频生成卡在哪
训练一个能实时生成视频的AI模型,通常需要花费数万个GPU小时,存储上T级别的数据。但这篇论文做了一件听起来有点冒险的事:他们把训练数据砍到只剩一条视频,然后发现模型效果不但没崩,反而比用了几千条数据训练出来的老方法还要好。这不是在吹牛,论文里给出的数字是:只用一条样本训练的模型,VBench总分达到84.22,而..
想训练一个能实时输出视频的AI模型,通常得砸进去数万条样本。
论文给出的数字却反着来:仅用一条样本训练,模型VBench总分就有84.22;而拿25000条样本喂出来的强力基线方法,成绩还落在后面。
这听着不合常理。深度学习里公认的规律是数据越多效果越好,视频生成尤其要捕捉复杂的时空规律,大家默认得靠海量数据硬堆。可这篇论文说,至少在某个特定环节,数据量并不是卡点,卡点在别处。
眼下视频AI生成的处境,一句话:又慢又贵。
背景先交代一下。Sora、Wan、Seedance这类主流视频生成模型,走的都是
扩散模型
这条路子。效果确实惊艳,硬伤也明显:生成时要对整段内容做全局计算,视频越长,算力开销涨得越凶,实时响应基本无从谈起。
研究者于是转向了
自回归生成
这种路线更适合实时交互式视频生成。比如用户和一个AI世界模型实时对话互动,它得边生成边响应,不能等整段视频算完再呈现。
问题随之而来:一个已经训练好的双向扩散大模型,怎么改造成又快又准的自回归模型?业界目前的标准做法,是拿
PF-ODE轨迹
做监督训练,让“学生”模型去模仿“老师”模型(即原始大模型)生成视频的完整轨迹。可要在大规模数据集上构建并存储这些轨迹,成本就是前面说的那种天价。
打个比方,教新司机开车,不是让他看几个关键路口怎么打方向就完事,而是把每一秒方向盘转了几度、油门踩了多深全程录下来给他学。路线一旦铺开到几千条,录像带能堆满仓库,存储和回放的钱自然就爆了。
那问题究竟出在哪:一条数据怎么会把模型“压垮”?
研究团队最初也选了“减数据”这条路,想少花点钱构建轨迹。他们把训练数据从几千条一路砍到只剩一条,结果相当惨烈。
论文图2显示,不管用的是
Self Forcing
还是
Causal Forcing
这两种现成方法中的哪一种,训练样本一旦砍到一条,VBench分数都断崖式下滑:Self Forcing从69.48掉到51.23。
也就是说,粗暴砍数据这条路走不通,得先弄清楚一条数据能提供什么、又提供不了什么。研究者回头去分析扩散过程本身的几何结构,问题的根源就此浮出水面。
他们发现,整条去噪轨迹(从纯噪声一步步变成清晰视频的过程)里,92.5%以上的
轨迹曲率
都落在高噪声阶段,也就是刚开始去噪、画面还模糊的那几步;到了低噪声阶段,接近完成、在修细节的那几步,轨迹反倒平直得多。
更关键的一点,论文进一步测了训练损失曲线,高噪声区域和低噪声区域的优化行为差得很远,见图2(c)。高噪声阶段的损失曲线上下剧烈波动,低噪声阶段则平稳不少。
这就像让同一个人既当交响乐指挥,又当打击乐手。指挥要把控全局节奏和情绪走向,靠的是大局观,处理的是复杂多变的信号;打击乐手要精确控制每一次敲击的力度和时机,干的是局部、精细、重复性强的活。硬让一个人同时扛这两种截然不同的工作模式,要么指挥的节奏乱了,要么打击乐的精度跟不上。用一个模型硬顶两种性质迥异的任务,就是这种精力分裂的状态,参数空间被两套互相矛盾的学习信号来回拉扯,结果谁也学不好。
这正是论文的核心洞察:缺的不是数据,是任务性质不同,却被硬塞给同一个“脑子”去学。
把任务拆开,让两个专家各管一段。
病因摸清了,方子也就不难开。高噪声阶段管的是画面大布局和运动走向,低噪声阶段管的是纹理细节,两者性质不同,那就各训一个专门的小模型来接手。
论文给这套方法起的名字是 Glance Forcing。
其中用到一项轻量化技术——[[保留1]]——论文据此设计了双 LoRA 结构。
LoRA
那个预训练用的教师大模型全程冻结,不参加训练,真正在学的只有这两个 LoRA 小模块。要更新的参数量只占模型总量的一小块,训练开销因此压得很低。
打个比方,装修房子不会让一个工人又砌墙又贴瓷砖。砌墙靠力气和结构感,定的是房间骨架;贴瓷砖靠耐心和手感,定的是最后观感。分工之后,砌墙师傅不必盯着瓷砖纹路对没对齐,贴瓷砖师傅也不用管承重墙在哪,各干各的,活反倒又快又好。硬要一个人全包,多半两样都做不精,工期还拖得更长。
论文另外配了两个专家专用损失函数。一个是时序频谱损失,[[保留2]]。
第一个是
它专为 Slow-LoRA 服务,为的是让生成的运动更连贯,不至于一会儿一个样。
第二个是
另一个是空间高通损失,[[保留3]],它跟 Fast-LoRA 搭配,专门用来打磨细节的清晰度。
论文图5的消融实验把这事说得很明白。研究者试了四种配置:普通一致性模型(Vanilla VCM)、只加 Slow 专家、只加 Fast 专家、Slow+Fast 一起上。结果是,单加 Slow 专家或单加 Fast 专家,都分别在语义结构和细节层面压过普通模型,而两者合起来效果最好,VBench 分数从大约 81 分升到接近 83 分。任务拆开确实有用,不是研究者自己的一厢情愿。
那么一条数据到底能不能撑起整个训练?这里有个更深的疑问:为什么一条数据轨迹就够提供几何监督?
研究团队设计了一个巧妙的实验来验证。他们用两个指标衡量去噪轨迹的几何形状,一个叫逐步余弦相似度,[[保留4]] [[保留5]]。拿 1 条样本和 3000 条样本做轨迹初始化对比,图4里两条曲线几乎重合。换句话说,监督数据从 1 条加到 3000 条,轨迹的几何形态(直度和方向一致性)几乎没见改善。
轨迹直度
另一个叫
这个结果很关键。它说明 ODE 初始化这一步,干的主要是把原本弯弯绕绕的长步去噪路径捋直,变成适合少步推理的顺畅路径,而不是去把数据分布的方方面面都覆盖一遍。教师模型本身对各种输入已经形成相似的轨迹结构,一条样本只要覆盖噪声从头到尾的整个时间域,就足以完成这个"捋直"的活。
真正让生成结果贴近真实数据分布的,是紧随其后的 [[保留6]] 这一步。论文发现,这就好比先用尺子把一根弯绳拉直(ODE 初始化干的事),拉直不需要无数把尺子反复量,一把尺子量准基本形状就够了。接下来要给这根直绳染色、上光泽(DMD 干的事),染得好不好,靠的不是拉直时用了几把尺子,而是染料配方和上色手法本身。两件事分工清楚,头一件不需要海量数据,后一件另有专门机制负责。
DMD
数据砍到一条,效果却没打折。论文里的对比表格给出了挺有说服力的数字。
表头列的是模型、训练数据量、VBench总分、动态程度四项。
|---|---|---|---|---|
用25000条数据训练的Causal Forcing,VBench总分84.04,动态程度68,另一项指标6.326。
| **
只喂1条样本的Glance Forcing,总分84.22,动态程度75,另一项指标6.870。
一条数据的总分84.22,压过了两万五千条的84.04。训练预算加到和基线同一规模后,Glance Forcing又涨到84.33,整张表里最高。
动态程度这项差距更明显:单样本设置下是75,全量训练下是78,Causal Forcing对应的是64和68。换句话说,新方法做出来的视频动得更自然,不像那种画面发僵、动作发死的"PPT式"视频。
论文还做了
人类偏好研究也做了一轮。
对比Self Forcing,Glance Forcing的胜率是91.3%;对比Causal Forcing,胜率也有63.3%。这不只是跑分好看,普通人看着也觉得更顺眼。
团队还补了一组挺细的实验,专门看"一条样本"该挑什么内容。他们沿三个维度搭了对照:运动幅度分高低,视觉复杂度分复杂纹理和简单几何,领域特异性分开放域和特定领域。
表4的结果显示,ODE初始化这一步,低运动、开放域的样本表现更好,高运动、特定领域的样本初始化效果要打折扣。但后面的DMD蒸馏几乎能把各种情况都拉回来,高运动和简单几何这两类提升尤其明显。这正好对上前面说的分工:ODE搭骨架,DMD做精修,骨架没搭好,精修阶段还能补回不少。
论文还试了这套思路能不能挪到别处。他们把它用在普通双向扩散图像生成的加速上,将50步的Wan2.1模型蒸馏成8步,同样只用一条训练样本,生成质量和原版基本持平,采样成本降了5倍以上。"少量数据+任务拆分"不只对自回归视频生成有效,适用范围更宽。
写在后面
读下来最让人意外的不是省了多少算力,而是它点出的那件事:很多被当成"数据不够"的问题,真正缺的是"拆得更对"。数据量从几千条减到一条,省下的不只是GPU小时,也是在提醒——动手堆数据之前,先想清楚这个任务里究竟有几种性质不同的子问题。
论文里那个92.5%曲率集中在高噪声区域的发现,尤其让人在意。这意味着
还有一点值得琢磨:论文反复强调教师模型始终冻结,只训练两个轻量LoRA模块。不动大模型本体、只加小补丁,这个路数和眼下不少大模型微调的做法一脉相承。某种程度上,这篇论文把"参数高效微调"的思路第一次系统地用在了"按噪声阶段分工"上,而不是常规的"按任务类型分工"。这个角度能不能迁移到其他要多阶段、多性质子问题的场景?比如语言模型里,生成好文本的"构思大纲"和"润色措辞",是不是也存在类似的性质分裂,值得用同样的拆分思路处理?
Q&A
Q1:Glance Forcing只用一条训练样本,真的够用吗?
A:够用。论文实验证明只用一条
Q2:Glance Forcing为什么要把去噪过程拆成Slow-LoRA和Fast-LoRA两个专家?
A:研究发现在扩散去噪轨迹里,92.5%以上的曲率集中在高噪声阶段,高噪声和低噪声阶段的训练损失行为差异很大。一个模型同时学两种性质不同的任务会产生表征干扰,拆成两个专家各管一段,能避开这种冲突。
Q3:Glance Forcing和Causal Forcing、Self Forcing有什么区别?
A:Self Forcing和Causal Forcing都依赖大规模