视频生成要快,还是要好?这篇论文说你不用选
你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。这种延迟到底是从哪来的?是因为模型算得不够快吗?这篇来自中国科学技术大...
你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。
这种延迟到底是从哪来的?是因为模型算得不够快吗?
这篇来自中国科学技术大学等机构的论文给出了一个出乎意料的答案:问题往往不在于算得快不快,而在于系统什么时候"允许"新指令插进来。这个发现听起来简单,但它颠覆了整个行业一直以来的默认做法。
核心问题:为什么大家都在"切小块"
要理解这个问题,得先搞懂视频生成模型是怎么工作的。
这类模型(主要是基于扩散模型的视频生成器,也就是DiT架构)生成视频的时候,并不是一帧一帧孤立地画出来,而是一块一块地"联合"生成。
DiT:全称Diffusion Transformer,是当前主流视频生成模型采用的一种架构,它结合了扩散模型(逐步去噪生成内容)和Transformer(擅长处理序列和建立长程关联)的优点。
每一块叫一个
这里就出现一个矛盾了。如果
过去几年,业内主流思路几乎是一边倒地选择"切小块",用细粒度的
具体数字很有说服力。在
VBench
Latent:扩散模型不直接在像素空间操作,而是先把视频压缩到一个更紧凑的"潜空间"里处理,这个压缩后的表示单元就叫
这说明了什么?说明"切小块换延迟"这个常识,可能从一开始就建立在一个错误的假设上:大家默认chunk大小和延迟是绑死的,但实际上,决定延迟的另有其人。
真正卡住延迟的,是"边界"这个东西
论文把整个视频服务系统拆成几个阶段来分析:条件到达(用户发指令)、生成开始、生成完成、播放展示。作者给出一个关键公式:
E[R+Q] ≥ T/2
这里R是指令到达后等待生成开始的时间,Q是生成完成后等待播放展示的时间,T是一个chunk覆盖的时长。
这个不等式说的是什么?说的是在传统的"只能在chunk边界处插入新内容"的系统里,哪怕你的模型算得飞快,用户平均也要白等半个chunk时长。这个等待是系统设计带来的,而不是算力不够带来的。
这就好比你去一家寿司店,师傅手艺极快,但店里规定必须等一整盘寿司(比如6贯)全部做完才能上桌,哪怕你只想先吃第一贯。如果师傅做一盘要6分钟,你平均要多等3分钟,这和师傅手速无关,纯粹是上菜规则造成的。如果店家改成"做一贯上一贯",你的等待时间立刻就能压到接近于零,不需要让师傅变得更快。
所以这篇论文的真正洞察是:延迟的瓶颈不在生成速度,而在"交付粒度"。只要能把"模型内部怎么算"和"系统什么时候把结果给用户"这两件事解耦,就有可能同时保住大chunk的画质优势,又拿到小chunk的响应优势。
Speculative Sampling
基于这个洞察,作者提出了核心方法,叫
这个名字可能会让人联想到大语言模型里的"投机解码"技术,思路确实有点像:先大胆地多算一些,用得上就留着,用不上就换掉。
具体怎么做的?在每次采样调用的时候,模型不只是老老实实地算接下来要交付的那一个latent,而是在后面多拼接K-1个噪声latent作为"填充",组成一个完整的K-latent双向建模窗口,一次性联合采样出来。
这里的关键转折在于:以前这些填充预测的内容,因为属于"还没确定需要交付"的部分,往往是直接被扔掉重算的;而这篇论文选择把它们缓存下来。只要用户的指令条件没有变化,这些缓存的预测就可以直接拿来用,不用重新跑一次DiT采样。
Speculative Sampling:一种生成策略,通过在当前需要交付的内容后面额外拼接噪声潜变量进行联合采样,并缓存多算出来的预测结果,在条件不变时重复使用,条件改变时只替换还未提交的部分。
这就像你去自助餐厅点一份现做的炒饭,厨师手上同时在锅里炒了四份的量(因为一次性炒一大份效率更高,锅气也更足),但只给你端上一份。如果接下来几位顾客点的还是同样的炒饭,厨师直接把锅里剩下那三份陆续端出去就行,不用重新开火。只有当有人突然说"我要换成炒面",厨师才会把还没端出去的那部分倒掉,重新起锅。如果不这么做,厨师每次都严格按一份一份地炒,虽然每份都是"刚需"做的,但锅的效率完全没利用上,出餐反而更慢。
这个设计的巧妙之处在于,它区分了已经交付给用户、不可更改的内容(
为了管理这套机制,作者设计了一个两状态的
有限状态机
Produce状态表示有一个生成任务正在跑,Consume状态表示没有任务在跑,此时直接复用缓存里已经算好的预测。播放在这两个状态下都在持续进行,不受影响。当新指令到达时,如果当前正在Produce,不会打断正在进行的生成任务,而是把这个更新记录为"待处理",等当前任务完成后再决定要不要重新规划;如果当前在Consume,并且缓存里有可以替换的内容,就立刻触发一次新的生成,替换掉那部分。
针对双向模型如何"流式化"的细节补丁
这里还有一个比较工程化但很实在的问题。很多效果最好的视频生成模型天生是双向的,也就是生成的时候同时看前后文,这种模型的训练和推理接口通常是为"一次性生成一整段视频"设计的,并不天然支持边生成边播这种流式场景。
作者在论文里专门讨论了怎么把这类大chunk的双向模型,直接拿来服务于交互式流式场景,而不需要像
Self-Forcing:一类训练方法,让自回归视频生成模型在训练阶段就模拟自己生成历史数据时会产生的误差,从而缩小训练和实际推理之间的差距,这类方法通常需要专门设计训练流程。
这里遇到的一个具体技术麻烦是:很多双向视频生成模型用的是时间上有压缩能力的
解决办法是把保留的边界内容先解码成像素,再通过VAE的首帧编码通道重新编码一次,这样就能拿到模型续写接口期待的格式。这个操作有点像你用一种老式胶片相机拍视频,中途想接着拍新的一段,但胶片卷轴的起始帧必须是特定规格的,你得先把上一段的最后一帧冲洗出来,再按规格重新"装订"进新胶卷的起始位置,才能继续拍摄。
实验结果:大chunk不仅没拖后腿,有时还更快
说了这么多设计思路,实际效果到底怎样?论文在三个模型上做了完整的线上服务实验:
先看响应延迟(
在Wan1.3B 480分辨率下,传统方式(Baseline)用大chunk(Long-Baseline)时,低频更新场景下L50高达3.23秒,用上Speculative Sampling之后直接降到1.32秒,减少幅度非常可观。而在Sol-H3上,大chunk配合Speculative Sampling之后的L50是1.42秒,甚至低于小chunk传统方式(Short-Baseline)的1.87秒。
这组数字其实说明了一件挺反常识的事:大家一直以为"要快就必须用小块",但当你把交付机制改掉之后,大块反而可能比小块传统方案更快,画质还更好。
GPU利用率方面也有意思的发现。大chunk配置下,GPU的利用率反而更低(Wan的长配置只有17%到20%左右,而短配置要用到50%以上),这意味着同样的硬件,理论上还能塞进更多并发用户的视频流,这是实打实的服务成本优势。
当然,这套方法也不是没有代价。论文坦诚地提到两个局限:第一,如果用户更新指令特别频繁,那些提前多算出来的预测大概率用不上,就白算了,造成DiT计算浪费;第二,双向模型内部的注意力机制会让保留的
从这篇论文往后看,它开辟的其实是一条新赛道。过去几年,视频生成的"快"几乎全靠
这和此前的
再往前追溯,Self-Forcing(Huang等人提出)和
写在后面
读完这篇论文,最触动我的其实不是Speculative Sampling这个具体技巧,而是作者提出问题的方式。
很多AI系统论文习惯于"哪里慢就优化哪里",用更快的算子、更小的模型、更少的步数去堆硬指标。但这篇论文反过来问了一句:"延迟到底是从哪个环节来的?"结果发现真正的瓶颈根本不在算力,而在一个几乎被所有人默认接受、却从没被真正质疑过的系统设计假设:新内容只能在块的边界处插进去。
这让我想起很多工程问题其实都藏着类似的"假性约束"。表面上看是硬件不够快、算法不够好,但认真拆开之后会发现,真正卡住你的,往往是某个早年定下来、后来没人再去重新审视的接口规则。
论文里那个"寿司店上菜"式的边界等待公式E[R+Q]≥T/2特别干净,它用最朴素的概率论就把这个被忽视多年的设计缺陷量化了出来,这种"用数学把直觉钉死"的写法,比堆砌实验数字更有说服力。
还有一个细节值得单独拎出来说:论文里提到chunk大小和画质的关系并不是单调递增的,K=21不一定比K=7好,最优值因场景而异。这其实提醒我们,"越大越好"这种简单的线性直觉在复杂系统里经常是靠不住的,真正负责任的工程判断,永远要回到具体场景里做实际测量。
如果你是做实时交互系统的工程师,不管是视频、语音还是别的流式生成任务,这篇论文提出的问题可能比答案更值得你带走:你的系统延迟瓶颈,真的是算力问题吗,还是某个你从没怀疑过的边界规则?
Q&A
Q1:Speculative Sampling是什么?
A:Speculative Sampling是一种视频生成策略,通过在当前要交付的内容后面额外拼接噪声潜变量一起联合采样,并把多算出来的预测结果缓存起来,条件不变时直接复用,条件改变时只替换掉还没交付的部分,从而兼顾大chunk的画质优势和小chunk的低延迟优势。
Q2:为什么说视频生成延迟不完全是算力问题?
A:论文的分析发现,在传统系统里新内容只能在chunk播放边界处插入,哪怕模型算得再快,用户平均也要多等半个chunk的时长,这个等待是系统设计规则造成的,不是算力瓶颈,这就是论文提出的E[R+Q]≥T/2这个关键不等式说明的问题。
Q3:大chunk一定比小chunk画质更好吗?
A:总体趋势上K大于1通常比K等于1的画质更好,但提升不是单调的,比如Wan1.3B在某些设置下K等于7反而不如K等于3或K等于21,最优chunk大小要结合具体分辨率和步数设置实际测量,不能简单认为越大越好。