苹果开源FastFrames系列:单卡36毫秒生成480P视频
主打低延迟480P视频生成。
11月18日,苹果把面向实时交互的视频生成模型FastFrames系列开源了,一共两款:13亿参数的FastFrames-S和140亿参数的FastFrames-L。它们瞄准的是视频生成研究人员和交互应用开发者,主攻低延迟480P视频生成。
按苹果公布的测试数据,FastFrames-S在单张英伟达B200 GPU上生成延迟为36毫秒;生成质量与其基础模型Causal Forcing++接近,速度却达到后者的约7.6倍。FastFrames-L的生成效果与同样基于通义万相Wan2.1-14B开发的实时视频模型Krea-Realtime相当,单卡速度约为后者的10.6倍;换成8张B200,延迟还能进一步降到45毫秒。
▲苹果公布的生成质量与延迟对比(图源:苹果)

这套加速办法能不能用到别的模型上?苹果挑了两款外部模型做验证。蚂蚁灵波团队的LingBot 1.3B优化后,响应速度约为原版的16倍;斯坦福大学等团队的RealWonder优化后,响应速度约为原版的22倍。
两款FastFrames模型的提速训练路径并不一样。S版冻结Causal Forcing++基础生成器的权重,另外训练两个网络,分别负责画面输出和历史信息处理。L版先对阿里通义万相Wan2.1-14B做蒸馏,让它能用更少步骤连续生成后续画面,再训练上述配套网络。
从案例效果看,两款模型生成的画面质感和光影都算细腻。但S版部分案例出现了文字乱码、提示词理解偏差、画面不够稳定的问题。官方给出的女孩拉小提琴案例里,S版细节处理较粗糙,琴弓明显偏离琴弦,女孩面部还随着琴弓来回移动出现变形。L版在人物面部和演奏动作上则稳得多。
▲FastFrames-S生成的女孩拉小提琴视频(图源:苹果)

▲FastFrames-L生成的女孩拉小提琴视频(图源:苹果)

开发者现在可以从Hugging Face下载FastFrames模型权重,配合GitHub代码,在搭载英伟达GPU的Linux设备上跑文生视频任务。苹果同时公开了训练和评测工具,供开发者继续训练、复现实验。权重免费下载,许可限定为非商业科研用途。
GitHub代码仓库: https://github.com/apple-aiml-research/ml-fastframes
Hugging Face开源地址: FastFrames-S:https://huggingface.co/apple/FastFrames-S FastFrames-L:https://huggingface.co/apple/FastFrames-L
一、沙滩写字、羊驼跳舞,S版瑕疵偏多,L版生成更细腻
技术报告地址:
https://apple-aiml-research.github.io/ml-fastframes/
苹果在官方项目页公开了22组文生视频对比,展示FastFrames-S、FastFrames-L及对应对照模型的输出,覆盖文字生成、动物动作和人物场景等任务。
文字生成案例里,提示词要求镜头从空中下降到黑沙滩,海浪泡沫在沙面形成“STAY CURIOUS”字样,并在海水流动时保持文字清晰可读。S版生成的文字出现乱码;L版文字准确清晰,光照、阴影和构图也更精致。
▲FastFrames-S生成的海浪文字视频(图源:苹果)

▲FastFrames-L生成的海浪文字视频(图源:苹果)

动物动作案例的提示词是:一只穿彩色睡衣的羊驼在舞台上跳舞,腿部和尾巴随动作摆动。这组视频用来对照两款模型对动物动作、服装和身体关系的处理。两款模型对“跳舞”指令的理解不同:S版把羊驼做成双腿站立的拟人形象,让它挥动前肢、左右摆身,舞蹈动作更明显;L版保留羊驼四足着地的体态,毛发和睡衣纹理更清楚,但动作主要是抬起前腿、原地踏步,幅度较小。
▲FastFrames-S生成的羊驼跳舞视频(图源:苹果)

▲FastFrames-L生成的羊驼跳舞视频(图源:苹果)

人物场景案例的提示词要求咖啡馆中的女子缓慢搅拌咖啡,随后看向窗外微笑,镜头先靠近面部、再拉远,呈现咖啡蒸汽、室内灯光和窗外雨景。S版和L版都理解了需求,但S版人物发质纹理还原不够细腻,整体光感也不够自然;L版更符合真实场景中的光学环境。
▲FastFrames-S生成的咖啡馆人物视频(图源:苹果)

▲FastFrames-L生成的咖啡馆人物视频(图源:苹果)

二、苹果将加速方法用于其他模型,提速后最高可达原版22倍
苹果另外选择了两款外部模型进行优化,以检验这套加速方法是否可推及其他模型。其中,蚂蚁灵波团队的LingBot 1.3B经优化后,响应速度约为原版的16倍。斯坦福大学等团队的RealWonder经优化后,响应速度约为原版的22倍。
苹果把FastFrames的加速方法搬到了其他团队已有的模型上,用来检验镜头控制、物理交互两类场景的响应表现。测试对象有两个:蚂蚁灵波团队的世界模型LingBot 1.3B,以及斯坦福大学等团队的物理交互视频生成系统RealWonder。S、L两款新模型的生成效果此前已经展示过。
加速效果的验证先从LingBot 1.3B开始。屏幕左右两侧并排跑原版和加速版,同一时间接收同一组键盘输入。操作者先在巨石阵里往前走、转动视角,接着切到石砌走廊,一直按住前进键。加速版画面更新更快,镜头跟着操作连续向前推进。

▲LingBot 1.3B加速前后的巨石阵导航对比,左为原版,右为加速版(图源:苹果)

▲LingBot 1.3B加速前后的走廊导航对比,左为原版,右为加速版(图源:苹果)
苹果给出的数字是:LingBot 1.3B的生成延迟从原版最快官方配置的842毫秒降到52毫秒,响应速度约为原来的16倍。两种配置分别用2张、8张B200 GPU。
RealWonder的测试里,物体响应速度提升更明显。操作者拖动水面上的灯笼,系统随即生成灯笼移动和水面变化的画面。苹果给它加了更快的画面解码、缓存修正网络,又调整了计算执行方式。生成延迟从原版单张B200上的1141毫秒,降到加速版8张B200上的51毫秒,约为原版的22倍。

▲RealWonder加速前后的灯笼拖拽对比,左为原版,右为加速版(图源:苹果)
三、更换解码器、修正缓存、优化GPU计算,苹果三招降低延迟
S、L两款模型的降延迟工作落在三处:换轻量解码器让画面出得更快,用小网络压掉更新历史信息时的重复计算,再重新安排GPU上的计算。
动手之前,苹果先拆了S版基础模型Causal Forcing++生成视频的耗时。单张B200上,它每生成一组画面约需272毫秒。其中两步去噪占83.2毫秒,缓存更新41.6毫秒,画面解码147毫秒。解码加缓存更新,合起来约占这组画面总耗时的69%。

▲Causal Forcing++生成流程及耗时(图源:苹果)
第一项优化冲着最费时的画面解码去。原来的VAE解码器得反复放大内部特征,在越来越高的分辨率下算,才能吐出完整画面。苹果先试了一层简单计算直接输出像素,画面内容看得出来,细节却糊。
团队随后往上加处理层,做出轻量像素解码器。主要计算放在低分辨率下完成,最后一次性输出完整画面,高分辨率计算少了,头发、雨滴这类细节还留得住。以S版为例,解码耗时从147毫秒降到约1毫秒。
第二项优化针对缓存更新。后续画面要接得上,模型就得存住前面生成的内容。原流程每生成一组画面,都要额外跑一次完整的生成网络,把这组画面的缓存信息整理出来。
苹果改成复用最后一步去噪已经算出的缓存,再用小网络修正,额外跑完整生成网络的开销就省了。S版缓存更新耗时从41.6毫秒降到约2毫秒,L版降到约6毫秒,速度分别约为原流程的20倍、12倍。
第三项优化是让GPU多扛并行计算。视频逐步生成时,每次新增的画面内容不多,GPU算力可能吃不饱。苹果把历史缓存分段,各段同时计算,再合并结果。L版模型上缓存分成5段,单次生成网络计算的延迟降低约13%。
苹果还提前算好反复使用的位置编码、提示词等信息,并把部分原本分开的运算合并。这一轮调整后,S版单次去噪网络计算耗时从41.6毫秒降到16.4毫秒,L版从89.2毫秒降到75.6毫秒。
8卡配置下,苹果把画面内容分给不同GPU,一起完成生成网络的计算。S、L两版的单次去噪网络计算耗时进一步降到5.8毫秒、20.3毫秒。

▲FastFrames-S优化后的生成流程及耗时(图源:苹果)
四、1万条真实视频进行对抗训练,L版对Wan2.1-14B进行蒸馏
训练上两款模型分工不同。S版手里已有能用两步去噪生成画面的基础模型,训练重点放在更快的画面输出和缓存处理模块。L版得先把Wan2.1-14B训练成两步生成器,再配齐相应模块。
训练S版解码器时,Causal Forcing++生成器的权重保持不变,由原生成器和VAE解码器出示范,新解码器学着输出同样的画面。团队生成了约15万轮示范,每轮做4次参数更新,合计约60万次。这一阶段用32张B200,耗时约一周。
之后苹果掺入1万条真实视频做对抗训练,让新解码器生成的画面更清晰、更贴近真实视频。该阶段用8张B200,耗时数小时。S版缓存修正网络则学习原生成网络更新后的缓存,用32张B200,做了14.25万次参数更新。
训练和运行优化都完成后,S版生成速度约为基础模型的7.6倍。评估画面质量、内容是否符合提示词的VBench测试里,S版总分84.23,基础模型84.11,整体表现基本持平。
为了让L版能参照前序画面续写后续内容,苹果先改了Wan2.1-14B的生成方式。做法是先用Wan2.1做48步采样生成示范,把噪声一步步变成画面的过程记录下来;再拿256张B200训练教师模型,供后面的蒸馏学习使用。团队挑中第1700次参数更新的教师模型,投入128张B200做一致性蒸馏,目标是让新模型用更少的去噪步骤,产出接近教师模型的画面。之后又选了第3000次更新的权重,同样用128张B200做分布匹配蒸馏——模型在自己生成的画面上接着练,把连续生成的效果往好里调,两步生成器就是这样得来的。
解码器这块,苹果从S版的解码器权重起步,用64张B200跑了50万次参数更新,让L版解码器学会还原画面,再上8张B200做对抗训练。L版的缓存修正网络则动用64张B200,完成14.25万次参数更新。
训练和运行优化都做完之后,L版的单卡速度大约是同规模模型Krea-Realtime的10.6倍。两者VBench总分分别是84.44和84.42,生成的视频质量相当接近。
结语:实时交互三大难,苹果发力低延迟,加速方案可复用
做实时交互视频模型,绕不开三道坎:用户操作输入后,画面能不能及时跟上;指令连续变化时,模型能不能准确执行,并把人物和场景稳住;长时间运行、同时服务多名用户,算力成本扛不扛得住。苹果这次重点压缩的是画面生成前的等待时间。FastFrames从画面解码、缓存更新和GPU计算三处下手改造,让现有视频模型更快吐画面,加速效果已在LingBot和RealWonder上做过验证。对交互应用开发者来说,这套方法可以拿来复用;对用户来说,画面反馈更及时,连续调整镜头、动作和场景时能少等一会儿,也少返工几回。