StreamErase把视频擦除做到26帧每秒:武大阿里团队的三步法
你有没有试过用手机app去除视频里的路人甲,然后盯着进度条发呆两分钟?这不是一个夸张的说法。真实情况是,目前效果最好的视频物体擦除模型之一ROSE,处理一个5秒钟的短视频,需要整整2分钟。你剪辑一条十几秒的vlog,光是把画面里的陌生人擦掉,可能就要泡杯茶的功夫去等。更麻烦的是,这些模型压根不是边生成边给你看的...
拿手机app擦掉视频里的路人,盯着进度条干等两分钟,这种经历有过吗?
这话不算夸张。眼下效果最好的视频物体擦除模型ROSE,处理一条5秒钟的短片,要花整整2分钟。剪一条十几秒的vlog,光把画面里的陌生人抹掉,等的时间够泡一杯茶。
更让人头疼的是,这些模型不会边算边给你看。整段视频得从头到尾全部算完,结果才肯露面。算到一半你想喊"停,这里不对",根本没有机会。武汉大学、阿里巴巴、港科大和上海交大团队的一篇论文,正是冲着这个毛病去的。他们做了一个叫
比起再造一个更快的模型,这篇论文更值得看的是另一件事:它给出了一整套办法,把“慢但好”的能力搬到“快且稳”的载体上。
这件事到底难在哪
先把问题的本质说清楚。当前主流的视频扩散模型,无论是擦物体的ROSE、
双向注意力
这套机制天生就是"全局优化",画质和时序一致性确实好,代价是整段视频都得备齐,模型才能开工。论文里的数据很扎实:VACE只有0.57 FPS,处理一个视频要204秒;ROSE是1.05 FPS,延迟121秒;EffectErase稍快,1.51 FPS,延迟96.59秒。这些数字一摆,"实时"两个字离它们确实很远。
StreamErase
问题来了:双向注意力这么好用,为什么不干脆"调快"就完事?因为双向注意力的本质要求是看到全部信息,跟"边生成边播放"在逻辑上互斥。要做流式生成,就得换成单向的、只看过去不看未来的
三步走:把老师的本事教给跑得快的学生
StreamErase的核心思路一句话能说清:先训一个很强但很慢的"老师"模型,再一步步把它的本事教给一个跑得飞快的"学生"模型。
整个过程分成三个阶段。
**第一阶段是训练一个双向注意力的教师模型,专门负责打好地基。**
这个教师模型基于阿里的
去噪步数
这一阶段的教师模型,物体擦除能力最全面,尤其擅长对付阴影、反射、遮挡这些物体留下的"副作用"。论文专门设计了一个
不这么做会怎样?实验数据说得很清楚:去掉这个效应擦除损失后,
好比家里撤掉一张挂了很多年的画,墙上那块颜色更深的印子要是不一并处理,画虽然拿走了,别人照样一眼看出这里挂过东西。单纯"移除物体"和"移除物体连带它留下的所有痕迹",难度完全是两回事,后者才算真正的擦除。
**第二阶段,把双向注意力换成因果注意力,训出一个流式的"学生"模型。**
这一步的关键改动是引入了
这个阶段采用了
就像玩"传话游戏",第一个人说的话一轮轮转述到第十个人耳朵里,内容已经面目全非。每一步转述也许只偏一点点,偏差却会一层层叠加放大。因果生成模型面对的正是这个困境:当前帧依赖上一帧的生成结果,上一帧只要有一点点误差,这个误差就会被当成"事实"传给下一帧,越往后越离谱。
**第三阶段是用分布匹配蒸馏,把4步压缩成1步,同时彻底解决误差累积问题。**
这一步的巧妙之处在于,学生模型不再依赖自己之前生成的内容去预测下一步,而是让生成器直接对齐真实分布。
分布匹配蒸馏(DMD)
具体做法是:拿第一阶段的教师模型当"真实评分"函数,再训一个"伪造评分"模型去拟合当前生成器的输出分布,两者之差就是优化信号。生成器接收噪声和条件输入,在因果掩码下直接单步出结果,不必再滚动依赖自己先前预测的隐变量。至于时间上的连贯性,改由后面的锚点机制来兜。
这个设计要解的矛盾很实在:沿用"预测结果喂给自己"的自回归逻辑,误差必然越滚越大;可完全不看历史,画面又会在片段之间断掉。StreamErase的做法相当于只在深层特征层面留"记忆",不在像素层面留"猜测",错误就不会被当成既成事实一路传下去。
消融实验的表格把三个阶段的变化摆得很清楚:教师模型(Stage 1)PSNR 32.487,学生初始化(Stage 2)掉到30.183,最终一步蒸馏后的模型(Stage 3)反而回升到32.791,略微超过教师模型,延迟则从130.16秒压到0.87秒。学生不比老师差,速度还快了150倍,这个结果多少有点反直觉。
长视频不塌:
单步生成的问题解决了,还有一件更棘手的事:要生成的如果不是5秒钟,而是30秒、甚至理论上无限长呢?
团队在这里借用了大语言模型领域的一个发现。2023年的一篇论文(Xiao等人提出的"Efficient Streaming Language Models with Attention Sinks")观察到:长文本生成中,序列最开始的几个token哪怕语义上并不重要,也会被模型持续"关注",起到稳住整个注意力分布的作用,删掉它们生成质量反而崩。
StreamErase把这套思路搬进视频领域,起名注意力锚点(attention sink)。
注意力锚点*:在
推理时的具体策略是维护一个锚点缓存,里面装S个初始帧片段,再加一个大小固定、随时间往前滚的局部窗口(W个片段)。新内容不断生成,局部窗口像传送带一样向前滚,长度始终不变,算力不会随视频变长而上涨。
这个设计解决什么,可以这样想:给朋友讲一个很长的故事,讲到第二十分钟,完全不记得开头说过什么,故事容易自相矛盾、人物设定漂移;可要把二十分钟前的细节全精确记住,脑子又扛不住。StreamErase的办法是只死死记住故事最开始定下的"基调"(锚点),中间细节只留最近的一小段(滑动窗口),既不会信息过载拖慢速度,也不会因为忘光开头让画面风格跑偏。
有意思的是,团队专门做了消融实验,看锚点到底该留多少。结果出乎意料:最小配置,也就是1个锚点片段加1个窗口片段,效果最好;锚点数量或窗口大小继续加大,质量不升反降。论文的解释是,历史窗口越长,模型越容易把早期积累的小误差一并"记住"再传下去,漂移更严重。这和前面说的传话游戏是一个道理,窗口越大,层层传递的信息越多,出错的概率越高。
具体数据上,团队用
多模态区域引导:让模型知道该盯着哪里看
速度和长视频稳定性之外,这篇论文还有一个专门冲着"擦干净"去的设计,叫
这个模块要处理的问题是:物体和它造成的影响(阴影、反射、遮挡)在空间上常常不挨着,一个人站在阳光下,影子可能投在身后两米远的地面上。模型怎么判断这片看着"正常"的地面其实也得重新生成?
做法是把裁剪出来的前景物体图像,经过
消融数字同样直接:加入MMRG后,SSIM从0.818升到0.872;再叠加效应擦除损失,SSIM进一步到0.928。两个模块一起用,明显好过单用任何一个。
打个比方,你让保洁员打扫房间,只说"把那只猫清理出去",他可能抓起猫就走,猫窝、猫毛、沙发上的抓痕一概不管;可你要是指着照片说"把这只猫和它可能留下的所有痕迹都处理干净",他的注意力就会主动扩到猫活动范围内的相关区域。MMRG本质上就是给模型一张"嫌疑现场照片",让它自己去搜那些和物体视觉上相似、位置却可能分离的受影响区域。
实际效果:和其他方法比起来怎么样
论文在三个数据集上做了对比:合成数据集
在ROSE-Benchmark上,StreamErase拿到PSNR 32.791、SSIM 0.928、LPIPS 0.063、
FVD*:Fréchet Video Distance,衡量生成视频整体质量和真实感的指标,数值越低,说明生成视频和真实视频在统计分布上越接近。
在VOR-Eval这个真实世界数据集上,StreamErase的PSNR为22.494,比EffectErase的22.792略低,SSIM和FVD表现相当,整体处在第一梯队,速度优势则是碾压性的。牺牲极小一部分真实场景画质,换来数量级的速度提升,这笔交易放在任何需要实时交互的场景里都很划算。
长视频方面,论文专门对比了5秒片段和30秒长视频。StreamErase在30秒视频上的运动平滑度0.987、背景一致性0.936、时序闪烁0.940、主体一致性0.958,与5秒片段相比几乎没有明显下降,质量漂移指标只有0.05。这套流式生成方案确实做到了越跑越稳,而不是拿长视频质量换理论上的无限长度。
写在后面
这篇论文里有个点让人来回琢磨:为什么“注意力锚点”这个小技巧在语言模型上早就验证过,搬到视频生成上却这么要紧。语言是离散的符号序列,视频是连续的像素流,按直觉两者的误差传播机制该是两回事。可StreamErase的实验结果摆在那里——只要是自回归式、一步一步往前推的生成范式,不管载体是文字还是画面,都躲不开同一个结构性弱点:早期信息一旦彻底丢掉,后面生成就没了锚定,像失去重心的陀螺那样慢慢偏转。不少看着是某个领域专属的工程技巧,背后其实是更普遍的计算规律在起作用。
还有个细节挺有意思:蒸馏之后的学生模型(Stage 3),有些指标反倒超过了当老师的原始模型(Stage 1)。学生比老师强,乍听不太合常理。可细想一下,分布匹配蒸馏优化的目标和原始扩散训练的目标本来就不完全一样——教师训练时追求的是逐步去噪的精确性,学生通过DMD直接对齐最终分布,某种程度绕开了多步累积误差的坑,于是在某些指标上讨了便宜。可见“蒸馏”有时不只是把性能压缩转移,也可能是重新设计训练目标带来的意外收获。
论文自己也承认了局限:固定上下文的因果生成机制,碰上场景剧烈转变会不够灵活;现有训练数据的规模和场景多样性都还有限;用户仍得手动画遮罩,对非专业用户来说门槛不低。哪天这套系统能做到在视频里点一下想删的人,剩下的全自动完成,那才算真正把交互成本压到普通人能接受的程度。
Q&A
Q1:StreamErase是什么?
A:StreamErase是一套流式视频物体擦除框架,单张GPU上就能以26.06帧每秒、0.87秒延迟实时生成视频,把指定物体连同阴影、反射等副作用一并去掉,理论上支持无限长度生成。
Q2:StreamErase为什么比ROSE、VACE这些模型快这么多?
A:靠的是三阶段蒸馏。原本需要50步去噪、依赖全局双向注意力的慢速教师模型,被一步步转成只需1步去噪、采用因果注意力加分布匹配蒸馏的流式学生模型,速度比VACE快234倍,比EffectErase快45倍以上。
Q3:StreamErase怎么解决长视频生成容易画质漂移的问题?
A:它引入注意力锚点机制,把视频最初几帧的信息固定下来当参照,再配合滚动更新的局部窗口和KV缓存;训练时模拟推理阶段的外推情况,模型在任意长度下都能以恒定速度稳定生成,不会累积误差。