StreamErase把视频擦除做到26帧每秒:武大阿里团队的三步法

资讯 腾讯网 作者:科技行者 全文 4613 字 · 约 12 分钟读完 分类手机

你有没有试过用手机app去除视频里的路人甲,然后盯着进度条发呆两分钟?这不是一个夸张的说法。真实情况是,目前效果最好的视频物体擦除模型之一ROSE,处理一个5秒钟的短视频,需要整整2分钟。你剪辑一条十几秒的vlog,光是把画面里的陌生人擦掉,可能就要泡杯茶的功夫去等。更麻烦的是,这些模型压根不是边生成边给你看的...

所属频道 AI 硬件与终端

拿手机app擦掉视频里的路人,盯着进度条干等两分钟,这种经历有过吗?

这话不算夸张。眼下效果最好的视频物体擦除模型ROSE,处理一条5秒钟的短片,要花整整2分钟。剪一条十几秒的vlog,光把画面里的陌生人抹掉,等的时间够泡一杯茶。

更让人头疼的是,这些模型不会边算边给你看。整段视频得从头到尾全部算完,结果才肯露面。算到一半你想喊"停,这里不对",根本没有机会。武汉大学、阿里巴巴、港科大和上海交大团队的一篇论文,正是冲着这个毛病去的。他们做了一个叫

比起再造一个更快的模型,这篇论文更值得看的是另一件事:它给出了一整套办法,把“慢但好”的能力搬到“快且稳”的载体上。

这件事到底难在哪

先把问题的本质说清楚。当前主流的视频扩散模型,无论是擦物体的ROSE、

双向注意力

这套机制天生就是"全局优化",画质和时序一致性确实好,代价是整段视频都得备齐,模型才能开工。论文里的数据很扎实:VACE只有0.57 FPS,处理一个视频要204秒;ROSE是1.05 FPS,延迟121秒;EffectErase稍快,1.51 FPS,延迟96.59秒。这些数字一摆,"实时"两个字离它们确实很远。

StreamErase

问题来了:双向注意力这么好用,为什么不干脆"调快"就完事?因为双向注意力的本质要求是看到全部信息,跟"边生成边播放"在逻辑上互斥。要做流式生成,就得换成单向的、只看过去不看未来的

三步走:把老师的本事教给跑得快的学生

StreamErase的核心思路一句话能说清:先训一个很强但很慢的"老师"模型,再一步步把它的本事教给一个跑得飞快的"学生"模型。

整个过程分成三个阶段。

**第一阶段是训练一个双向注意力的教师模型,专门负责打好地基。**

这个教师模型基于阿里的

去噪步数

这一阶段的教师模型,物体擦除能力最全面,尤其擅长对付阴影、反射、遮挡这些物体留下的"副作用"。论文专门设计了一个

不这么做会怎样?实验数据说得很清楚:去掉这个效应擦除损失后,

好比家里撤掉一张挂了很多年的画,墙上那块颜色更深的印子要是不一并处理,画虽然拿走了,别人照样一眼看出这里挂过东西。单纯"移除物体"和"移除物体连带它留下的所有痕迹",难度完全是两回事,后者才算真正的擦除。

**第二阶段,把双向注意力换成因果注意力,训出一个流式的"学生"模型。**

这一步的关键改动是引入了

这个阶段采用了

就像玩"传话游戏",第一个人说的话一轮轮转述到第十个人耳朵里,内容已经面目全非。每一步转述也许只偏一点点,偏差却会一层层叠加放大。因果生成模型面对的正是这个困境:当前帧依赖上一帧的生成结果,上一帧只要有一点点误差,这个误差就会被当成"事实"传给下一帧,越往后越离谱。

**第三阶段是用分布匹配蒸馏,把4步压缩成1步,同时彻底解决误差累积问题。**

这一步的巧妙之处在于,学生模型不再依赖自己之前生成的内容去预测下一步,而是让生成器直接对齐真实分布。

分布匹配蒸馏(DMD)

具体做法是:拿第一阶段的教师模型当"真实评分"函数,再训一个"伪造评分"模型去拟合当前生成器的输出分布,两者之差就是优化信号。生成器接收噪声和条件输入,在因果掩码下直接单步出结果,不必再滚动依赖自己先前预测的隐变量。至于时间上的连贯性,改由后面的锚点机制来兜。

这个设计要解的矛盾很实在:沿用"预测结果喂给自己"的自回归逻辑,误差必然越滚越大;可完全不看历史,画面又会在片段之间断掉。StreamErase的做法相当于只在深层特征层面留"记忆",不在像素层面留"猜测",错误就不会被当成既成事实一路传下去。

消融实验的表格把三个阶段的变化摆得很清楚:教师模型(Stage 1)PSNR 32.487,学生初始化(Stage 2)掉到30.183,最终一步蒸馏后的模型(Stage 3)反而回升到32.791,略微超过教师模型,延迟则从130.16秒压到0.87秒。学生不比老师差,速度还快了150倍,这个结果多少有点反直觉。

长视频不塌:

单步生成的问题解决了,还有一件更棘手的事:要生成的如果不是5秒钟,而是30秒、甚至理论上无限长呢?

团队在这里借用了大语言模型领域的一个发现。2023年的一篇论文(Xiao等人提出的"Efficient Streaming Language Models with Attention Sinks")观察到:长文本生成中,序列最开始的几个token哪怕语义上并不重要,也会被模型持续"关注",起到稳住整个注意力分布的作用,删掉它们生成质量反而崩。

StreamErase把这套思路搬进视频领域,起名注意力锚点(attention sink)。

注意力锚点*:在

推理时的具体策略是维护一个锚点缓存,里面装S个初始帧片段,再加一个大小固定、随时间往前滚的局部窗口(W个片段)。新内容不断生成,局部窗口像传送带一样向前滚,长度始终不变,算力不会随视频变长而上涨。

这个设计解决什么,可以这样想:给朋友讲一个很长的故事,讲到第二十分钟,完全不记得开头说过什么,故事容易自相矛盾、人物设定漂移;可要把二十分钟前的细节全精确记住,脑子又扛不住。StreamErase的办法是只死死记住故事最开始定下的"基调"(锚点),中间细节只留最近的一小段(滑动窗口),既不会信息过载拖慢速度,也不会因为忘光开头让画面风格跑偏。

有意思的是,团队专门做了消融实验,看锚点到底该留多少。结果出乎意料:最小配置,也就是1个锚点片段加1个窗口片段,效果最好;锚点数量或窗口大小继续加大,质量不升反降。论文的解释是,历史窗口越长,模型越容易把早期积累的小误差一并"记住"再传下去,漂移更严重。这和前面说的传话游戏是一个道理,窗口越大,层层传递的信息越多,出错的概率越高。

具体数据上,团队用

多模态区域引导:让模型知道该盯着哪里看

速度和长视频稳定性之外,这篇论文还有一个专门冲着"擦干净"去的设计,叫

这个模块要处理的问题是:物体和它造成的影响(阴影、反射、遮挡)在空间上常常不挨着,一个人站在阳光下,影子可能投在身后两米远的地面上。模型怎么判断这片看着"正常"的地面其实也得重新生成?

做法是把裁剪出来的前景物体图像,经过

消融数字同样直接:加入MMRG后,SSIM从0.818升到0.872;再叠加效应擦除损失,SSIM进一步到0.928。两个模块一起用,明显好过单用任何一个。

打个比方,你让保洁员打扫房间,只说"把那只猫清理出去",他可能抓起猫就走,猫窝、猫毛、沙发上的抓痕一概不管;可你要是指着照片说"把这只猫和它可能留下的所有痕迹都处理干净",他的注意力就会主动扩到猫活动范围内的相关区域。MMRG本质上就是给模型一张"嫌疑现场照片",让它自己去搜那些和物体视觉上相似、位置却可能分离的受影响区域。

实际效果:和其他方法比起来怎么样

论文在三个数据集上做了对比:合成数据集

在ROSE-Benchmark上,StreamErase拿到PSNR 32.791、SSIM 0.928、LPIPS 0.063、

FVD*:Fréchet Video Distance,衡量生成视频整体质量和真实感的指标,数值越低,说明生成视频和真实视频在统计分布上越接近。

在VOR-Eval这个真实世界数据集上,StreamErase的PSNR为22.494,比EffectErase的22.792略低,SSIM和FVD表现相当,整体处在第一梯队,速度优势则是碾压性的。牺牲极小一部分真实场景画质,换来数量级的速度提升,这笔交易放在任何需要实时交互的场景里都很划算。

长视频方面,论文专门对比了5秒片段和30秒长视频。StreamErase在30秒视频上的运动平滑度0.987、背景一致性0.936、时序闪烁0.940、主体一致性0.958,与5秒片段相比几乎没有明显下降,质量漂移指标只有0.05。这套流式生成方案确实做到了越跑越稳,而不是拿长视频质量换理论上的无限长度。

写在后面

这篇论文里有个点让人来回琢磨:为什么“注意力锚点”这个小技巧在语言模型上早就验证过,搬到视频生成上却这么要紧。语言是离散的符号序列,视频是连续的像素流,按直觉两者的误差传播机制该是两回事。可StreamErase的实验结果摆在那里——只要是自回归式、一步一步往前推的生成范式,不管载体是文字还是画面,都躲不开同一个结构性弱点:早期信息一旦彻底丢掉,后面生成就没了锚定,像失去重心的陀螺那样慢慢偏转。不少看着是某个领域专属的工程技巧,背后其实是更普遍的计算规律在起作用。

还有个细节挺有意思:蒸馏之后的学生模型(Stage 3),有些指标反倒超过了当老师的原始模型(Stage 1)。学生比老师强,乍听不太合常理。可细想一下,分布匹配蒸馏优化的目标和原始扩散训练的目标本来就不完全一样——教师训练时追求的是逐步去噪的精确性,学生通过DMD直接对齐最终分布,某种程度绕开了多步累积误差的坑,于是在某些指标上讨了便宜。可见“蒸馏”有时不只是把性能压缩转移,也可能是重新设计训练目标带来的意外收获。

论文自己也承认了局限:固定上下文的因果生成机制,碰上场景剧烈转变会不够灵活;现有训练数据的规模和场景多样性都还有限;用户仍得手动画遮罩,对非专业用户来说门槛不低。哪天这套系统能做到在视频里点一下想删的人,剩下的全自动完成,那才算真正把交互成本压到普通人能接受的程度。

Q&A

Q1:StreamErase是什么?

A:StreamErase是一套流式视频物体擦除框架,单张GPU上就能以26.06帧每秒、0.87秒延迟实时生成视频,把指定物体连同阴影、反射等副作用一并去掉,理论上支持无限长度生成。

Q2:StreamErase为什么比ROSE、VACE这些模型快这么多?

A:靠的是三阶段蒸馏。原本需要50步去噪、依赖全局双向注意力的慢速教师模型,被一步步转成只需1步去噪、采用因果注意力加分布匹配蒸馏的流式学生模型,速度比VACE快234倍,比EffectErase快45倍以上。

Q3:StreamErase怎么解决长视频生成容易画质漂移的问题?

A:它引入注意力锚点机制,把视频最初几帧的信息固定下来当参照,再配合滚动更新的局部窗口和KV缓存;训练时模拟推理阶段的外推情况,模型在任意长度下都能以恒定速度稳定生成,不会累积误差。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 梁文锋越过聊天框

    (本文作者为 字母AI,钛媒体经授权发布)文 | 字母AI11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后

    来源 腾讯网
  2. 谷歌钱包登陆美国iOS:能管登机牌门票,暂不支持碰一碰支付

    当地时间11月17日,谷歌宣布,谷歌钱包(Google Wallet)正式面向美国iOS用户开放。用户可通过该应用集中管理购物订单、电子登机牌、演唱会门票和收据等信息,并与Gmail及其他谷歌应用自动同步。iOS版谷歌钱包还支持用户通过手机摄像头扫描实体会员卡和健身房会员卡,将其添加至钱包;用户也可管理支付卡,以便在谷

    来源 腾讯网
  3. 强脑科技韩璧丞:脑机接口的两层意义,未来动念就能操控手机电脑

    IT之家 11 月 17 日消息,在 2026 年 APEC 工商领导人峰会上,强脑科技创始人兼 CEO 韩璧丞在发言中表示,脑机接口正从实验室走向日常生活。放眼国内外,中国“十五五”规划中,首次将脑机接口列为六大未来产业之一;摩根士丹利报告也显示,仅美国医疗本土市场,就将催生一个 4,000 亿美元(IT之家注:现汇

    来源 腾讯网
  4. 韩元锡自首:AI作弊拿第一,4天后高考如何防?

    11月15日,34岁的韩元锡承认,自己在两轮考试中都用了电子设备和生成式AI作弊。而在不久之前,他还在接受采访,分享自己的备考秘诀。这套成功经验里,甚至包括对手机的严格管理。

    来源 36氪
  5. 华为MateBook鸿蒙电脑:鸿蒙有礼可免费领3个月小艺AI会员

    IT之家 11 月 17 日消息,华为官方昨日宣布小艺 AI 订阅服务正式上线,支持多场景高阶 AI 能力。会员权益涵盖办公文档生成、内容创作、图像处理及云存储等场景,覆盖鸿蒙手机、平板、电脑及 Windows 平台。 据博主 @Adak封狼居胥 分享,华为 MateBook 鸿蒙电脑“鸿蒙有礼”权益上新,可免费领取三

    来源 AI 行业观察
  6. 多家知名网站遭篡改,攻击者窃取加密货币并入侵 iPhone

    IT之家 11 月 17 日消息,据路透社报道,全球访问量最高的一些网站遭到恶意代码攻击,涉及 Zoom、汇丰银行、益博睿(Equifax)、美国有线电视新闻网(CNN)、Salesforce 和宜家等知名企业。安全研究人员周一表示,攻击者试图借此窃取用户加密货币,并向 iPhone 植入恶意程序。 安全研究人员斯科特

    来源 AI 行业观察
  7. 韩国税务师考试第一名自首:承认两轮都用AI作弊

    韩国今年税务师考试的第一名,自首了。 11月15日,34岁的韩元锡承认,自己在两轮考试中都用了电子设备和生成式AI作弊。而在不久之前,他还在接受采访,分享自己的备考秘诀。这套成功经验里,甚至包括对手机的严格管理。 韩国上上下下已经炸了锅,韩元锡自首时,距离11月19日的韩国高考,只剩四天。一个带着摄像头和手机的考生,坐

    来源 AI 行业观察
  8. 苹果智能眼镜押注Siri:复用iPhone应用生态,对标Meta Muse

    苹果 公司正计划在其筹备中的 智能眼镜 产品中深度整合 Siri 人工智能代理,意图通过App Store生态优势挑战 Meta 的 Muse AI 语音助手及三星、 谷歌 等竞争对手。 据 彭博社 记者 Mark Gurman 透露,苹果的核心策略在于复用现有的 iPhone 开发者生态。软件开发

    来源 AI 开发者社区
  9. 苹果智能眼镜计划整合Siri代理,用App Store生态挑战Meta

    苹果拟在智能眼镜中深度整合Siri AI代理,借App Store生态挑战Meta的Muse AI语音助手及三星、谷歌。Mark Gurman称,苹果将复用iPhone开发者生态,开发商无需单独适配可穿戴应用,只需把现有应用功能开放给Siri调用,用户可通过语音命令直接操作。此举旨在降低开发门槛,加速智能眼镜落地。

    来源 AI 产业速递
  10. iPhone 2027阵容前瞻:18款新品曝光,AI眼镜首秀?

    IT之家 11 月 17 日消息,科技媒体 MacRumors 今天(11 月 17 日)报道,综合彭博社记者马克 · 古尔曼(Mark Gurman)及其他消息来源,苹果 2027 年可能推出至少 18 款新品,覆盖手机、平板、电脑、手表及智能家居设备。 iPhone 方面:共计约 6 款 iPhone 18e:A2

    来源 AI 行业观察
  11. Operit AI上手:40+工具与MCP插件怎么用

    Operit是Android平台的一款AI助手,核心亮点在于将大模型对话与本地系统能力打通。本文梳理了其内置的搜索、文件处理、代码执行等实用工具,并详解如何通过MCP协议扩展插件。不同于纯聊天机器人,它更像是一个能直接操作手机文件的智能终端,适合需要在移动端进行轻量级开发或自动化任务的用户。

    来源 AI 应用前沿
  12. 华为Mate 90推送HarmonyOS 7.0.0.115 SP11:AI快捷栏交互曝光

    IT之家 11 月 18 日消息,华为 Mate 90 系列手机昨晚率先开启鸿蒙 HarmonyOS 7.0.0.115 SP11 版本升级,系统包大小约 10.31GB,带来了 AI 快捷栏等功能。 据IT之家用户 @秋叶寒 反馈,Mate 90 系列手机的 AI 快捷栏拥有全新交互体验 —— 它会维持 5 个应用图

    来源 AI 行业观察
  13. 韩璧丞谈脑机接口:未来或能靠大脑直接操控手机电脑

    在2026年APEC工商领导人峰会上,强脑科技创始人兼CEO韩璧丞表示,脑机接口正从实验室走向日常生活。他认为脑机接口可能解决阿尔茨海默症、失眠等脑疾病问题,也可能改变人与外界的交互方式,未来人们很有可能用大脑直接控制手机、电脑,无需开口讲话。

    来源 凤凰科技
  14. iPhone 18静音键或取消:苹果为何死守相机控制键?

    雷科技注意到,日前有网络爆料称,苹果可能在明年上半年推出iPhone 18标准版,并取消独立操作按钮,将静音功能整合进相机控制按键。这是一次相当大胆的调整,毕竟静音按键一直是iPhone最具代表性的设计之一,即使苹果之前就将拨杆换成了操作按钮,但对于不少用户来说,它依然是日常切换静音状态最方便的方式。

    来源 创业邦
  15. AI探店10元一条、800元一分钟:月入800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
向下滚动自动加载更多