视频生成也分区域对待:有的地方可提前收工,有的必须走完全程

资讯 腾讯网 作者:科技行者 全文 4139 字 · 约 11 分钟读完 分类视频生成

你有没有想过,为什么现在那些能实时互动的AI视频生成工具,画面质量总是差点意思?不是算法不够聪明,是它们在做一件挺浪费的事:不管画面里哪块地方,统统用同样的力气去处理。这事说起来有点反直觉。你可能觉得,视频生成模型既然已经是顶尖AI技术了,那对每一帧画面肯定都做了最优处理吧。但事实恰恰相反。现在主流的自回...

所属频道 视频图像生成

实时互动的AI视频生成工具,画面质量常常差一口气。问题不在算法聪不聪明,而在它干了件费力不讨好的事:画面里哪块地方都用一样的力气去算。

这听着有点反直觉。顶尖的AI技术,按理说每帧画面都该被最优处理,可实际情况正相反。眼下的自回归视频扩散模型生成下一段视频时,会先把整幅画面切成一个个小块(学术上叫patch),再逐块去噪。

打个比方,画家画风景,天空和云彩几笔就似模似样,人物的面部表情、手指关节却得反复描。要是要求他对每一寸画面都花同样多的时间精修,结果只有两种:简单的部分白费工夫,效率低;总时间一压缩,复杂的部分又来不及画细,质量差。视频生成模型眼下卡的就是这个两难。

HKUST(香港科技大学)、VAST和澳门科技大学的研究者联合提出了一个叫ForcingBooster的方案,思路是让模型按区域区别对待。

难点究竟在哪儿

先说说什么是patch。

自回归视频扩散:把一整段视频拆成一段一段地生成,每一段(叫做一个chunk)内部再逐块去噪。

这种技术最早由相关团队提出,后来被不断压缩步数。

代价是,即便压到四步,这四步还是“一刀切”地套在画面的每一个patch上。

实验结果挺有意思。30.6%的画面区域,走完第一步就已经非常接近最终效果;另有12.25%和9.69%分别在第二步、第三步达标。剩下47.45%的区域,前三步都没过这个阈值,得走完全部步骤才稳定。

这组数字意味着什么?把全部区域都按“最难的那47.45%”来分配资源,前面三成区域纯属白干;反过来图省事把步数砍到一两步,将近一半的区域会留下明显瑕疵。论文里举了个直观的例子:攀岩者的手部和岩石纹理,只用一两步生成时明显变形走样,背景的天空和山坡却几乎看不出区别。

这就是

让模型学会“偷懒”和“较真”

ForcingBooster的核心设计,是给已经训练好的视频生成模型装上一个轻量级的“路由器”(router)。

路由器:一个额外训练的小模块。它干的事是在每一步去噪之后给画面里每个patch打分,预测这个区域“是不是已经够好了、可以提前停止去噪”。某个patch的停止概率一旦超过设定阈值,它就不再参与后续去噪计算,当前步骤算出的结果直接当作最终输出。

这里要解决两个技术难题。第一个:一个patch提前“下班”了,拿什么当最终输出?

这就牵涉到扩散模型和x0预测。

x0预测:不管模型内部预测的是噪声还是速度场,每一步去噪的中间阶段都能反推出一张“假如现在就停、画面会长什么样”的清晰图像估计。有了这个中间估计,提前退出的patch就有了现成、可直接使用的输出,不必额外设计机制。

这个设计挺巧妙,原来的生成网络一点不用改,只是多“读取”一下模型本来就会产生的中间信息。就像老师批改作文,学生写到一半,文章最终能打多少分已大致看得出来,不必等全文写完。

第二个难题更棘手:怎么知道一个patch该在第几步停下?没有谁给过“标准答案”,告诉模型这块区域该在第二步停、那块必须撑到第四步。

研究者的解法是设计两个损失函数。

第一个是

停止代理损失:拿当前patch的中间预测结果和“跑完全部步骤”的最终结果比误差,误差大却还被判“可以停止”的,要受罚。换句话说,某区域现在停下效果就很差,给它打高停止概率就要挨罚;已经和最终结果很接近的,提前停反而不罚。

可光有这一条损失会出大问题。对模型来说,最保险的策略永远是“一个都不停、跑满全部步骤”,误差肯定最小,提速的意义却全没了。

于是第二条损失登场,叫做预算损失,用来约束整体提前退出的比例。

训练过程还有个细节:在线策略(on-policy)训练。

训练上还有个细节,叫在线策略(on-policy)训练。打个比方,健身的人会照着自己当天的真实状态去调训练计划,而不是死守几年前定下的那张固定课表。不这么做的话,路由器学到的早停策略和它实际运行时的行为就对不上号,训练出来的东西也用不上。

整套训练很轻,大约500步就够。监督数据也不是另找的,全部由冻结不动的原始生成模型自己跑出完整结果,不用额外收集视频数据,也不用人工标注。

效果怎么样,看数字。研究者在多个模型上做了验证,包括Causal Forcing 1.3B、Wan2.1 14B、LingBot-World-V2 14B和LongLive。

其中Causal Forcing上的结果给得最细。四步基线的Total得分是82.08,ForcingBooster拿到81.55,几乎没有掉分。分档数据如下:方法、Quality、Semantic、Total、速度提升、步数减少;一步为83.06、69.50、80.35、1.58倍、64.29%;两步为83.69、71.66、81.29、1.29倍、42.86%;三步为84.24、71.96、81.78、1.14倍、21.43%;四步(基线)为84.54、72.21、82.08、-、-;ForcingBooster为83.88、72.20、81.55、1.30倍、50.19%。

这张表里最该看的一点是:ForcingBooster跑起来和两步法速度差不多,三项指标却全面压过两步法。问题不在“少用几步”,而在“少用在哪里”。

换到Wan2.1 14B、LingBot-World-V2 14B、LongLive这三个规模和架构都不一样的模型上,结果也接近:ForcingBooster的质量分数都紧贴四步基线,速度提升落在1.15到1.31倍之间,整体好于单步采样。单步采样确实最快,可图片一对比就能看出来,人物面部、手部细节和复杂纹理区域都出现了肉眼可见的瑕疵。

这还没完。研究者另做了一组对照实验,想弄清“选对位置”到底有没有必要,还是随便分配步数效果也差不多。他们设了两个对比策略:一个叫“随机”(Random),保留每帧里各步数对应区域的数量分布,只把区域位置随机打乱;另一个叫“按块统一”(Chunk-wise)。结果显示,运行时间接近时,ForcingBooster的Total得分是81.54,明显高于随机策略的79.03和按块统一的80.01。可见早停决策“放对位置”本身就有价值,不是单纯省了几步换来的。画面上的差别也直观:按块统一会让某些时间段发糊,人物面部和手部细节变弱;随机策略闪烁感明显,物体轮廓忽隐忽现,看着不稳。ForcingBooster在视觉锐度和时间一致性上都最接近四步基线。

两个关键参数该怎么调,论文也做了分析。

第一个是计算成本权重,它决定训练时“鼓励早停”的压力有多大。设得太小或者为零,路由器就干脆什么都不停,四步全跑完,路由器自身的计算开销白添一笔,反而更慢。设到0.015到0.03之间,省时间的效果明显,效果又能贴近四步基线。

第二个是停止阈值,也就是停止概率高过多少才判定可以退出。实验里针对0.1到0.9这个区间分别训练了独立的路由器。有意思的是,阈值调高一般会让运行时间变长,却不必然换来更接近四步基线的效果。可见单靠调高或调低阈值,并不是提升质量的可靠路子,真正管用的是路由器自己学到的判断能力。

最后还有一组关于视频“动态程度”的分析。研究者用

这套思路和此前的工作差在哪?领域里尝试类似“自适应计算”思路的人其实不少。比如

ForcingBooster与这些工作最大的区别是:原始生成器一点不动,只训练一个轻量路由器,挂在冻结不动的少步生成模型上。被提前停下的patch,其清晰预测结果直接固定住,后面的Transformer计算完全不再碰它,只是把它的

写在后面

这篇论文看下来,真正让我记住的不是速度提升了多少,而是“30.6%的区域一步就够了”这组数据。它说明的事情其实很简单:视频里各处的信息密度本来就不一样。大家总以为AI模型越强,算得就该越整齐、越统一,可这项研究给出的结论正相反——聪明的系统得看人下菜碟,简单的地方省点力,复杂的地方多花心思。

论文里还有一个细节可以单独拎出来讲。那组关于运动幅度的实验,实际上回答了一个挺实际的问题:这套办法用在哪儿最划算?结论是运动幅度小的视频,像机位不动、背景变化不大的那种场景。

有个问题论文没细讲:画面突然剧烈变化时,这套路由机制反应有多快?镜头猛晃、场景瞬间切换的那一刹那,路由器能不能及时调整自己的“信心”判断,还是说会慢半拍。论文没专门测这一点,但这个问题值得接着追,毕竟真实的交互式视频生成里,这种突变并不少见。

哪块该省、哪块该细,原来不用人去教模型,它自己能判断。那再往后想一步:会不会连“去噪步数”本身都不再必要,模型直接学会估每个区域离“完成”还差多远?

Q&A

Q1:ForcingBooster是什么?

A:它是一个加在已训练好的少步视频生成模型上的轻量路由模块。它动态判断画面中每个小区域是否已经生成到位,简单的区域提前结束去噪,复杂的区域接着精细处理。整体去噪步数能降约50%,画质基本不受影响。

Q2:ForcingBooster需要重新训练整个视频生成模型吗?

A:不用。要训练的只是一个轻量路由器模块,原有生成模型全程冻结。训练大概500步就能完成,监督信号全部来自模型自己生成的完整结果,既不额外要视频数据,也不需要人工标注。

Q3:ForcingBooster和单纯减少去噪步数(比如直接用一步或两步采样)有什么区别?

A:直接把步数砍掉,是对所有区域一视同仁,复杂区域(人物手部、精细纹理之类)很容易出明显瑕疵。ForcingBooster改成分区分配:简单区域少算,复杂区域多算。运行速度差不多的情况下,画质明显好于均匀减步的做法。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. RPO新解法:AI画图模型强化学习,噪声该往哪加?

    你可能没想过这个问题:训练一个会画图的AI,让它根据人类打分不断优化,到底难在哪里?答案听起来有点反直觉。难点不在于"告诉AI哪张图更好",这个人类反馈模型早就能做了。真正卡住所有人的是另一件事:要让强化学习生效,你得先让生成过程变得"随机",可现在最先进的图像和视频生成模型,走的恰恰是一条确定性路径。这就...

    来源 腾讯网
  2. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  3. 视频生成提速50%:按块提前交卷,专挑难画的接着算

    你有没有想过,一个AI在画一段视频的时候,画面里每一个像素块需要的"打磨时间"真的一样多吗?比如一个人站在废墟里说话,背景的瓦砾堆几步前就已经和之前的画面长得差不多了,但人物的嘴型和表情还在不停变化。按照常理,AI模型应该聪明到知道"瓦砾可以先放一放,嘴型得继续抠细节",但事实是,几乎所有的视频生成模型都在...

    来源 腾讯网
  4. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  5. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  6. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  7. Anthropic上市募资813亿美元:AI资本竞赛进入新阶段?

    作者|版君一家公司上市,募资813亿美元,首日市值一度突破2万亿美元。毫无疑问,Anthropic创造了美国资本市场新的IPO纪录。但这场IPO值得关注的,远不只是一个一批百万富翁,或者一家公司创造了多少融资纪录。它更像一次集中展示,AI产业积累多年的技术价值、私人财富、资本承诺和商业风险,正在同一天被摆上台面。这背后

    来源 腾讯网
  8. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  9. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  10. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。

    来源 TechWeb
  11. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  12. 莫少君接手抖音生活服务,豆包能成为他的胜负手吗?

    眼看交易规模即将追平美团,抖音生服却换下了掌门人。 据36氪报道,浦燕子不再担任抖音生活服务总裁,转任公司顾问,后续参与公益相关工作,职务由红果短剧负责人莫少君接任。 对此,抖音回应字母榜称,此次调整属于正常的管理岗位轮换与交接,生活服务是公司长期发展方向之一,对该板块会持续投入、长期经营。 浦燕子是2023年11月开

    来源 AI 行业观察
  13. 抖音重拳治理“代解封”黑灰产:一个月处置1878条违规内容,137个账号被禁言

    【TechWeb】11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。所谓“代解封”黑灰产,指

    来源 腾讯网
  14. 华为鸿蒙智家无界交互定档11月24日,预热“住进未来家”

    IT之家 11 月 19 日消息,华为官方今日宣布,新一代华为鸿蒙智家无界交互将在 11 月 24 日发布,号称“住进未来家”。华为官方暂未公布新一代鸿蒙智家无界交互的具体功能,不过预热海报中展示了人车家生态场景。图中的女主人公手持平板似乎正在控制窗帘开关等,而男主人公和小朋友正在看电视。预计无界交互将进一步优化智能.

    来源 腾讯网
  15. 黄仁勋卸任后英伟达评级遭下调,AMD被做空机构质疑订单

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电

    来源 TechWeb
  16. 黄仁勋离任连锁反应:英伟达评级遭下调,AMD被做空机构盯上

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑另一家由华人CEO主导的芯片企业AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的

    来源 AI 行业观察
  17. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
向下滚动自动加载更多