视频生成提速50%:按块提前交卷,专挑难画的接着算

资讯 腾讯网 作者:科技行者 全文 3004 字 · 约 8 分钟读完 分类视频生成

你有没有想过,一个AI在画一段视频的时候,画面里每一个像素块需要的"打磨时间"真的一样多吗?比如一个人站在废墟里说话,背景的瓦砾堆几步前就已经和之前的画面长得差不多了,但人物的嘴型和表情还在不停变化。按照常理,AI模型应该聪明到知道"瓦砾可以先放一放,嘴型得继续抠细节",但事实是,几乎所有的视频生成模型都在...

所属频道 视频图像生成

一个AI画视频时,画面里每个像素块要花的时间,真的一样多吗?

举个例子:一个人站在废墟里说话,几步之前背景的瓦砾堆就已经和之前画面很接近了,可人物的嘴型、表情还在不停变。按道理,模型该知道瓦砾能先放一放、嘴型得继续抠,实际情况却是几乎所有视频生成模型都对画面每个角落用同一套流程——不管这块早画好了还是差得远,都要把全部计算步骤走完。这个问题,就是下文要处理的。

**核心问题:为什么“一视同仁”是一种浪费**

要弄明白浪费在哪,得先知道AI是怎么画视频的。

眼下效率最高的视频生成方式叫做

扩散模型

为了够快、撑得住实时的视频流生成,研究者把原本几十步甚至上百步的去噪压到只有四步,这种压缩技术叫做

听上去已经很极限,四步似乎没什么可省的空间了。麻烦恰恰出在这:四步是按整个画面的“平均难度”定的,画面里不同区域的难度却根本不一样。论文给了一个很直观的证据——把每个画面块在第一步、第二步、第三步的中间结果,分别拿去跟第四步(“标准答案”)对比,有些区域几步之内差距就很小了,另一些区域直到第四步差距依然很大。

这就像一个老师批一整个班的作业:有的学生写得又快又对,第一遍就该收卷;有的还在反复涂改。可老师偏偏规定所有人必须等铃响才能交。不这么规定会怎样?那些早写完的学生要么无事可做,要么被迫在已经写对的答案上继续改,改到最后反而改错了,本来能用在“后进生”身上的辅导时间就这么浪费掉。四步去噪的模型,就是这间铃响才能交卷的教室。

论文作者盯上了一个关键细节:这些压缩后的模型,训练阶段用的技术叫

分布匹配蒸馏

而

**Speculative Forcing:把每个画面块当成一份独立的草稿**

作者由此提出Speculative Forcing框架,中文可以理解为投机式强制去噪。

具体操作分三步。第一,每走一步去噪,就把当前的中间结果当成一份草稿。第二,找检验者来判断这份草稿离“标准答案”是不是已经够近了。第三,判断通过的话,这个画面块就被冻结,不再参加后面的去噪计算,但它算出的特征会留下来,供其他还没写完的画面块当参考。

这里有个很关键的技术细节,叫做

键值缓存

被冻结的画面块虽然不再计算,但它的

那判断一份草稿够不够格提前交卷,靠的是什么?论文里最核心的,是两套检验机制。

**训练免费型检验员:靠眼熟和稳定来判断**

第一套方案不需要任何额外训练,作者管它叫训练免费的检验员。

它的逻辑来自两个朴素的观察。其一,去噪第一步时,如果某个画面块的草稿已经和之前生成过的内容、或者参考图片里某块内容非常像,那它大概率已经收敛,不用再折腾。这叫

第二个观察从第二步开始。这时手上已经有两份连续的草稿可比,要是这两份几乎没变化,说明这个画面块稳住了,不会再有大改动。这叫

这套机制很像看一锅汤炖好没有。第一口尝下去,味道已经跟记忆里“炖好的汤”差不多,你可能直接关火,这是

**

训练免费的办法省事,可它判断的只是草稿的“外在表现”,没进模型内部看“内心活动”。碰上更复杂的场景,比如论文里提到的

世界模型

为什么

于是作者又设计了第二套方案,叫

这个卷积头只有三层3D卷积,参数量411万,跟整个生成模型动辄十几亿的参数比几乎可以忽略。训练时生成模型本身冻结不动,只训这个小小的检验头,让它学会从模型的“大脑活动”里读出“这块画面还差多少才收敛”的信号。

这就像一个经验老到的中医,不盯着病人脸上的气色,而是直接搭脉判断身体状况。气色是外在表现,有时会骗人——人一紧张脸就发白,可这不代表真有病,对应到训练免费检验员身上,就是可能出现的误判。脉象不一样,它反映的是身体内部真实的运行状态,靠得住得多。判断也不是整块一起做,而是逐个像素块单独裁决。

有个设计很容易被忽略,其实很关键:判断的粒度落在单个画面块上,既不是整帧画面,更不是整段视频。此前已有研究试过给整段视频或整帧画面统一分配去噪步数,论文里就提到了这类做法。为了验证,论文专门做了对比实验,让……

实验结果是省了一半计算量,质量没掉。设计思路讲了这么多,实际效果究竟如何?

论文在三个场景下做了验证:短视频生成、长视频生成、交互式世界模型生成。所用基座模型分别是 LongLive 和 Lingbot-World 2.0。

短视频生成任务上,原本四步去噪的 LongLive 总分 83.08。用上 Speculative Forcing 后,平均每个画面块只需约 1.68 步去噪,总分反而小幅升到 83.21。推理速度从每秒 26.4 帧提到 41.74 帧,快了 1.58 倍。

长视频生成任务上,也就是 30 秒的长片段,四步基准模型总分 82.69,

最具挑战的世界模型任务里,摄像机运动不断带来全新画面内容,平均步数压不到两步以下,最终稳定在 2.55 步左右。即便如此,质量分数 82.65 依然与四步基准的 82.62 基本持平,画质漂移从 3.094 降到 2.839,相机轨迹跟随的精度也没有打折扣。速度从 18.1 帧提升到 24.5 帧,快了 1.35 倍。

论文还专门做了对照实验,拿一个理论上限最高的方案作参照,叫做……

写在后面。读这篇论文时,我一直在想一个问题:这种“按需分配计算量”的思路,为什么直到现在才被明确提出来用于视频生成?后来想明白了,这其实跟……

论文里有个细节我觉得值得单独说:作者发现一个完全没训练过、结构更简单的……

由此引出一个更根本的疑问:过去我们只关注模型的最终输出,却把这些“稍一读取就能拿到”的信号完全放过了——生成模型内部究竟还埋着多少类似的东西?假如模型中间状态本身已经携带了关于自身计算进度和置信程度的大量信息,那这些“过程产物”是不是值得更认真对待,而不该只被当成通往终点的垫脚石?

Q&A

Q1:Speculative Forcing 是什么?

A:Speculative Forcing 是一个让视频生成模型按需分配计算量的框架。它把去噪过程中的中间结果当成草稿,用检验机制判断哪些画面块已经收敛、可以提前“交卷”,从而砍掉不必要的计算,在不损失画质的前提下把生成速度提升超过 1.5 倍。

Q2:Speculative Forcing 为什么能加速视频生成还不降低质量?

A:视频画面里不同区域的收敛速度本来就不一样。背景或重复内容往往几步就定型,新出现或变化剧烈的区域则需要更多打磨。该方法让已收敛的区域提前冻结、停止计算,把算力集中花在还没收敛的区域上,省下来的计算量用在了真正需要的地方。

Q3:Speculative Forcing 的训练免费检验员和学习型检验员有什么区别?

A:训练免费的检验员判断是否收敛,依据的是画面草稿与历史内容有多相似、连续两步之间变化有多大,无需额外训练;学习型检验员走的是另一条路——用一个轻量卷积头读取生成模型内部的隐藏特征,直接预测收敛差距,在摄像机运动剧烈的世界模型场景下表现更稳定。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  2. 视频生成要快,还是要好?这篇论文说你不用选

    你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。这种延迟到底是从哪来的?是因为模型算得不够快吗?这篇来自中国科学技术大...

    来源 腾讯网
  3. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  4. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  5. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  6. 国产芯片三级跳:近10万颗出货后,存储与AI芯片各闯一关

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白今年前三季度,国内半导体产业获得的投资已经超过去年全年。投中嘉川CVSource统计的金额是3311亿元,投资事件1475起。进入11月,计算芯片企业的新融资仍在披露。资本愿意等待的产品,已经有了不同的模样。有的芯片卖进了客户机房,新资金用来准备下一代;有的

    来源 腾讯网
  7. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  8. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  9. 英伟达停售H200:25%关税通道终结

    当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。

    来源 TechWeb
  10. iPhone Air2、iPhone 18标准版确认春季发布,前者升级幅度巨大

    随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年春季与消费者见面。

    来源 TechWeb
  11. iPhone 18标准版与Air 2定档2027年春季:Air 2升级双摄、更薄机身

    随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年春季与消费者见面。

    来源 TechWeb
  12. 腾讯眼里的AI生意

    今天(11 月 18 日)腾讯发了三季报,我看完财报,又听了一个多小时的电话会。 有个数字挺显眼,814亿。 嗯,腾讯一个季度的资本开支,比去年同期多了五倍有余;与此同时,营收涨....

    来源 腾讯网
  13. 苹果2027年春季发新机:iPhone 18标准版与Air 2,三星LG面板先行

    【TechWeb】随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年

    来源 AI 行业观察
  14. 抖音重拳治理“代解封”黑灰产:一个月处置1878条违规内容,137个账号被禁言

    【TechWeb】11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。所谓“代解封”黑灰产,指

    来源 腾讯网
  15. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  16. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  17. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
向下滚动自动加载更多