AI视频生成提速的代价:四步生成为什么总是糊的?

资讯 腾讯网 作者:科技行者 全文 4243 字 · 约 11 分钟读完 分类视频生成学术研究

你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

所属频道 视频图像生成前沿研究

你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?

这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。

**

这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。

**

视频扩散模型要跑得快,到底难在哪

先说说背景。现在主流的视频生成模型,比如Wan2.1这种,本质上是靠一步步"去噪"生成画面的。

扩散模型

这个"猜"的过程,猜个二三十步才能出一张还不错的画面。但现实应用里,比如直播互动、实时游戏画面生成,没人愿意等你猜三十次。所以工业界一直在琢磨:能不能让模型学会"少猜几次也能猜准"?

这就是

蒸馏*:用一个训练好的"大模型"(老师)去教一个"小而快"的模型(学生),让学生用更少的步骤、更简单的结构,模仿出老师的生成能力。

还有一个更麻烦的问题:自回归生成。普通的视频

自回归(AR)

问题来了:双向模型训练出来的"老师",天生就能看到未来帧的信息,而自回归的"学生"不能。这种能力不对等,导致直接照抄老师的答案会出问题,论文管这叫"

为了解决这个落差,之前的做法(叫

但论文作者发现,这套"学长示范"的方法,步数一少,照样会模糊。

四步生成的时候,图像细节丢失得很明显,不管学长教得多认真。这说明问题不在于"抄谁的作业",而在于"抄作业"这件事本身,用某种特定的评分标准去对答案,天然就会导致模糊。

为什么"对答案"这件事会导致模糊

这里要讲一个数学上的小道理,但其实生活里到处都是它的影子。

论文里证明了一个命题:如果你用最常见的误差衡量方式(欧氏距离平方,也就是

这是什么意思?

设想一个场景:你让模型根据一句模糊的描述"一个人在挥手"去生成视频,但这句描述其实能对应很多种可能,可能是左手挥,可能是右手挥,挥动的幅度、角度、速度都有无数种合理答案。如果训练目标是"让预测结果和所有这些可能答案的误差平均起来最小",那模型学出来的最优策略,就是把这些可能答案叠在一起取平均,结果就是一只虚影重重、轮廓模糊的手。

这就跟你让十个目击证人分别画一张嫌疑人的素描,然后把十张素描叠在一起取平均值一样。每张素描单独看都是一张合理的脸,但叠加平均之后,五官会变得模糊、不聚焦,谁也不像。证人们各自的判断没有错,错在"把多个合理答案强行平均"这个操作本身。如果不这么做,而是挑其中一张最可信的,画面反而会更清楚,哪怕有偏差也比"四不像"强。

这就是论文里证明的核心数学结论:条件分布如果存在不确定性,

那为什么用"中间老师"的确定性目标(ODE蒸馏)能缓解一部分问题,但没法彻底根治呢?

论文解释说,ODE初始化至少把目标变成了确定的单一答案,不再是一堆答案取平均,这确实缓解了模糊。但在步数极少(比如只有四步)的情况下,留给模型"修正细节"的机会太少了,细节依然补不回来。论文配图里展示得很直观:八步、十二步的时候,ODE初始化的效果已经能追上新方法,但一旦压到四步,差距立刻拉开。

核心方法:别在像素层面较劲,去"感知空间"里比较

研究者们的解法叫

这个思路的转折点在哪儿?

与其在原始的视频像素/隐空间里逐帧逐点地比较"预测画面"和"目标画面"像不像(也就是前面说的那种容易导致平均化模糊的

这个被拿来当裁判的网络,论文里用的是Wan2.1-14B,一个参数量很大、本身没有被继续训练、只负责提取特征的视频扩散变换器。

DiT(Diffusion Transformer)

为什么换个"比较方式"就能避开模糊的问题?

这里要讲第二个类比。假设你是一个美术老师,判断学生画得像不像照片,有两种评分方式。第一种是拿着照片和画作逐个像素比对颜色数值,算平均误差,这种评分方式下,如果照片本身存在多种"合理临摹"(比如阴影画深一点还是浅一点都说得过去),学生最保险的策略就是把阴影画得不深不浅,两头都不得罪,结果画面发灰发糊。第二种评分方式是让另一个经验丰富的美术鉴赏家来看,这个鉴赏家不逐像素比对,而是判断"这幅画有没有捕捉到原作的神韵、笔触、质感",这种评价方式下,画面即便和原作像素级不完全一致,只要神韵对了,鉴赏家就会给高分,学生也就没有动机去画一张"谁也不像的平均脸"。

表征空间的监督,干的就是把裁判从"逐像素比对"换成"懂行的鉴赏家"。

论文里用的具体方式是:学生预测出的清晰视频块和真实的训练视频,分别通过同一个冻结的Wan2.1-14B网络的前几层(具体是第8层,占全部40层深度的大约五分之一),提取出每个画面片段(token)的特征向量,归一化后,用

余弦相似度

这套新方法有个额外的好处,也是整篇论文设计上很聪明的一点:它完全不需要像之前的方法那样,先单独训练一个"中间老师"模型,再用这个中间老师去生成一大堆额外的ODE轨迹数据供学生模仿。它直接复用了训练"中间老师"时本来就要用的那批合成视频(大约3000条,来自VidProM提示词生成的Wan双向模型合成视频),一步到位,既省了一次独立训练阶段,又省了生成额外轨迹数据的开销。

为什么选中间层而不是最浅层或最深层来提取特征,论文也给了解释:浅层的特征和原始像素空间关系太近,容易把像素层面的"平均化倾向"也带进来;深层的特征又太抽象,可能连基本的外观细节都被抽象掉了,变得对具体纹理不敏感。中间层刚好卡在"既有一定抽象能力,又没丢失细节"的甜蜜点上。实验里消融测试也验证了这点:五分之一深度处的效果最好,比八分之一深度和二分之一深度都要好。

训练流程:两步走,表征初始化加DMD精调

整个RepForcing的训练分两步。

第一步是刚才讲的表征空间初始化训练,这一步让自回归的小模型学会在

教师强制

第二步是不动的,沿用了之前Self Forcing方法里的非对称DMD(分布匹配蒸馏)精调流程。这一步让模型用自己生成的历史画面去做"自我滚动"推理,缩小训练和真实使用场景之间的差距,训练时用的那个Wan2.1-14B特征提取网络在这一步就不再参与了,彻底功成身退。

DMD(Distribution Matching Distillation,分布匹配蒸馏)

效果到底好多少:数字说话

论文在

在四步、分块(chunk-wise)生成的设置下,RepForcing拿到了

对比之前报告的

和另一个同期工作Causal-rCM相比(总分84.37,VisionReward 8.211),RepForcing总分高出0.29分,VisionReward高出22.69%。

在逐帧(frame-wise)生成设置下,RepForcing总分84.38,VisionReward 10.598,相比

不过论文也很诚实地指出,这个方法不是在所有维度上都赢。比如

研究者没有回避这些不如人的地方,而是坦承:这个方法带来的是"整体质量和奖励评分的提升,而不是每一项指标都最优"。

| 模型 | 总分 | 质量 | 语义 | 动态程度 | VisionReward |

|---|---|---|---|---|---|---|

| CausVid | 81.33 | 83.98 | 70.72 | 62 | 5.741 | 12 |

| Self Forcing | 83.74 | 84.48 | 80.77 | 57 | 5.820 | 48 |

| Causal Forcing | 84.04 | 84.59 | **81.84** | 68 | 6.326 | 56 |

| Causal-rCM | 84.37 | 85.02 | 81.73 | **71** | 8.211 | 64 |

| RepForcing(分块) | **84.66** | **85.55** | 81.10 | 69 | **10.074** | **78** |

消融实验还测了不同的特征提取网络选择,拿

写在后面

读完这篇论文,最触动我的其实不是具体的分数提升,而是那个"

它用一种很干脆的方式解释了一个我们在生成式AI里经常遇到但说不清楚的现象:为什么有些模型生成的东西"看着没错,但就是没有灵魂"。答案可能很简单,用均方误差训练出来的模型,天生就倾向于给出一个"保守的平均答案",而不是一个"大胆的具体答案"。这个道理其实不只适用于视频生成,文本生成里那种"正确但平庸"的输出,某种程度上也是同一种机制在作祟。

另一个值得琢磨的地方是,这篇论文没有去发明一个全新的网络结构,也没有引入额外的判别器(像GAN那样),它做的事情说到底就是换了一把"尺子"。原来用像素级误差量尺子,现在用一个预训练模型的内部特征当尺子。这种"不改架构,只改监督信号"的思路成本很低,却撬动了不小的效果提升,这也许提示我们,很多时候卡住性能的瓶颈,不一定在模型能力本身,而在你拿什么标准去要求它。

论文里还提到一个细节,他们尝试了不同深度的特征层,发现太浅太深都不行,五分之一深度最合适。这个"甜蜜点"是怎么找到的,论文没细说是不是靠系统搜索还是经验尝试,但这种"既不能太贴近原始数据,又不能太抽象"的调参智慧,其实在很多领域都似曾相识,调音响要找到合适的均衡点,熬汤要找到合适的火候,大抵都是同一类问题。

四步能把视频生成做到接近高步数的效果,这个方向会走多远,会不会有一天变成一步生成,这是个悬而未决的问题。

Q&A

Q1:RepForcing是什么?

A:RepForcing是一种把预训练视频扩散模型压缩成少步自回归生成器的蒸馏方法,核心创新是用冻结视频模型的内部特征来监督训练,而不是直接对像素或隐空间做回归,从而在四步生成这种极限场景下保留更多画面细节。

Q2:RepForcing相比之前的Causal Forcing方法好在哪里?

A:在四步分块生成设置下,RepForcing把VBench总分从84.04提升到84.66,VisionReward从6.326提升到10.074,提升幅度接近59.25%,同时省去了训练中间自回归老师和生成额外ODE轨迹数据的步骤。

Q3:为什么少步数视频生成容易出现模糊?

A:论文证明,常用的像素级L2回归训练出的模型,最优解其实是所有合理答案的平均值而非某个具体清晰画面,步数越少留给模型修正细节的机会越少,模糊就越明显,这是均方误差回归本身的数学性质决定的。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 视频生成要快,还是要好?这篇论文说你不用选

    你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。这种延迟到底是从哪来的?是因为模型算得不够快吗?这篇来自中国科学技术大...

    来源 腾讯网
  2. 实验室里的AI视频生成器:当画面很逼真,却指错了孔

    你有没有想过,为什么现在这么多实验室还在靠人盯着人学操作?明明AI已经能写代码、能规划实验方案,甚至能跟你聊化学反应机理聊得头头是道,可一到真正动手做实验这件事上,它却几乎插不上手。答案很简单:机器人在真实实验室里干不了精细活。试管要怎么拿才不会洒,移液枪的按压力度该多大,天平归零的那个按钮藏在哪个角度...

    来源 腾讯网
  3. AI研究员给了一个GPU,十小时,还有一整套训练工具,接下来会发生什么?

    研究团队做了个实验,让一个AI智能体接管整个大语言模型的训练后调优流程。给它一台H100显卡,不限制的网络访问权限,还有十个小时的时间预算。然后,就看着它自己去折腾。结果让人意外。这个智能体在面对完整的工具箱时,没有像人类专家那样东做做西试试,反而迅速收窄到了一种操作上。整整三十三轮实验里,它反复做的事情...

    来源 腾讯网
  4. 谷歌PageBreak:AI安全代理已挖出500多个XSS漏洞,误报率接近零

    根据谷歌发表的一篇论文,其人工智能驱动的安全代理自今年 1 月全面投入运行以来,已在旗下各类 Web 应用中发现了 500 多个 XSS 漏洞。Google PageBreak 利用 Gemini 模型自主调查潜在漏洞,但仅在确定性验证器在运行中的应用程序上成功复现该漏洞时才会上报,因此误报率几乎为零。 借助 Page

    来源 AI 行业观察
  5. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  6. 中际旭创被看空:300亿利润测算指向AI硬件软肋

    一份看空中际旭创的估值测算,几乎把整个AI硬件资产的估值困境摆到了台面上。 11月17日,一份关于中际旭创的看空测算在投资圈迅速传播。按照这份材料的预测,到2029年,中际旭创的年净利润大....

    来源 腾讯网
  7. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  8. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  9. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  10. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  11. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  12. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  13. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  14. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
  15. Echo 创始人邹皓:硬件负责收集声音,AI负责创造价值

    过去一年,AI 硬件经历了一轮完整的冷热切换。年初,“取代手机”式的探索产品相继退场,热度转向更加务实的产品路线:录音卡片累计出货突破百万台,头部公司做出上亿美元级别的年经常性收入,AI 眼镜出货量一年增长超过三倍,行业叙事也从录制工具,升级为记录生活的入口。2026 年下半年,Personal Agent 概念爆火,

    来源 腾讯网
  16. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  17. 当AI办公接入同样的模型,竞争回到了老问题上

    文 | 周全这是难得一见的一幕。因为AI的出现,中国的几家大公司近期先后调整了AI办公业务的组织架构。7月底,字节跳动启动组织调整,整合豆包、飞书和火山引擎的力量,9月CEO梁汝波在飞书大会上首次系统阐释了这一安排;腾讯的WorkBuddy由马化腾亲自参与产品会议,QClaw相关业务和团队也并入这条线;阿里把三款产品合

    来源 腾讯网
  18. 有道Q3经营利润同比增长19.2% AI订阅销售额超1亿

    网易有道公布了2026年第三季度未经审计的财务业绩。报告期内,有道持续推进AI原生战略,聚焦高质量、高毛利率业务,AI应用在学习、办公、营销等场景纵深落地,盈利能力与经营质量保持稳健提升。

    来源 TechWeb
  19. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  20. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  21. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  22. 一份看空中际旭创的报告,戳中了AI硬件的最大软肋

    一份看空中际旭创的估值测算,几乎把整个AI硬件资产的估值困境摆到了台面上。 11月17日,一份关于中际旭创的看空测算在投资圈迅速传播。按照这份材料的预测,到2029年,中际旭创的年净利润大约只有300亿元,对应合理市值3000亿至4500亿元。 考虑到折现因素,即使在最乐观的情况下,公司目前的股价仍然存在约25%的回撤

    来源 AI 行业观察
向下滚动自动加载更多