视频生成要快,还是要好?这篇论文说你不用选

资讯 腾讯网 作者:科技行者 全文 4147 字 · 约 11 分钟读完 分类视频生成学术研究

你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。这种延迟到底是从哪来的?是因为模型算得不够快吗?这篇来自中国科学技术大...

所属频道 视频图像生成前沿研究

你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。

这种延迟到底是从哪来的?是因为模型算得不够快吗?

这篇来自中国科学技术大学等机构的论文给出了一个出乎意料的答案:问题往往不在于算得快不快,而在于系统什么时候"允许"新指令插进来。这个发现听起来简单,但它颠覆了整个行业一直以来的默认做法。

核心问题:为什么大家都在"切小块"

要理解这个问题,得先搞懂视频生成模型是怎么工作的。

这类模型(主要是基于扩散模型的视频生成器,也就是DiT架构)生成视频的时候,并不是一帧一帧孤立地画出来,而是一块一块地"联合"生成。

DiT:全称Diffusion Transformer,是当前主流视频生成模型采用的一种架构,它结合了扩散模型(逐步去噪生成内容)和Transformer(擅长处理序列和建立长程关联)的优点。

每一块叫一个

这里就出现一个矛盾了。如果

过去几年,业内主流思路几乎是一边倒地选择"切小块",用细粒度的

具体数字很有说服力。在

VBench

Latent:扩散模型不直接在像素空间操作,而是先把视频压缩到一个更紧凑的"潜空间"里处理,这个压缩后的表示单元就叫

这说明了什么?说明"切小块换延迟"这个常识,可能从一开始就建立在一个错误的假设上:大家默认chunk大小和延迟是绑死的,但实际上,决定延迟的另有其人。

真正卡住延迟的,是"边界"这个东西

论文把整个视频服务系统拆成几个阶段来分析:条件到达(用户发指令)、生成开始、生成完成、播放展示。作者给出一个关键公式:

E[R+Q] ≥ T/2

这里R是指令到达后等待生成开始的时间,Q是生成完成后等待播放展示的时间,T是一个chunk覆盖的时长。

这个不等式说的是什么?说的是在传统的"只能在chunk边界处插入新内容"的系统里,哪怕你的模型算得飞快,用户平均也要白等半个chunk时长。这个等待是系统设计带来的,而不是算力不够带来的。

这就好比你去一家寿司店,师傅手艺极快,但店里规定必须等一整盘寿司(比如6贯)全部做完才能上桌,哪怕你只想先吃第一贯。如果师傅做一盘要6分钟,你平均要多等3分钟,这和师傅手速无关,纯粹是上菜规则造成的。如果店家改成"做一贯上一贯",你的等待时间立刻就能压到接近于零,不需要让师傅变得更快。

所以这篇论文的真正洞察是:延迟的瓶颈不在生成速度,而在"交付粒度"。只要能把"模型内部怎么算"和"系统什么时候把结果给用户"这两件事解耦,就有可能同时保住大chunk的画质优势,又拿到小chunk的响应优势。

Speculative Sampling

基于这个洞察,作者提出了核心方法,叫

这个名字可能会让人联想到大语言模型里的"投机解码"技术,思路确实有点像:先大胆地多算一些,用得上就留着,用不上就换掉。

具体怎么做的?在每次采样调用的时候,模型不只是老老实实地算接下来要交付的那一个latent,而是在后面多拼接K-1个噪声latent作为"填充",组成一个完整的K-latent双向建模窗口,一次性联合采样出来。

这里的关键转折在于:以前这些填充预测的内容,因为属于"还没确定需要交付"的部分,往往是直接被扔掉重算的;而这篇论文选择把它们缓存下来。只要用户的指令条件没有变化,这些缓存的预测就可以直接拿来用,不用重新跑一次DiT采样。

Speculative Sampling:一种生成策略,通过在当前需要交付的内容后面额外拼接噪声潜变量进行联合采样,并缓存多算出来的预测结果,在条件不变时重复使用,条件改变时只替换还未提交的部分。

这就像你去自助餐厅点一份现做的炒饭,厨师手上同时在锅里炒了四份的量(因为一次性炒一大份效率更高,锅气也更足),但只给你端上一份。如果接下来几位顾客点的还是同样的炒饭,厨师直接把锅里剩下那三份陆续端出去就行,不用重新开火。只有当有人突然说"我要换成炒面",厨师才会把还没端出去的那部分倒掉,重新起锅。如果不这么做,厨师每次都严格按一份一份地炒,虽然每份都是"刚需"做的,但锅的效率完全没利用上,出餐反而更慢。

这个设计的巧妙之处在于,它区分了已经交付给用户、不可更改的内容(

为了管理这套机制,作者设计了一个两状态的

有限状态机

Produce状态表示有一个生成任务正在跑,Consume状态表示没有任务在跑,此时直接复用缓存里已经算好的预测。播放在这两个状态下都在持续进行,不受影响。当新指令到达时,如果当前正在Produce,不会打断正在进行的生成任务,而是把这个更新记录为"待处理",等当前任务完成后再决定要不要重新规划;如果当前在Consume,并且缓存里有可以替换的内容,就立刻触发一次新的生成,替换掉那部分。

针对双向模型如何"流式化"的细节补丁

这里还有一个比较工程化但很实在的问题。很多效果最好的视频生成模型天生是双向的,也就是生成的时候同时看前后文,这种模型的训练和推理接口通常是为"一次性生成一整段视频"设计的,并不天然支持边生成边播这种流式场景。

作者在论文里专门讨论了怎么把这类大chunk的双向模型,直接拿来服务于交互式流式场景,而不需要像

Self-Forcing:一类训练方法,让自回归视频生成模型在训练阶段就模拟自己生成历史数据时会产生的误差,从而缩小训练和实际推理之间的差距,这类方法通常需要专门设计训练流程。

这里遇到的一个具体技术麻烦是:很多双向视频生成模型用的是时间上有压缩能力的

解决办法是把保留的边界内容先解码成像素,再通过VAE的首帧编码通道重新编码一次,这样就能拿到模型续写接口期待的格式。这个操作有点像你用一种老式胶片相机拍视频,中途想接着拍新的一段,但胶片卷轴的起始帧必须是特定规格的,你得先把上一段的最后一帧冲洗出来,再按规格重新"装订"进新胶卷的起始位置,才能继续拍摄。

实验结果:大chunk不仅没拖后腿,有时还更快

说了这么多设计思路,实际效果到底怎样?论文在三个模型上做了完整的线上服务实验:

先看响应延迟(

在Wan1.3B 480分辨率下,传统方式(Baseline)用大chunk(Long-Baseline)时,低频更新场景下L50高达3.23秒,用上Speculative Sampling之后直接降到1.32秒,减少幅度非常可观。而在Sol-H3上,大chunk配合Speculative Sampling之后的L50是1.42秒,甚至低于小chunk传统方式(Short-Baseline)的1.87秒。

这组数字其实说明了一件挺反常识的事:大家一直以为"要快就必须用小块",但当你把交付机制改掉之后,大块反而可能比小块传统方案更快,画质还更好。

GPU利用率方面也有意思的发现。大chunk配置下,GPU的利用率反而更低(Wan的长配置只有17%到20%左右,而短配置要用到50%以上),这意味着同样的硬件,理论上还能塞进更多并发用户的视频流,这是实打实的服务成本优势。

当然,这套方法也不是没有代价。论文坦诚地提到两个局限:第一,如果用户更新指令特别频繁,那些提前多算出来的预测大概率用不上,就白算了,造成DiT计算浪费;第二,双向模型内部的注意力机制会让保留的

从这篇论文往后看,它开辟的其实是一条新赛道。过去几年,视频生成的"快"几乎全靠

这和此前的

再往前追溯,Self-Forcing(Huang等人提出)和

写在后面

读完这篇论文,最触动我的其实不是Speculative Sampling这个具体技巧,而是作者提出问题的方式。

很多AI系统论文习惯于"哪里慢就优化哪里",用更快的算子、更小的模型、更少的步数去堆硬指标。但这篇论文反过来问了一句:"延迟到底是从哪个环节来的?"结果发现真正的瓶颈根本不在算力,而在一个几乎被所有人默认接受、却从没被真正质疑过的系统设计假设:新内容只能在块的边界处插进去。

这让我想起很多工程问题其实都藏着类似的"假性约束"。表面上看是硬件不够快、算法不够好,但认真拆开之后会发现,真正卡住你的,往往是某个早年定下来、后来没人再去重新审视的接口规则。

论文里那个"寿司店上菜"式的边界等待公式E[R+Q]≥T/2特别干净,它用最朴素的概率论就把这个被忽视多年的设计缺陷量化了出来,这种"用数学把直觉钉死"的写法,比堆砌实验数字更有说服力。

还有一个细节值得单独拎出来说:论文里提到chunk大小和画质的关系并不是单调递增的,K=21不一定比K=7好,最优值因场景而异。这其实提醒我们,"越大越好"这种简单的线性直觉在复杂系统里经常是靠不住的,真正负责任的工程判断,永远要回到具体场景里做实际测量。

如果你是做实时交互系统的工程师,不管是视频、语音还是别的流式生成任务,这篇论文提出的问题可能比答案更值得你带走:你的系统延迟瓶颈,真的是算力问题吗,还是某个你从没怀疑过的边界规则?

Q&A

Q1:Speculative Sampling是什么?

A:Speculative Sampling是一种视频生成策略,通过在当前要交付的内容后面额外拼接噪声潜变量一起联合采样,并把多算出来的预测结果缓存起来,条件不变时直接复用,条件改变时只替换掉还没交付的部分,从而兼顾大chunk的画质优势和小chunk的低延迟优势。

Q2:为什么说视频生成延迟不完全是算力问题?

A:论文的分析发现,在传统系统里新内容只能在chunk播放边界处插入,哪怕模型算得再快,用户平均也要多等半个chunk的时长,这个等待是系统设计规则造成的,不是算力瓶颈,这就是论文提出的E[R+Q]≥T/2这个关键不等式说明的问题。

Q3:大chunk一定比小chunk画质更好吗?

A:总体趋势上K大于1通常比K等于1的画质更好,但提升不是单调的,比如Wan1.3B在某些设置下K等于7反而不如K等于3或K等于21,最优chunk大小要结合具体分辨率和步数设置实际测量,不能简单认为越大越好。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  2. 实验室里的AI视频生成器:当画面很逼真,却指错了孔

    你有没有想过,为什么现在这么多实验室还在靠人盯着人学操作?明明AI已经能写代码、能规划实验方案,甚至能跟你聊化学反应机理聊得头头是道,可一到真正动手做实验这件事上,它却几乎插不上手。答案很简单:机器人在真实实验室里干不了精细活。试管要怎么拿才不会洒,移液枪的按压力度该多大,天平归零的那个按钮藏在哪个角度...

    来源 腾讯网
  3. 谷歌PageBreak:AI安全代理已挖出500多个XSS漏洞,误报率接近零

    根据谷歌发表的一篇论文,其人工智能驱动的安全代理自今年 1 月全面投入运行以来,已在旗下各类 Web 应用中发现了 500 多个 XSS 漏洞。Google PageBreak 利用 Gemini 模型自主调查潜在漏洞,但仅在确定性验证器在运行中的应用程序上成功复现该漏洞时才会上报,因此误报率几乎为零。 借助 Page

    来源 AI 行业观察
  4. 曾妍的新论文,就是字节 “10万亿”路线图

    95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

    来源 AI 行业观察
  5. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经..

    来源 腾讯网
  6. 亚马逊CEO贾西回应黄仁勋风波:预见不到与英伟达不再合作的那天

    【TechWeb】11月18日消息,当地时间11月17日,亚马逊总裁兼首席执行官安迪·贾西(Andy Jassy)做客一档访谈节目。在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。贾西表示:“我对黄仁勋怀有深深的敬意,也对英伟达怀有深深的敬意。长期以来,他们一直

    来源 腾讯网
  7. 哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?

    单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。 在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Di

    来源 AI 行业观察
  8. 伊利诺伊大学EBR模型:1.8M参数拿下数独99.9%,推理计算量仅1/345

    来自伊利诺伊大学的研究团队于2026年11月发表论文,提出能量函数引导的循环推理架构(EBR),用1.8M参数在Sudoku-Extreme基准上达到99.9%准确率,推理计算量仅为次优模型的1/345,同时在测试时用7倍更少的迭代次数和43倍更少的候选样本达到同等精度。这项工作揭示了现有循环推理模型"不知道

    来源 AI 科技快讯
  9. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  10. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  11. DeepSeek长对话限额7天,免费用户为何反求收费

    话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂战不同,这场争议中出现了一个颇为“魔幻”的画面:平时最不愿意付费的一群人,正在主动求着DeepSeek收费。

    来源 TechWeb
  12. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  13. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  14. 梁文锋的“大肥鱼”,围剿大厂 Agent 地盘?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 豆包AI龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到

    来源 腾讯网
  15. GPT-6.2 上线12小时:开发者为何称其“史上最糟”

    就在今天,OpenAI 正式发布了新一代旗舰模型 GPT-6.2 Astra,以及主打性价比的 GPT-6.2 Sol。从官方公布的成绩来看,GPT-6.2 Astra 在专业 Agent 任务上反超 Claude Fable 5.2,完成同等任务的综合成本却只有后者的 5%,堪称一次漂亮的反击。上下滑动查看更多内容然

    来源 腾讯网
  16. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  17. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  18. DeepSeek限制长对话使用:用户反求付费,官方未给时间表

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。” 随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。 但与一般产品限流引发

    来源 AI 行业观察
  19. 亚马逊CEO安迪·贾西首谈黄仁勋辞职风波:与英伟达合作不动摇

    在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。辞职消息公布后,英伟达股价开盘大跌13%,市值一度跌破4万亿美元。此后,黄仁勋曾表示准备重返CEO职位,但英伟达董事会明确表示“无意让他复职”。贾西在采访中将亚马逊与英伟达的关系描述为一种“竞合”关系,既是合作伙伴

    来源 TechWeb
  20. 亚马逊CEO首度回应英伟达黄仁勋风波:合作关系不会动摇

    在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。辞职消息公布后,英伟达股价开盘大跌13%,市值一度跌破4万亿美元。此后,黄仁勋曾表示准备重返CEO职位,但英伟达董事会明确表示“无意让他复职”。贾西在采访中将亚马逊与英伟达的关系描述为一种“竞合”关系,既是合作伙伴

    来源 TechWeb
  21. 特斯拉Model Y无方向盘版:最多7座,主攻多人出行

    11月19日,正在中国参加APEC峰会的马斯克通过视频连线出席《纽约时报》DealBook峰会,剧透了特斯拉的下一款自动驾驶车型——一款不配备方向盘和踏板的Model Y,最多可搭载6至7名乘客,主要面向家庭和多人出行场景。这是继Cybercab之后,特斯拉第二款完全取消人工驾驶装置的车型,也是其自动驾驶产品矩阵中首次

    来源 TechWeb
  22. 马斯克剧透无方向盘版Model Y:最多坐7人,特斯拉自动驾驶矩阵再落一子

    11月19日,正在中国参加APEC峰会的马斯克通过视频连线出席《纽约时报》DealBook峰会,剧透了特斯拉的下一款自动驾驶车型——一款不配备方向盘和踏板的Model Y,最多可搭载6至7名乘客,主要面向家庭和多人出行场景。这是继Cybercab之后,特斯拉第二款完全取消人工驾驶装置的车型,也是其自动驾驶产品矩阵中首次

    来源 TechWeb
  23. Anthropic为Claude Code加实验功能:开Code Mode账单降22%

    作者 | 飞野、四月编辑 | 四月用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。但最近,

    来源 腾讯网
  24. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
向下滚动自动加载更多