一条视频训练出84.22分模型:视频生成卡在哪

资讯 腾讯网 作者:科技行者 全文 4323 字 · 约 11 分钟读完 分类学术研究存储

训练一个能实时生成视频的AI模型,通常需要花费数万个GPU小时,存储上T级别的数据。但这篇论文做了一件听起来有点冒险的事:他们把训练数据砍到只剩一条视频,然后发现模型效果不但没崩,反而比用了几千条数据训练出来的老方法还要好。这不是在吹牛,论文里给出的数字是:只用一条样本训练的模型,VBench总分达到84.22,而..

所属频道 算力与芯片前沿研究

想训练一个能实时输出视频的AI模型,通常得砸进去数万条样本。

论文给出的数字却反着来:仅用一条样本训练,模型VBench总分就有84.22;而拿25000条样本喂出来的强力基线方法,成绩还落在后面。

这听着不合常理。深度学习里公认的规律是数据越多效果越好,视频生成尤其要捕捉复杂的时空规律,大家默认得靠海量数据硬堆。可这篇论文说,至少在某个特定环节,数据量并不是卡点,卡点在别处。

眼下视频AI生成的处境,一句话:又慢又贵。

背景先交代一下。Sora、Wan、Seedance这类主流视频生成模型,走的都是

扩散模型

这条路子。效果确实惊艳,硬伤也明显:生成时要对整段内容做全局计算,视频越长,算力开销涨得越凶,实时响应基本无从谈起。

研究者于是转向了

自回归生成

这种路线更适合实时交互式视频生成。比如用户和一个AI世界模型实时对话互动,它得边生成边响应,不能等整段视频算完再呈现。

问题随之而来:一个已经训练好的双向扩散大模型,怎么改造成又快又准的自回归模型?业界目前的标准做法,是拿

PF-ODE轨迹

做监督训练,让“学生”模型去模仿“老师”模型(即原始大模型)生成视频的完整轨迹。可要在大规模数据集上构建并存储这些轨迹,成本就是前面说的那种天价。

打个比方,教新司机开车,不是让他看几个关键路口怎么打方向就完事,而是把每一秒方向盘转了几度、油门踩了多深全程录下来给他学。路线一旦铺开到几千条,录像带能堆满仓库,存储和回放的钱自然就爆了。

那问题究竟出在哪:一条数据怎么会把模型“压垮”?

研究团队最初也选了“减数据”这条路,想少花点钱构建轨迹。他们把训练数据从几千条一路砍到只剩一条,结果相当惨烈。

论文图2显示,不管用的是

Self Forcing

还是

Causal Forcing

这两种现成方法中的哪一种,训练样本一旦砍到一条,VBench分数都断崖式下滑:Self Forcing从69.48掉到51.23。

也就是说,粗暴砍数据这条路走不通,得先弄清楚一条数据能提供什么、又提供不了什么。研究者回头去分析扩散过程本身的几何结构,问题的根源就此浮出水面。

他们发现,整条去噪轨迹(从纯噪声一步步变成清晰视频的过程)里,92.5%以上的

轨迹曲率

都落在高噪声阶段,也就是刚开始去噪、画面还模糊的那几步;到了低噪声阶段,接近完成、在修细节的那几步,轨迹反倒平直得多。

更关键的一点,论文进一步测了训练损失曲线,高噪声区域和低噪声区域的优化行为差得很远,见图2(c)。高噪声阶段的损失曲线上下剧烈波动,低噪声阶段则平稳不少。

这就像让同一个人既当交响乐指挥,又当打击乐手。指挥要把控全局节奏和情绪走向,靠的是大局观,处理的是复杂多变的信号;打击乐手要精确控制每一次敲击的力度和时机,干的是局部、精细、重复性强的活。硬让一个人同时扛这两种截然不同的工作模式,要么指挥的节奏乱了,要么打击乐的精度跟不上。用一个模型硬顶两种性质迥异的任务,就是这种精力分裂的状态,参数空间被两套互相矛盾的学习信号来回拉扯,结果谁也学不好。

这正是论文的核心洞察:缺的不是数据,是任务性质不同,却被硬塞给同一个“脑子”去学。

把任务拆开,让两个专家各管一段。

病因摸清了,方子也就不难开。高噪声阶段管的是画面大布局和运动走向,低噪声阶段管的是纹理细节,两者性质不同,那就各训一个专门的小模型来接手。

论文给这套方法起的名字是 Glance Forcing。

其中用到一项轻量化技术——[[保留1]]——论文据此设计了双 LoRA 结构。

LoRA

那个预训练用的教师大模型全程冻结,不参加训练,真正在学的只有这两个 LoRA 小模块。要更新的参数量只占模型总量的一小块,训练开销因此压得很低。

打个比方,装修房子不会让一个工人又砌墙又贴瓷砖。砌墙靠力气和结构感,定的是房间骨架;贴瓷砖靠耐心和手感,定的是最后观感。分工之后,砌墙师傅不必盯着瓷砖纹路对没对齐,贴瓷砖师傅也不用管承重墙在哪,各干各的,活反倒又快又好。硬要一个人全包,多半两样都做不精,工期还拖得更长。

论文另外配了两个专家专用损失函数。一个是时序频谱损失,[[保留2]]。

第一个是

它专为 Slow-LoRA 服务,为的是让生成的运动更连贯,不至于一会儿一个样。

第二个是

另一个是空间高通损失,[[保留3]],它跟 Fast-LoRA 搭配,专门用来打磨细节的清晰度。

论文图5的消融实验把这事说得很明白。研究者试了四种配置:普通一致性模型(Vanilla VCM)、只加 Slow 专家、只加 Fast 专家、Slow+Fast 一起上。结果是,单加 Slow 专家或单加 Fast 专家,都分别在语义结构和细节层面压过普通模型,而两者合起来效果最好,VBench 分数从大约 81 分升到接近 83 分。任务拆开确实有用,不是研究者自己的一厢情愿。

那么一条数据到底能不能撑起整个训练?这里有个更深的疑问:为什么一条数据轨迹就够提供几何监督?

研究团队设计了一个巧妙的实验来验证。他们用两个指标衡量去噪轨迹的几何形状,一个叫逐步余弦相似度,[[保留4]] [[保留5]]。拿 1 条样本和 3000 条样本做轨迹初始化对比,图4里两条曲线几乎重合。换句话说,监督数据从 1 条加到 3000 条,轨迹的几何形态(直度和方向一致性)几乎没见改善。

轨迹直度

另一个叫

这个结果很关键。它说明 ODE 初始化这一步,干的主要是把原本弯弯绕绕的长步去噪路径捋直,变成适合少步推理的顺畅路径,而不是去把数据分布的方方面面都覆盖一遍。教师模型本身对各种输入已经形成相似的轨迹结构,一条样本只要覆盖噪声从头到尾的整个时间域,就足以完成这个"捋直"的活。

真正让生成结果贴近真实数据分布的,是紧随其后的 [[保留6]] 这一步。论文发现,这就好比先用尺子把一根弯绳拉直(ODE 初始化干的事),拉直不需要无数把尺子反复量,一把尺子量准基本形状就够了。接下来要给这根直绳染色、上光泽(DMD 干的事),染得好不好,靠的不是拉直时用了几把尺子,而是染料配方和上色手法本身。两件事分工清楚,头一件不需要海量数据,后一件另有专门机制负责。

DMD

数据砍到一条,效果却没打折。论文里的对比表格给出了挺有说服力的数字。

表头列的是模型、训练数据量、VBench总分、动态程度四项。

|---|---|---|---|---|

用25000条数据训练的Causal Forcing,VBench总分84.04,动态程度68,另一项指标6.326。

| **

只喂1条样本的Glance Forcing,总分84.22,动态程度75,另一项指标6.870。

一条数据的总分84.22,压过了两万五千条的84.04。训练预算加到和基线同一规模后,Glance Forcing又涨到84.33,整张表里最高。

动态程度这项差距更明显:单样本设置下是75,全量训练下是78,Causal Forcing对应的是64和68。换句话说,新方法做出来的视频动得更自然,不像那种画面发僵、动作发死的"PPT式"视频。

论文还做了

人类偏好研究也做了一轮。

对比Self Forcing,Glance Forcing的胜率是91.3%;对比Causal Forcing,胜率也有63.3%。这不只是跑分好看,普通人看着也觉得更顺眼。

团队还补了一组挺细的实验,专门看"一条样本"该挑什么内容。他们沿三个维度搭了对照:运动幅度分高低,视觉复杂度分复杂纹理和简单几何,领域特异性分开放域和特定领域。

表4的结果显示,ODE初始化这一步,低运动、开放域的样本表现更好,高运动、特定领域的样本初始化效果要打折扣。但后面的DMD蒸馏几乎能把各种情况都拉回来,高运动和简单几何这两类提升尤其明显。这正好对上前面说的分工:ODE搭骨架,DMD做精修,骨架没搭好,精修阶段还能补回不少。

论文还试了这套思路能不能挪到别处。他们把它用在普通双向扩散图像生成的加速上,将50步的Wan2.1模型蒸馏成8步,同样只用一条训练样本,生成质量和原版基本持平,采样成本降了5倍以上。"少量数据+任务拆分"不只对自回归视频生成有效,适用范围更宽。

写在后面

读下来最让人意外的不是省了多少算力,而是它点出的那件事:很多被当成"数据不够"的问题,真正缺的是"拆得更对"。数据量从几千条减到一条,省下的不只是GPU小时,也是在提醒——动手堆数据之前,先想清楚这个任务里究竟有几种性质不同的子问题。

论文里那个92.5%曲率集中在高噪声区域的发现,尤其让人在意。这意味着

还有一点值得琢磨:论文反复强调教师模型始终冻结,只训练两个轻量LoRA模块。不动大模型本体、只加小补丁,这个路数和眼下不少大模型微调的做法一脉相承。某种程度上,这篇论文把"参数高效微调"的思路第一次系统地用在了"按噪声阶段分工"上,而不是常规的"按任务类型分工"。这个角度能不能迁移到其他要多阶段、多性质子问题的场景?比如语言模型里,生成好文本的"构思大纲"和"润色措辞",是不是也存在类似的性质分裂,值得用同样的拆分思路处理?

Q&A

Q1:Glance Forcing只用一条训练样本,真的够用吗?

A:够用。论文实验证明只用一条

Q2:Glance Forcing为什么要把去噪过程拆成Slow-LoRA和Fast-LoRA两个专家?

A:研究发现在扩散去噪轨迹里,92.5%以上的曲率集中在高噪声阶段,高噪声和低噪声阶段的训练损失行为差异很大。一个模型同时学两种性质不同的任务会产生表征干扰,拆成两个专家各管一段,能避开这种冲突。

Q3:Glance Forcing和Causal Forcing、Self Forcing有什么区别?

A:Self Forcing和Causal Forcing都依赖大规模

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  2. 知乎推出Paper开源计划:论文与讨论打通,科研作者可绑定身份

    知乎把论文阅读与社区讨论连接了起来。近日,2026知乎科学季收官。除了邀请科研人员参与线下交流,知乎还在科学季期间推出“Paper开源计划”,将论文关联、讨论入口和研究者身份绑定纳入社区功能。基于这项计划。用户阅读论文时,可以通过插件查看知乎上的相关讨论;社区问题可以关联论文卡片,方便读者查阅原始研究;科研...

    来源 腾讯网
  3. 复旦周鹏团队:原子层存储器首次太空在轨实测,23个月数据零误差

    星载存储器承担着保存航天器运行程序和科学数据的任务。空间辐射会在半导体器件中引入缺陷,改变器件的电学特性,影响数据的可靠读出。原子层半导体的沟道厚度仅为原子层量级,有利于减少辐射诱导缺陷的积累。此前,这类存储器的抗辐射性能主要通过地面实验评估,其在真实太空复杂辐射环境中的工作表现仍有待验证。针对这一...

    来源 腾讯网
  4. 华为MateBook鸿蒙电脑:鸿蒙有礼可免费领3个月小艺AI会员

    IT之家 11 月 17 日消息,华为官方昨日宣布小艺 AI 订阅服务正式上线,支持多场景高阶 AI 能力。会员权益涵盖办公文档生成、内容创作、图像处理及云存储等场景,覆盖鸿蒙手机、平板、电脑及 Windows 平台。 据博主 @Adak封狼居胥 分享,华为 MateBook 鸿蒙电脑“鸿蒙有礼”权益上新,可免费领取三

    来源 AI 行业观察
  5. 苹果三星将签DRAM长约:四年起步,2027年上半年交付

    财联社11月18日讯(编辑 马兰)内存芯片价格的快速上涨正在反转供应商与客户之间的强弱地位,苹果和三星电子或许就是最典型的写照之一。据业内人士透露,三星电子和苹果正在接近达成一项关于长期供应DRAM的协议,计划覆盖四到五年,并于2027年上半年开始交付。泄露的协议条款显示,双方将确定合同期内DRAM芯片的最低供应量..

    来源 腾讯网
  6. OPPO Reno17系列起售3599元:标准版涨价,Pro版取消16GB

    中端手机战事新启。11月16日晚间,OPPO发布Reno17系列手机,包括Reno17与Reno17 Pro两款机型,起售价分别为3599元、4199元,享受国补后分别为3099元、3699元。对比前作,受存储等元器件价格上行影响,这一代的价格与配置有所调整。标准版入门档由12GB+256GB降为8GB+256GB,起

    来源 腾讯网
  7. 英伟达DGX Spark开发套件发布:4节点512GB内存

    该套件由 4 台 DGX Spark 组成,搭载 GB10 超级芯片,四节点通过 ConnectX-7 直连无需额外交换机,配备 512GB 内存与 20TB NVMe 存储,可本地部署最高 7000 亿参数的 AI 模型,同步推出配套 HPC SDK 工具,已在 SC26 大会展出。

    来源 IT之家
  8. 黄仁勋离职英伟达:存储扩张减速,客户资金能否跟上

    AI带给存储业的高速增长,正在接受支付能力的检验。消费者能否承受终端涨价,算力客户能否为未来几年的采购提前承诺资金,会共同决定存储厂商还能以多快的速度扩张。在我看来,这一轮行情接下来最值得关注的变化,是企业还能为多少新增产能找到可靠的买家:PC客户端SSD采购已经收缩,AI建设仍在增加投入,两种方向正在同一个行业里相遇

    来源 AI 行业观察
  9. VAIO F16 与 Pro BM 更新:换用 Wildcat Lake 平台,内存最高 32GB

    IT之家 11 月 18 日消息,VAIO 现已更新旗下笔记本电脑产品 F16 和 Pro BM。新品采用英特尔 Wildcat Lake 平台,最高可选 32GB 内存。 ▲ VAIO F16 据介绍,VAIO F16 和 Pro BM 均配备 16 英寸防眩光屏幕,前者提供 WUXGA(IT之家注:1920*120

    来源 AI 行业观察
  10. 英伟达临时CEO克雷斯首访:客户没走,需求还在涨

    英伟达临时CEO科莱特·克雷斯在黄仁勋突然辞职后首次接受CNBC采访,回应客户流失传闻,称超大规模云服务商等客户仍在合作、市场需求正在增长。她同时表示,芯片、先进封装和内存产能供应逐步到位,公司预计2028财年营收同比增长75%。

    来源 凤凰科技
  11. DeepSeek 不限额的用法,都在这里了 | 附指南

    DeepSeek 免费对话出现额度限制,App 暂无会员可开。本文介绍官方 API 充值与计费、DeepSeek Harness 和手机端 Chat Demo 的接入方法,以及历史聊天记录迁移、本地存储和跨设备同步的注意事项。

    来源 爱范儿
  12. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  13. Looki推Loom模型:第一视角感知能否撑起AI长期记忆

    Looki推出的Loom模型系列不再只是被动回答问题,而是通过视觉和音频连续感知用户的第一视角生活。它将零散的观测数据组织成带有时间戳和证据的经历片段,并分层存储为可检索的长期记忆。相比传统的大语言模型,Loom更擅长处理“我上周把钥匙放哪了”这类需要回溯具体生活场景的问题,且在推理成本和记忆准确性上展示了新的技术路径

    来源 AI 应用前沿
  14. 2 TOPS NPU跑YOLO26破80帧:零拷贝与模型切分实战

    在NXP i.MX 95的2 TOPS NPU上,通过零拷贝流水线、智能量化切分和NEON融合算子,将YOLO26n推理速度从40 FPS提升至84 FPS,同时mAP提升7个点。本文拆解EdgeFirst优化方案的技术细节,包括如何消除内存复制、处理JPEG解码对齐以及CPU端算子加速,为边缘AI开发者提供可落地的性

    来源 AI 应用前沿
  15. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  16. 长鑫科技:LPDDR6 将拓展智能驾驶等场景,车规存储需求呈增长态势

    IT之家 11 月 17 日消息,长鑫科技高管今天(17 日)在 2026 年第三季度业绩说明会上介绍,目前公司车载内存产品已稳步演进至 LPDDR5X,并正加快 LPDDR6 在车载场景的应用创新与拓展;LPDDR6 凭借更高原生速率和双子架构设计,不仅能满足旗舰手机的需求,后续也能拓展到智能驾驶、边缘计算及对存储能

    来源 AI 行业观察
  17. Marvell与Penguin携手:DDR4复用方案瞄准AI数据中心内存扩容

    Marvell与Penguin Solutions宣布达成战略合作,共同开发面向AI数据中心的内存扩展技术。双方计划将Marvell Structera X内存扩展控制器集成至Penguin SMART CXL扩展卡,使数据中心能够通过PCIe 5.0和CXL 2.0接口,将退役服务器中的DDR4内存模块重新利用,为服

    来源 AI 行业观察
向下滚动自动加载更多