Velox给视频世界模型加空间记忆:为何能越跑越快?
你有没有玩过那种需要边走边记路的游戏?比如在一个开放世界游戏里,你从家门口出发,一路往前走,走过商店、走过公园、走过桥。游戏引擎要做一件事:记住你走过的每一寸地方,这样当你回头的时候,看到的还是刚才那个商店,而不是凭空变成了一个加油站。现在把这个场景换成AI生成视频。有一类叫"视频世界模型"的技术,你给...
玩过那种得边走边记路的游戏吗?
打个比方,开放世界里你从家门口动身,一路经过商店、公园、桥。游戏引擎得记住你走过的每一寸地,等你回头,看到的还是那个商店,不会凭空变成加油站。
换成AI生成视频也一样。有一类技术叫"视频世界模型",给它一个起始画面和一条运镜轨迹,它就像游戏引擎那样一帧一帧把后续画面吐出来。这玩意现在挺火,有可能成为交互式仿真的新接口——你动一下虚拟摄像机,世界就跟着往前"长"。
可这里头藏着个麻烦,而且相当致命。
**这类模型想让画面前后一致,就得把所有生成过的历史帧都记着;记的越多,生成下一帧就越慢。**
这可不是"优化一下就行"的小毛病,而是结构性的矛盾:你要的长程一致性,恰恰就是拖慢速度的元凶。新加坡国立大学的一篇论文提出Velox,想在不改模型、不做任何重新训练的前提下,把这个矛盾拆开。
为什么"记住一切"会变成灾难
先把矛盾卡在哪说清楚。
视频世界模型一般是"分块"生成的,一段一段往外吐画面,术语上管这一段段叫
麻烦在于,KV缓存只增不减。
生成第1个chunk时,历史几乎是空的,算得飞快。到了第48个chunk,历史已经堆了47个chunk,模型每生成一帧新画面,都得把这47个chunk的内容全部检索一遍。论文里给了具体数字:在第48个chunk时,用标准的
这就好比你让人去图书馆查资料,第一天馆里只有10本书,他翻得很快。第30天,馆里已经堆了3000本书,可他每次查资料还是习惯性地把3000本全翻一遍,哪怕要查的内容可能只跟最近放进去的10本有关。时间就这样白白耗掉了。
那能不能让他只翻该翻的书?这正是Velox想解决的事。
已有的"选记忆"方案为什么不够
在Velox之前,已经有研究者意识到不能"记住一切",得挑着记。
比如
不过这类"帧级别"的筛选有个粗糙的地方。
它把整帧画面当成一个整体来判断相关不相关,可一帧画面里往往同时有好几种内容:一条正在重新铺设的路、一面没怎么变的墙、一片刚转过来、之前从没见过的天空。这三样东西本该查询不同的历史记忆,但帧级别的方法只能给整个chunk派发同一套历史上下文,没法"分区对待"。
这就像一个翻译团队接到一份合同,里面有法律条款、财务数字,还有一段广告语。你要是给整个团队统一发一本《法律词典》,财务和广告部分的人其实用不上,可没人给他们发别的参考资料。真正高效的做法是让懂法律的查法律词典,懂财务的查财务手册,各管各的,而不是一刀切地给所有人同一份资料。
Velox要做的,就是把这种"分区查资料"的能力下放到视频生成里最细的颗粒度:不是整帧,而是帧里的每一个小区块。
核心思路:用几何关系当"路由器"
Velox的灵感来源挺有意思,它借鉴了计算机图形学里的逆向渲染思想,比如
Velox把这个思路搬了过来,核心机制叫
视锥体:
摄像机能看到的空间范围,形状像一个四棱锥,专业上称为
视锥体板:
沿着深度方向,对这个视锥体做一次区间切割,切出来的那段带有深度范围的“板”(slab)便随之形成,某一历史画面块所对应的三维空间位置与深度跨度,正是靠它来表示。
说白了,Velox干的事就是给每块历史画面(KV block)算出它在三维空间里的位置和深度范围,当前正在生成的区块也照此算一遍。两边在三维空间里一重叠,就说明这块旧内容跟眼下这块画面"长的是同一个地方",可以取出来参考。
这套做法等于给每个画面区块配了张"地理坐标卡",标明它对应现实世界的哪个方位、距离多远。生成新画面时不必翻遍全部历史,只要拿当前区块的坐标卡去历史记录里比对,找坐标重叠的那几张,调那几份记忆就行。好比搬家后要找水管工,老办法是翻通讯录挨个问"你认识水管工吗",新办法是直接查地图,看附近哪家维修店最近,只联系那几家。要是还挨个打电话,多数时间都耗在帮不上忙的人身上,真正该打的那通电话反倒被无关信息淹了。
深度信息从哪来?靠的是多重透视变形。
难点在于:当前正在生成的chunk还是一堆噪声,模型没画完,哪来的深度信息跟历史比对?
Velox的答案叫多重透视变形——把此前几个已经生成完、深度信息明确的chunk朝当前镜头方向"投影"过去,看它们落在当前画面的什么位置,以此间接估算当前画面各点的大致深度。
落到操作上,系统会缓存最近几个chunk首尾帧的深度图,再把这些深度图朝当前视角做投影。
为什么讲究"时近优先",而不是简单取平均?因为场景在变。当前区域如果正好是先前被遮挡、如今重新露出来的地方,拿太旧的观测数据容易出错,用最近的可靠数据更稳。可也不能死板到只用最新一帧——最新信息覆盖率不够时,就该让位给稍旧一点、样本更充分的观测。
这跟问路一个道理:优先问刚从那條路走过来的人,他记忆最新鲜;实在没人刚走过,问个几天前走过的人也强过没人可问。系统要是咬定只信最新一帧,哪怕那一帧根本没覆盖到该区域,画面上就会冒出"深度空洞",判断不了这块该不该参考历史,整套路由机制等于失灵。
软融合:几何证据与模型自身判断"商量着来"。算出几何重叠分数后,Velox并没拿它一票否决或一票通过地决定看哪些历史区块,而是做了更谨慎的一步,叫软融合。
这里有个关键考量。Transformer的每一层本就有一套"该看哪里"的判断依据,这是训练出来的内在偏好,论文里叫它内在注意力偏好。Velox的做法是用几何重叠分数去调整、放大模型已有的判断,而非整个替换掉它。
公式层面是这样:某个历史区块与当前区块的几何重叠超过阈值,就把模型原本给出的重要性分数乘上一个放大系数(1加λ倍的几何分数),重叠不够的维持原样,随后重新归一化。论文里λ取2,也就是说重叠最高的区块,重要性最多能被放大到原来的3倍。
那为什么不直接用几何重叠分数决定看哪些区块,非得掺和模型自己的判断?因为几何信息本身有破绽:重建出的深度可能有偏差,刚被遮挡又重新显露的区域深度估计可能出错,薄物体用长方体近似也容易算出虚假重叠。完全靠几何分数硬筛,几何一旦判错,模型就被强行喂进错误参考,还没有纠错机制。模型训练出的注意力模式未必精确对应三维空间关系,可它至少是从海量数据里学出的统计规律,往往能兜住几何失灵的情况。两者结合,等于给模型递了个有几何依据的"建议",拍板还是模型自己来。
这好比公司新来一位数据分析师,拿着漂亮报表建议老板往哪投。靠谱的老板不会全听报表,他会结合多年行业经验综合判断,报表权重高些,但不是唯一依据。要是老板把决策权全交给报表,数据本身一出问题,比如统计口径错了,公司就一头栽进坑里;可老板完全不理报表,又可能错过报表揭示的真实机会。两头都得顾,这正是Velox软融合设计背后的权衡。
至于几何信息根本没覆盖的区域,比如画面里新冒出的天空、此前完全没拍到的物体,Velox干脆放弃几何干预,全交给模型自己判断该看哪些历史。论文里管这叫局部连续性的兜底,与全局对齐互补。
光有几何对应还不够。视频生成还得保证相邻画面之间的运动连贯,而这种连贯不全靠长程几何关系撑着,短程的空间邻近关系同样得管。
Velox用上了一个叫希尔伯特曲线的办法。
这是一种空间填充曲线。它能把二维或三维空间中的点串成一条连续的一维序列,排完序后,原本挨得近的点在序列里大概率也挨得近。存储和访问时,物理上相邻的内容在内存中也靠在一起,跳转开销因此少了很多。
这套机制要解决的是另一个现实麻烦:假如每个chunk各排各的希尔伯特曲线,chunk与chunk的交界处就会冒出“接缝”,想知道哪些块相邻,还得额外维护一张跨chunk的对照表。Velox换了个做法,直接构建一条贯穿所有chunk的全局希尔伯特曲线,再按chunk的奇偶和进入方向做对称翻转。跨chunk的边界就这样变成了普通的相邻关系,缝合表省掉了。
打个比方,规划一条贯穿全城的地铁线,如果各区各自为政地建,换乘就得专门修复杂的通道;若一开始就统一规划整条线,区与区之间的衔接天然顺畅,不必再补一堆换乘枢纽。
在这套全局坐标系下,当前区块周围26个相邻区块(类似三维空间里的26邻域)会被Velox强制纳入参考范围。几何判断怎么说都不影响,这部分始终保留,作用是给运动连续性兜底。
把预算摊开来看:算力究竟省了多少。
几部分拼起来之后,Velox会为每个当前区块生成一份历史区块的“访问清单”。清单里有:上一个chunk,必保留;几何筛选出的相关历史块,用于覆盖良好区域,上限80块,或者模型自己挑的累积重要性最高的块,用于覆盖不足区域,上限150块;外加全局邻域那26个安全网区块。
真正的变化在于,清单长度是固定的,生成再多chunk也不会越拖越长。
论文给出了复杂度分析:密集注意力的计算量为O(N × Mc × btok? × d),Mc指历史可见块数量,随chunk数线性增长。Velox把Mc换成固定上限Kmax加安全网大小,整体复杂度变为O(N × (Kmax + Δsafe) × btok? × d),不再随历史长度增长。
实测数字很能说明问题。到第48个chunk时,单次注意力调用延迟从34.2毫秒压到7.8毫秒,提速4.36倍;整个chunk的去噪时间从7.19秒降到2.96秒,提速2.43倍。越往后优势越明显——密集注意力的耗时曲线一路往上爬,Velox的曲线则基本走平。
几何构建与去噪是并行跑的,走了一条异步流水线。在同一块H200显卡上,一个独立线程处理解码完成的chunk、更新深度重建、构建视锥体板表,主线程继续往下生成,两边只在真正需要几何信息时同步等待一次。整套方案没有要第二块显卡,单卡条件下就实现了加速。
画质会不会打折。
速度快了,画面质量会不会往下掉?凡是“省着用”的方案,这个问题都躲不开。
研究者在WBench导航测试集全部158个测试案例上做了对比。这个基准专门面向交互式视频世界模型,采用多轮评测。结果显示,Velox在不依赖
另一个对照组是只按模型自身重要性筛选区块、完全不带几何信息的“模型专属稀疏路由”(
这个对比挺能说明问题:单纯稀疏化要付出代价,引入几何信息后,这部分代价被补了回来,甚至补过了头。
论文还专门查了几何重叠分数与模型自身注意力判断有多“英雄所见略同”。在某一层(第14层),几何筛出的区块和模型偏好的前50个区块重合比例达到0.73,比随机水平(0.35)高出整整0.38。几何信息并非瞎指挥,它在相当程度上验证并强化了模型已经发现的有效线索。
视觉上的证据同样直观。论文放了几组长程生成对比画面:一个卧室场景,密集注意力生成到后期,房间渐渐变成另一个毫不相干的昏暗房间;一个手办场景,红色衣服慢慢褪成淡粉色;一片竹林小径,路面逐渐变成水坑,最后成了一片毫无特征的平面;一片沙漠,画面里慢慢渗出奇怪的暗色伪影。Velox生成的同样场景,到最后一帧还能认出是同一个卧室,手办衣服颜色没有跑偏,竹林小径保持原样,沙漠纹理也没有崩坏。
这背后是个更深层的问题:长视频生成的“记忆丢失”并非突然发生,而是在一次次生成新画面的过程中一点点累积出来的误差。密集注意力对此并没有天然免疫力,它只是记性好,不代表记得准。Velox把注意力精准导向几何对应的历史区域,等于不断把生成过程“拉回”正确的参照系,误差累积因此被压住。
还有几个地方值得追问。
论文自己也承认了Velox的局限。在WBench的细分指标里,Velox在
静态背景区域通常能被视锥体板较好地覆盖,几何对应关系清晰可靠。物体、人物这类动态或语义关键的内容则往往重建不完整,或者本身就在剧烈变化,几何对应反而没那么靠谱。也就是说,Velox眼下更擅长“守住场景不崩坏”,对“守住角色不变形”的帮助相对有限。论文明确写了这一点,把它留给后续工作。
另外,整套系统高度依赖流式三维重建的质量。一旦重建的深度本身漂移,或者被遮挡区域被错误地填进过时几何信息,软融合机制虽然设了阈值和放大上限来控制风险,却没法完全杜绝错误几何把生成结果带偏的可能。
Velox的思路并非凭空出现,更早之前已有铺垫,只是先走了一步。
Q&A
Q1:Velox是什么?按定义,它是一种注意力路由方法,训练时不必改动模型参数,专门用来给视频世界模型的长程生成提速。它的做法是靠视锥体板几何对应关系,让当前画面区块只关注历史里几何位置重叠的那部分,不必把全部历史都遍历一遍。画质没有明显损失,生成速度却能大幅提升。
Q2:Velox能带来多大的速度提升?到第48个chunk这一时间点,单次注意力计算延迟从约34.2毫秒降到7.8毫秒,提速4.36倍;整个chunk的去噪时间则从约7.19秒降到2.96秒,提速2.43倍。生成得越长,提速幅度还会继续增大。
Q3:Velox会不会让生成画质变差?在WBench导航测试集的158个案例上,Velox的API-free平均分只比密集注意力低0.15分。19项指标的综合平均分没有下降,反而从75.52升到75.60,空间一致性和光度一致性都有提升;透视一致性和主体一致性则略有下降。