Velox给视频世界模型加空间记忆:为何能越跑越快?

资讯 腾讯网 作者:科技行者 全文 5833 字 · 约 15 分钟读完 分类世界模型游戏

你有没有玩过那种需要边走边记路的游戏?比如在一个开放世界游戏里,你从家门口出发,一路往前走,走过商店、走过公园、走过桥。游戏引擎要做一件事:记住你走过的每一寸地方,这样当你回头的时候,看到的还是刚才那个商店,而不是凭空变成了一个加油站。现在把这个场景换成AI生成视频。有一类叫"视频世界模型"的技术,你给...

所属频道 模型发布影视与游戏

玩过那种得边走边记路的游戏吗?

打个比方,开放世界里你从家门口动身,一路经过商店、公园、桥。游戏引擎得记住你走过的每一寸地,等你回头,看到的还是那个商店,不会凭空变成加油站。

换成AI生成视频也一样。有一类技术叫"视频世界模型",给它一个起始画面和一条运镜轨迹,它就像游戏引擎那样一帧一帧把后续画面吐出来。这玩意现在挺火,有可能成为交互式仿真的新接口——你动一下虚拟摄像机,世界就跟着往前"长"。

可这里头藏着个麻烦,而且相当致命。

**这类模型想让画面前后一致,就得把所有生成过的历史帧都记着;记的越多,生成下一帧就越慢。**

这可不是"优化一下就行"的小毛病,而是结构性的矛盾:你要的长程一致性,恰恰就是拖慢速度的元凶。新加坡国立大学的一篇论文提出Velox,想在不改模型、不做任何重新训练的前提下,把这个矛盾拆开。

为什么"记住一切"会变成灾难

先把矛盾卡在哪说清楚。

视频世界模型一般是"分块"生成的,一段一段往外吐画面,术语上管这一段段叫

麻烦在于,KV缓存只增不减。

生成第1个chunk时,历史几乎是空的,算得飞快。到了第48个chunk,历史已经堆了47个chunk,模型每生成一帧新画面,都得把这47个chunk的内容全部检索一遍。论文里给了具体数字:在第48个chunk时,用标准的

这就好比你让人去图书馆查资料,第一天馆里只有10本书,他翻得很快。第30天,馆里已经堆了3000本书,可他每次查资料还是习惯性地把3000本全翻一遍,哪怕要查的内容可能只跟最近放进去的10本有关。时间就这样白白耗掉了。

那能不能让他只翻该翻的书?这正是Velox想解决的事。

已有的"选记忆"方案为什么不够

在Velox之前,已经有研究者意识到不能"记住一切",得挑着记。

比如

不过这类"帧级别"的筛选有个粗糙的地方。

它把整帧画面当成一个整体来判断相关不相关,可一帧画面里往往同时有好几种内容:一条正在重新铺设的路、一面没怎么变的墙、一片刚转过来、之前从没见过的天空。这三样东西本该查询不同的历史记忆,但帧级别的方法只能给整个chunk派发同一套历史上下文,没法"分区对待"。

这就像一个翻译团队接到一份合同,里面有法律条款、财务数字,还有一段广告语。你要是给整个团队统一发一本《法律词典》,财务和广告部分的人其实用不上,可没人给他们发别的参考资料。真正高效的做法是让懂法律的查法律词典,懂财务的查财务手册,各管各的,而不是一刀切地给所有人同一份资料。

Velox要做的,就是把这种"分区查资料"的能力下放到视频生成里最细的颗粒度:不是整帧,而是帧里的每一个小区块。

核心思路:用几何关系当"路由器"

Velox的灵感来源挺有意思,它借鉴了计算机图形学里的逆向渲染思想,比如

Velox把这个思路搬了过来,核心机制叫

视锥体:

摄像机能看到的空间范围,形状像一个四棱锥,专业上称为

视锥体板:

沿着深度方向,对这个视锥体做一次区间切割,切出来的那段带有深度范围的“板”(slab)便随之形成,某一历史画面块所对应的三维空间位置与深度跨度,正是靠它来表示。

说白了,Velox干的事就是给每块历史画面(KV block)算出它在三维空间里的位置和深度范围,当前正在生成的区块也照此算一遍。两边在三维空间里一重叠,就说明这块旧内容跟眼下这块画面"长的是同一个地方",可以取出来参考。

这套做法等于给每个画面区块配了张"地理坐标卡",标明它对应现实世界的哪个方位、距离多远。生成新画面时不必翻遍全部历史,只要拿当前区块的坐标卡去历史记录里比对,找坐标重叠的那几张,调那几份记忆就行。好比搬家后要找水管工,老办法是翻通讯录挨个问"你认识水管工吗",新办法是直接查地图,看附近哪家维修店最近,只联系那几家。要是还挨个打电话,多数时间都耗在帮不上忙的人身上,真正该打的那通电话反倒被无关信息淹了。

深度信息从哪来?靠的是多重透视变形。

难点在于:当前正在生成的chunk还是一堆噪声,模型没画完,哪来的深度信息跟历史比对?

Velox的答案叫多重透视变形——把此前几个已经生成完、深度信息明确的chunk朝当前镜头方向"投影"过去,看它们落在当前画面的什么位置,以此间接估算当前画面各点的大致深度。

落到操作上,系统会缓存最近几个chunk首尾帧的深度图,再把这些深度图朝当前视角做投影。

为什么讲究"时近优先",而不是简单取平均?因为场景在变。当前区域如果正好是先前被遮挡、如今重新露出来的地方,拿太旧的观测数据容易出错,用最近的可靠数据更稳。可也不能死板到只用最新一帧——最新信息覆盖率不够时,就该让位给稍旧一点、样本更充分的观测。

这跟问路一个道理:优先问刚从那條路走过来的人,他记忆最新鲜;实在没人刚走过,问个几天前走过的人也强过没人可问。系统要是咬定只信最新一帧,哪怕那一帧根本没覆盖到该区域,画面上就会冒出"深度空洞",判断不了这块该不该参考历史,整套路由机制等于失灵。

软融合:几何证据与模型自身判断"商量着来"。算出几何重叠分数后,Velox并没拿它一票否决或一票通过地决定看哪些历史区块,而是做了更谨慎的一步,叫软融合。

这里有个关键考量。Transformer的每一层本就有一套"该看哪里"的判断依据,这是训练出来的内在偏好,论文里叫它内在注意力偏好。Velox的做法是用几何重叠分数去调整、放大模型已有的判断,而非整个替换掉它。

公式层面是这样:某个历史区块与当前区块的几何重叠超过阈值,就把模型原本给出的重要性分数乘上一个放大系数(1加λ倍的几何分数),重叠不够的维持原样,随后重新归一化。论文里λ取2,也就是说重叠最高的区块,重要性最多能被放大到原来的3倍。

那为什么不直接用几何重叠分数决定看哪些区块,非得掺和模型自己的判断?因为几何信息本身有破绽:重建出的深度可能有偏差,刚被遮挡又重新显露的区域深度估计可能出错,薄物体用长方体近似也容易算出虚假重叠。完全靠几何分数硬筛,几何一旦判错,模型就被强行喂进错误参考,还没有纠错机制。模型训练出的注意力模式未必精确对应三维空间关系,可它至少是从海量数据里学出的统计规律,往往能兜住几何失灵的情况。两者结合,等于给模型递了个有几何依据的"建议",拍板还是模型自己来。

这好比公司新来一位数据分析师,拿着漂亮报表建议老板往哪投。靠谱的老板不会全听报表,他会结合多年行业经验综合判断,报表权重高些,但不是唯一依据。要是老板把决策权全交给报表,数据本身一出问题,比如统计口径错了,公司就一头栽进坑里;可老板完全不理报表,又可能错过报表揭示的真实机会。两头都得顾,这正是Velox软融合设计背后的权衡。

至于几何信息根本没覆盖的区域,比如画面里新冒出的天空、此前完全没拍到的物体,Velox干脆放弃几何干预,全交给模型自己判断该看哪些历史。论文里管这叫局部连续性的兜底,与全局对齐互补。

光有几何对应还不够。视频生成还得保证相邻画面之间的运动连贯,而这种连贯不全靠长程几何关系撑着,短程的空间邻近关系同样得管。

Velox用上了一个叫希尔伯特曲线的办法。

这是一种空间填充曲线。它能把二维或三维空间中的点串成一条连续的一维序列,排完序后,原本挨得近的点在序列里大概率也挨得近。存储和访问时,物理上相邻的内容在内存中也靠在一起,跳转开销因此少了很多。

这套机制要解决的是另一个现实麻烦:假如每个chunk各排各的希尔伯特曲线,chunk与chunk的交界处就会冒出“接缝”,想知道哪些块相邻,还得额外维护一张跨chunk的对照表。Velox换了个做法,直接构建一条贯穿所有chunk的全局希尔伯特曲线,再按chunk的奇偶和进入方向做对称翻转。跨chunk的边界就这样变成了普通的相邻关系,缝合表省掉了。

打个比方,规划一条贯穿全城的地铁线,如果各区各自为政地建,换乘就得专门修复杂的通道;若一开始就统一规划整条线,区与区之间的衔接天然顺畅,不必再补一堆换乘枢纽。

在这套全局坐标系下,当前区块周围26个相邻区块(类似三维空间里的26邻域)会被Velox强制纳入参考范围。几何判断怎么说都不影响,这部分始终保留,作用是给运动连续性兜底。

把预算摊开来看:算力究竟省了多少。

几部分拼起来之后,Velox会为每个当前区块生成一份历史区块的“访问清单”。清单里有:上一个chunk,必保留;几何筛选出的相关历史块,用于覆盖良好区域,上限80块,或者模型自己挑的累积重要性最高的块,用于覆盖不足区域,上限150块;外加全局邻域那26个安全网区块。

真正的变化在于,清单长度是固定的,生成再多chunk也不会越拖越长。

论文给出了复杂度分析:密集注意力的计算量为O(N × Mc × btok? × d),Mc指历史可见块数量,随chunk数线性增长。Velox把Mc换成固定上限Kmax加安全网大小,整体复杂度变为O(N × (Kmax + Δsafe) × btok? × d),不再随历史长度增长。

实测数字很能说明问题。到第48个chunk时,单次注意力调用延迟从34.2毫秒压到7.8毫秒,提速4.36倍;整个chunk的去噪时间从7.19秒降到2.96秒,提速2.43倍。越往后优势越明显——密集注意力的耗时曲线一路往上爬,Velox的曲线则基本走平。

几何构建与去噪是并行跑的,走了一条异步流水线。在同一块H200显卡上,一个独立线程处理解码完成的chunk、更新深度重建、构建视锥体板表,主线程继续往下生成,两边只在真正需要几何信息时同步等待一次。整套方案没有要第二块显卡,单卡条件下就实现了加速。

画质会不会打折。

速度快了,画面质量会不会往下掉?凡是“省着用”的方案,这个问题都躲不开。

研究者在WBench导航测试集全部158个测试案例上做了对比。这个基准专门面向交互式视频世界模型,采用多轮评测。结果显示,Velox在不依赖

另一个对照组是只按模型自身重要性筛选区块、完全不带几何信息的“模型专属稀疏路由”(

这个对比挺能说明问题:单纯稀疏化要付出代价,引入几何信息后,这部分代价被补了回来,甚至补过了头。

论文还专门查了几何重叠分数与模型自身注意力判断有多“英雄所见略同”。在某一层(第14层),几何筛出的区块和模型偏好的前50个区块重合比例达到0.73,比随机水平(0.35)高出整整0.38。几何信息并非瞎指挥,它在相当程度上验证并强化了模型已经发现的有效线索。

视觉上的证据同样直观。论文放了几组长程生成对比画面:一个卧室场景,密集注意力生成到后期,房间渐渐变成另一个毫不相干的昏暗房间;一个手办场景,红色衣服慢慢褪成淡粉色;一片竹林小径,路面逐渐变成水坑,最后成了一片毫无特征的平面;一片沙漠,画面里慢慢渗出奇怪的暗色伪影。Velox生成的同样场景,到最后一帧还能认出是同一个卧室,手办衣服颜色没有跑偏,竹林小径保持原样,沙漠纹理也没有崩坏。

这背后是个更深层的问题:长视频生成的“记忆丢失”并非突然发生,而是在一次次生成新画面的过程中一点点累积出来的误差。密集注意力对此并没有天然免疫力,它只是记性好,不代表记得准。Velox把注意力精准导向几何对应的历史区域,等于不断把生成过程“拉回”正确的参照系,误差累积因此被压住。

还有几个地方值得追问。

论文自己也承认了Velox的局限。在WBench的细分指标里,Velox在

静态背景区域通常能被视锥体板较好地覆盖,几何对应关系清晰可靠。物体、人物这类动态或语义关键的内容则往往重建不完整,或者本身就在剧烈变化,几何对应反而没那么靠谱。也就是说,Velox眼下更擅长“守住场景不崩坏”,对“守住角色不变形”的帮助相对有限。论文明确写了这一点,把它留给后续工作。

另外,整套系统高度依赖流式三维重建的质量。一旦重建的深度本身漂移,或者被遮挡区域被错误地填进过时几何信息,软融合机制虽然设了阈值和放大上限来控制风险,却没法完全杜绝错误几何把生成结果带偏的可能。

Velox的思路并非凭空出现,更早之前已有铺垫,只是先走了一步。

Q&A

Q1:Velox是什么?按定义,它是一种注意力路由方法,训练时不必改动模型参数,专门用来给视频世界模型的长程生成提速。它的做法是靠视锥体板几何对应关系,让当前画面区块只关注历史里几何位置重叠的那部分,不必把全部历史都遍历一遍。画质没有明显损失,生成速度却能大幅提升。

Q2:Velox能带来多大的速度提升?到第48个chunk这一时间点,单次注意力计算延迟从约34.2毫秒降到7.8毫秒,提速4.36倍;整个chunk的去噪时间则从约7.19秒降到2.96秒,提速2.43倍。生成得越长,提速幅度还会继续增大。

Q3:Velox会不会让生成画质变差?在WBench导航测试集的158个案例上,Velox的API-free平均分只比密集注意力低0.15分。19项指标的综合平均分没有下降,反而从75.52升到75.60,空间一致性和光度一致性都有提升;透视一致性和主体一致性则略有下降。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI长线调查训练难在哪:题太简单、反馈太糙

    你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。这是一个真实的例子。论文里展示的一道训练题,起点是一...

    来源 腾讯网
  2. 谷歌Project Genie升级:开放AI Ultra用户体验

    IT之家 11 月 19 日消息,今年早些时候,谷歌推出了实验性研究原型 Project Genie,可让用户生成并探索交互式虚拟世界。早期测试用户反馈,希望能对世界内发生的内容有更强控制力,同时拥有更便捷的建造、分享方式。 如今,谷歌面向符合资格的 Google AI Ultra 订阅用户推出全新 Project G

    来源 AI 行业观察
  3. 谷歌Genie 4开放:Project Genie升级,单次探索最长3分钟

    IT之家 11 月 19 日消息,今年早些时候,谷歌推出了实验性研究原型 Project Genie,可让用户生成并探索交互式虚拟世界。早期测试用户反馈,希望能对世界内发生的内容有更强控制力,同时拥有更便捷的建造、分享方式。如今,谷歌面向符合资格的 Google AI Ultra 订阅用户推出全新 Project Ge

    来源 腾讯网
  4. 快手Q3营收316亿:可灵AI增收,日活4.17亿

    亿欧最新获悉,11月19日盘后,快手科技发布2026年第三季度业绩。财务数据显示,今年第三季度公司实现营收315.92亿元,经调整净利润7.9亿元。具体来看,线上营销服务收入为178.71亿元,占总营收的56.6%;直播收入为77.52亿元,占比24.5%;其他服务收入为59.69亿元,占比18.9%。图片来源:快手科

    来源 腾讯网
  5. 版权、流量与AI:在线音乐平台迎来新战事

    作者 | 刘艺晨 音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。存

    来源 腾讯网
  6. 模拟人生之父新作:用AI挖掘你的记忆构建模拟

    曾打造《模拟城市》《模拟人生》的传奇游戏设计师Will Wright公布新项目MyMems,将借助人工智能从用户的个人记忆中挖掘内容,构建个性化模拟体验。Wright表示他想“让模拟转向内在”。这一构想引发游戏界对AI驱动个性化叙事与隐私边界的广泛讨论。

    来源 AI 科技快讯
  7. 会用AI的人,更容易找到工作?

    AI已经广泛融入游戏开发的多个环节。这个趋势也影响了厂商对人才的需求。一份腾讯IEG2026年的实习生招聘材料里显示,游戏AI相关岗位的需求明显提升,部分岗位开设了AI面试或AI Coding考察。 这一趋势在世界范围内也是共通的。GDC在2026年11月发布的统计中显示,40%的受访游戏从业者会在工作中使用生成式AI

    来源 AI 行业观察
  8. 世界模型杀入摄影圈:AI帮你换个机位重拍一张

    为了凑齐朋友圈的九宫格,一生爱出片的中国人不断添置设备、研究机位,有时还要搭上旅行的好心情。 与此同时,顶尖的科学家和资本正砸下几十亿美金,试图用“世界模型”教AI理解物理世界。 看似风马牛不相及的两件事,或许很快就要在同一个取景框里迎头相遇。 #01 世界模型,开始研究出片 一张照片拍完,还能换个机位吗?李飞飞创办的

    来源 AI 行业观察
  9. Google Genie4 API开放:付费开发者可实时交互并生成原生音频

    11月19日,Google通过Gemini API与AI Studio向付费开发者开放最新世界模型Genie4(models/genie-4)。此前一日,该模型已借Project Genie面向Google AI Ultra订阅用户推出。此次开放标志DeepMind首个可供第三方直接调用的实时世界模型落地,摆脱消费者订

    来源 AI 产业速递
  10. 谷歌Genie 4开放开发者:0.2秒操控延迟,6.05美元/分钟

    当地时间11月19日,谷歌正式向开发者开放世界模型Genie 4,开发者可通过Gemini API及Google AI Studio接入。该模型可生成720p、24fps的可交互世界与原生立体声音频,低延迟网络下键盘操控响应约0.2至0.5秒,视频输出按Token计费,成本约6.05美元/分钟。

    来源 凤凰科技
  11. 红魔 12 Pro+ 氘锋透明冰蓝配色 11 月 24 日开售,16GB+512GB 版 7499 元

    IT之家 11 月 19 日消息,红魔游戏手机今日宣布,红魔 12Pro+「氘锋透明冰蓝」现已开启预约,11 月 24 日 10:00 开售。 京东平台显示,该配色目前仅提供 16GB+512GB 一个版本,标价 7999 元,部分地区政府补贴 500 元,到手价 7499 元起。 IT之家注意到,红魔 12 Pro+

    来源 AI 行业观察
  12. DeepSeek刚限完流,就去给开发者免单了

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月19日报道,昨日,DeepSeek调整了API计费规则,自北京时间11月18日12时起,模型调用时触发的服务端搜索、网页抓取不再单独收费,仅按照模型Token用量计费。简单来说,开发者通过DeepSeek模型执行联网搜索任务,不再需要为搜

    来源 腾讯网
  13. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  14. 2亿人的红果:最后的流量神话|深氪

    文|兰杰 李小霞 编辑|乔芊 杨轩 即使是字节这样信仰数据的公司,也无法参透流量的一切秘密。 很难解释,为什么在2025年初,红果APP的日活用户数从1.2亿缓慢爬升到1.5亿,花了整整5个月之久。毕竟此前,红果以“每季度翻一倍”的惊人速度在猛增。 同样难以解释,为什么突然,“唰的一下,又迈过1.5亿了。”一位接近红果

    来源 腾讯网
  15. 八位堂公布 GC 蓝牙游戏手柄:外观致敬 GameCube 控制器,配备 TMR 摇杆

    IT之家 11 月 19 日消息,八位堂 (8BitDo) 现已公布 GC 蓝牙游戏手柄。该产品设计灵感源于 GameCube 控制器,延续了原版的 ABXY 布局。 八位堂 GC 蓝牙游戏手柄配备霍尔效应传感器扳机、带八角形限位环的 TMR 传感器摇杆、单转子电机振动反馈,新增 ZL 肩键和捕获按钮。 IT之家了解到

    来源 AI 行业观察
  16. 就在今晚,“最大IPO”,“最火爆游戏”一起发行!

    双重盛宴将引爆市场:11月19日,Anthropic以每股83美元定价登陆纳斯达克,总募资超1070亿美元,完全稀释估值达1.5万亿美元,刷新全球IPO纪录;GTA 6同日发售,预购额已达16.5亿美元创史上最高,Metacritic评分99分,首周销售额预计最高50亿美元。

    来源 华尔街见闻
  17. 腾讯三季报:AI投入侵蚀利润,自由现金流-691亿元

    腾讯三季报AI新产品单季拖累达152亿元,资本开支暴增五倍至814亿元,自由现金流转为-691亿元,净现金变为净负债140亿元。摩根大通、摩根士丹利、瑞银均维持买入评级,认为核心业务质量足以承载AI建设成本,但共同警示:AI投入超预期侵蚀利润,现金流恶化将短期压制股价,2027年AI亏损见顶时点成关键观察窗口。

    来源 华尔街见闻
向下滚动自动加载更多