PPMem用平面记住整个世界:10万平面约5MB,比点云少三个数量级
你有没有想过,一个能无限生成视频、让你一直往前走的AI世界,到底靠什么记住自己刚才生成了什么?这不是一个无聊的问题。想象你在玩一个由AI实时生成画面的游戏,你往前走了三百步,然后猛地回头。如果这个AI没有真正的“记忆”,它很可能把刚才身后那扇门的位置、墙的颜色、桌子的角度全都忘了,重新给你生成一套完全不一...
一个AI世界能无限生成视频、让人一直往前走,它究竟靠什么记住自己刚生成过什么?
这个问题并不无聊。设想你在玩一款由AI实时生成画面的游戏,往前走了三百步,突然回头。要是这个AI没有真正的“记忆”,身后那扇门的位置、墙的颜色、桌子的角度很可能全被忘掉,重新生成出一套完全不同的场景。生成内容越长,越容易“失忆”和“跑偏”,这正是“世界模型”眼下要面对的核心难题。
2025年前后,不少团队都在攻这个难题,给出的答案却五花八门。有些方案索性不要记忆,靠模型自身的注意力机制硬扛,比如
世界模型*:这类 AI 系统能生成、模拟场景,用户也可以进入其中自行探索;它的关键本事在于,拿到输入(例如一张图加一条移动轨迹)后,能连续输出前后衔接的视频画面。
可这些记忆方案各有各的硬伤。本文要讲的PPMem,正是奔着这些硬伤去的,它挑了一个听起来有点“复古”的工具:平面。
记忆这件事,到底难在哪
先说说现有方案都卡在哪儿。
Gen3C的做法是维护一个只存两帧的
点云
也就是说,它只记得“种子帧”和“最近一个分块边界帧”的几何信息,中间的几何细节全被覆盖、丢弃。好比每次只记住起点和刚过去的一瞬,走过的所有细节都被清空,等你想回头确认点什么,什么都找不到。
VMem稍好一些,它用CUT3R重建出“定向
面元
来索引过去的视角,问题在于面元数量会随生成帧数线性增长,生成得越久,这堆面元越臃肿。SPMem换了思路,用
TSDF
配合关键帧池存储空间记忆,可一旦扩展到长序列,每一步都要重新估计深度、把所有累积帧重新融合进体积里,计算成本随序列长度线性增长,越往后跑越慢。Context as Memory和WorldMem索性放弃显式3D几何,靠检索过去的原始帧来撑场面,代价是它们对“空间结构”其实是模糊的。
这些方案有个共同的毛病:存储量爆炸式增长、几何不够准确,或者压根没有真正意义上的3D结构。研究团队把它归纳成四个标准:记忆要紧凑、要几何上明确可用、要跨视角一致、还要能随着生成过程自我优化。放眼现有方案,四条同时满足的一个也没有。
问题于是变成:有没有一种表示方法,天生紧凑、天生带有明确的几何含义,还能被生成模型本身直接产出,而不是靠外部工具事后拼凑?
PPMem的答案是:平面。
为什么是平面,不是点云
随便看一个人造空间,客厅、办公室或者街道,墙是平的,地面是平的,桌面是平的,建筑外立面也是平的。人类生活的环境,本质上由大量平面拼接而成。这算不上新发现,建筑学里早就有“
曼哈顿世界假设*:这是一条关于场景结构的设定:人造环境里多数表面大致沿三个彼此垂直的方向铺开,比如地面水平、墙面竖直;室内场景的三维重建中,这一假设用得很多。
这类理论撑着这一点。既然这样,为什么不用平面本身去描述场景的几何,偏要拿密密麻麻的像素点去堆?
PPMem里每个平面只需7个数字就能完全描述:一个沿相机视线方向的深度值,两个矩形的边长(相当于这块平面有多大),再加一个四元数表示旋转方向(这块平面朝向哪儿)。对比一下,一帧576×1024分辨率的画面有近60万个像素,每个像素都存一个三维点的话,几百帧视频下来,理论上能攒出两亿多个点。而PPMem最终攒出来的
平面池*:PPMem中用来持续累积所有已生成区域几何信息的全局集合,每生成一段新内容就往里面补充、修正一批平面。
大概只有10万个平面左右,占用空间约5MB。这差了三个数量级,相当于把一本厚厚的百科全书压缩成一张卡片,卡片上记的信息还基本够用。
这里还有个反事实的问题:要是不用平面、继续用点云会怎样?论文给出了对照组数据,在大约400帧、576×1024分辨率的设定下,理论上累积的点云点数能达到约2.1亿个,PPMem的平面数量则稳定在约10万个,是前者的两千分之一。这已经不只是优化了一点点,而是representation层面的降维。
有个生活化的类比值得细说。你要给朋友描述自家客厅长什么样,有两种方式。第一种,拍一张高清照片发过去,每个像素的颜色值都给出来,信息量巨大,可绝大部分像素其实在重复表达“这里是白墙”“这里还是白墙”。第二种,直接说“一面8米长3米高的白墙,一个2米见方的木地板”,一句话、几个数字,信息密度直接拉满。选第一种方式去记忆整个客厅,每次有人问起细节,你都得翻出整张照片重新辨认;选第二种,你随口就能答。平面primitive的设计,本质上就是选了第二种描述方式,而且是让AI自己学会用这种方式去描述它刚刚生成的世界。
不过,只做到紧凑还差得远。PPMem 的平面另有一个关键之处:它们由生成模型在内部自行产出,外部深度估计器完全不用插手。Gen3C 要靠 MoGe-2 这个外部模型,VMem 靠 CUT3R,SPMem 靠 Depth Anything 3,三者的做法都跟它不一样。内部产出带来的直接后果是,这些平面本身就具备跨视角一致性——同一次前向传播里,同一个共享生成骨干网络把它们产了出来,并非先攒一堆各自为战的局部观测、再硬拼到一起。
PPMem 的模样,是在 Wan 2.2 这个 5B 参数规模的视频扩散 Transformer 模型上搭起来的。
研究团队在这个底子上添了两个关键模块。一个是扩散 Transformer(DiT)。另一个是 VAE(变分自编码器)。
第一个是
换成这个 VAE 初始化的解码器之后,实际提升有多少?实验数据摆在那里:深度准确率指标 δ<1.25 从 59.2% 升到 70.3%,涨了 11.1 个百分点;相对误差则从 0.256 降到 0.210。视频生成模型自己学到的空间先验,拿来预测几何竟然也管用,算是一次意外的“知识迁移”。
第二个模块叫深度令牌融合(Depth Token Fusion, DTF)。
它要对付的问题很实际:平面池渲染出的深度图有破洞,场景里总有区域此前没被观测到,渲染出来自然是空的。DTF 用一个小型 ViT 编码器(Vision Transformer)处理这些带孔洞的深度图,还配了一套三层掩码策略——完全没覆盖的区域直接丢弃;部分覆盖的区域以 75% 的概率随机丢弃;完全覆盖的区域同样要随机丢掉一部分,让总体掩码比例落在 60% 到 90% 之间。这套设计听着有点像“故意找茬”:明明可用的信息,为什么要主动扔掉一部分?
答案在一个对比实验里。研究团队做了“尺度忠实度”测试:把输入的深度信息按已知倍数放大或缩小,再看模型预测的深度会不会按同样比例变化。结果是,采用 DTF 融合方案时,输入缩放 1 倍,预测/真实深度比值精确维持在 1.00±0.01;换成简单的通道拼接方案,极端缩放情况下就会出现压缩失真——VAE 的信息瓶颈把精细的尺度信息给“磨平”了。DTF 故意在训练时制造信息稀疏,目的就是让模型习惯推理阶段必然出现的那种不完美信号,免得它在真实场景里一见到带孔的深度图就懵掉。
打个比方:从小到大做数学题,每次用的都是印刷整齐、从不缺页的教材,真进了考场,拿到一张字迹模糊、还缺了几行的试卷,多半会手忙脚乱。DTF 的训练策略,等于平时练习时就故意塞给模型一些“缺页”“模糊”的卷子,等它上考场(推理阶段)遇到真实的不完美深度图,才不至于直接崩溃。不这么做会怎样?实验已经给了答案:通道拼接方案在尺度剧烈变化时严重失真,模型会把场景的真实尺度判断错,生成的画面看着也许对,几何上却是扭曲的。
平面池怎么“活”起来:持续合并机制。光有平面还不够,真正的难题是这些平面如何持续更新、修正、去重,而不是越攒越乱。
PPMem 为此设计了一套平面池维护机制:每生成一个新的视频分块,就把新预测的平面并进全局池子,合并过程遵循三个原则。
第一条是“纠正过去”的遮挡删除机制:新观测到的表面如果证明池子里某些平面其实悬在半空(被更新的几何“穿透”了),就通过多相机投票把这些错误平面删掉。
第二条是“优化当下”的双向质量去重:每个平面都带一个观测质量分数,由相机到平面的距离和观测角度共同决定,距离越近、角度越垂直于表面,分数越高。同一个分块内部,挨得很近的平面只留质量分数更好的那个,这一步能砍掉单个分块内大约 80% 的平面数量。跨分块时也照同样的逻辑处理。
第三条是“预判未来”的前瞻式修剪:某个平面如果下一个分块里会被从更近的距离重新观测到,那就提前从池子里删掉,因为接下来肯定会生成质量更高的替代品。
三条机制叠加的效果,论文的消融实验里有清楚的数字支撑。研究团队在 16 个……这个过程像什么?像整理一间堆满旧照片的储藏室。搬进一张新照片时,先看有没有哪张老照片角度特别糟、信息已被新照片完全盖住,直接扔掉;再看手里这堆新照片有没有角度重复的,只留拍得最清楚的那张;最后想一想,接下来几天会不会去更好的角度重拍某个地方,如果会,现在这张差强人意的先撤了,省得占地方。整个过程不用大动干戈地重算整间屋子的布局,局部调整就够了——这也是论文为什么强调这个合并过程“不需要基于梯度的优化”,它是一套纯几何规则驱动的轻量级流程。
效果到底怎么样。PPMem 在 DL3DV 和
先看数据。下表列出各方法在 DL3DV 与 RE10K 两个数据集上的表现,对比项为 N=49 时的指标。
DL3DV 上,Gen3C 的三项数值依次是 15.74、0.474、13.59、0.565。
同数据集下,Voyager 交出的成绩为 12.84、0.568、11.35、0.649。
VMem 在 DL3DV 上的四项数字则是 11.88、0.636、10.87、0.722。
SPMem 对应的结果是 14.70、0.492、13.03、0.607。
轮到 PPMem,四项分别是 **16.99**、**0.335**、**13.98**、**0.464**。
换到 RE10K,Gen3C 拿到 21.93、0.238、19.22、0.303。
Voyager 在 RE10K 上的数字为 17.43、0.315、15.88、0.389。
VMem 这边是 11.69、0.626、11.07、0.678。
SPMem 的表现为 18.42、0.279、16.43、0.375。
PPMem 在 RE10K 上则录得 **22.46**、**0.168**、**19.34**、**0.254**。
有一处对比挺耐人寻味:PPMem 的模型只有 5B 参数,Gen3C 背后是 7B 的 Cosmos,Voyager 用的 HunyuanVideo 约 13B。参数规模差了一半甚至更多,PPMem 的效果反而更占优。说到底,输赢并不取决于模型堆多大,记忆机制设计得怎么样才是分水岭。
长序列测试更能看出差距。团队直接拿 DL3DV 里完整的测试序列来跑,每段长度在 300 到 400 帧之间,相机运动幅度相当大,目的就是看记忆机制扛不扛得住。跑到第 300 帧附近时,PPMem 在
从画面直观感受来说,经历接近 300 帧的大幅视角切换之后,PPMem 仍能守住场景结构和色彩的一致性。反观其他基线方法,越到后面画面越不对劲,模糊、走样,甚至出现结构上的错乱。
有一组消融实验很能说明问题。团队设了对照,把 PPMem 的联合平面预测方案换成了三种替代做法:其一,不做持久记忆,只靠模型自己预测的深度一次性生成;其二,学 Gen3C 的路子,用 MoGe-2 这个外部模型逐帧估深度,再做点云拼接;其三,先用预训练的 Plana3R 模型在事后对每帧做平面重建,然后拼接。最终 PPMem 的联合平面池方案在深度准确率 δ<1.25 上拿到 70.3%,三个替代方案分别只有 64.0%、55.0%、57.0%。这组数字说明的是,记忆机制带来的收益主要落在几何一致性和长时间稳定性上,而这恰恰就是 PPMem 一开始想解决的核心问题。
还有个发现挺出人意料:去掉
论文也没有回避局限。PPMem 更擅长结构化场景,像室内房间、城市街道这种以平面为主的环境。附录里有个按场景划分的
延伸线索:它从哪来,又往哪去
PPMem 并非凭空冒出来,它接的是平面重建这条技术脉络。再往前追,
不过 PPMem 跟这条脉络上此前的方法有个根本不同:那些方法都是“重建向”的,只能从拍好的图像里提取几何信息。PPMem 把平面预测放进了生成模型内部,做成一个“生成向”的循环:生成画面时顺带预测平面,平面进入记忆池,记忆池再回头指导下一步生成。论文特别强调,这种双向循环在此前的平面重建工作里没人做过。
往后看,“让生成模型自带几何记忆”这条路显然还有继续生长的余地。论文自己列出的方向包括:把静态的平面原语扩展到能处理动态物体的版本,以及把系统推向真正开放世界的场景规模。目前的实验还停留在相对受控的室内外场景数据集上,真正嘈杂、物体混杂的开放场景里,平面假设还站不站得住,眼下没有答案。
写在后面
读完这篇论文,最打动我的倒不是那些性能数字,而是那个“三个数量级”的压缩比。10 万个平面对上两亿个点,差距大得让人忍不住回头想:我们是不是太习惯默认“信息越多越好”,却很少问一句,这些信息里究竟有多少只是在重复表达同一件事?
另一个让我觉得有意思的细节,是法向量损失那个“全零坍塌”。深度和法向量看上去是两个独立的几何量,一个回答“多远”,一个回答“朝哪”,可实验表明,一旦少了法向量的监督信号,深度预测会直接失效。这背后提示的现象更普遍:不少联合学习任务里,不同输出头之间可能存在隐性的梯度依赖,看着是并行输出,底下却互相牵着。设计多任务模型时,这种脆弱性恐怕得查得更细一些。
另外,DTF 这个设计是刻意让训练时的信息变得稀疏,它的思路放到很多领域都说得通。见过的世界越完美,碰上真实世界的瑕疵就越容易出问题。教育里常讲的“脱离舒适区训练”跟这个有点像,只不过这回的主角换成了一个深度学习模型。
至于那块一直没搞定的招牌文字,凑近看已经面目全非。这倒让人想到另一层:生成模型要去“猜”一个它从没真正看清过的细节时,靠什么猜?猜错了又怎么纠正?这个问题,恐怕比平面记忆本身还难回答。
Q&A
Q1:PPMem是什么?
A:PPMem是一种视频世界模型,它把由7个参数描述的平面原语当作持久
Q2:PPMem相比Gen3C、VMem这些方法有什么优势?
A:PPMem的平面记忆由生成模型内部直接产出,不需要外部深度估计器,跨视角一致性是它自带的。全场景下来只要约10万个平面原语(约5MB),比点云方案的理论存储量少三个数量级。视频质量和深度准确率上,它都胜过Gen3C、Voyager、VMem、SPMem等基线方法。
Q3:PPMem有什么局限性?
A:PPMem更擅长墙面、地板这类平面结构占主导的场景,碰上密集植物、水面等有机环境,表现就会打折扣。还有一点,相机大幅拉近小字招牌这类细节时,生成的文字容易糊成一团,这是视频扩散模型本身就有的短板。