6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存
Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣
游戏画面不是渲染出来的,是神经网络一帧一帧“想”出来的
浏览器里敲下WASD,屏幕上就能跑出一个像《侠盗猎车手5》(GTA V)的画面。角色移动、转弯,画面跟着变。可底下没有Rockstar的引擎,没有渲染管线,连一行传统游戏逻辑代码都找不到。
撑起这一切的,是一个6.3亿参数的Transformer模型,它实时生成每一帧。上一帧加上你的操作指令,神经网络据此把下一帧“猜”出来。
项目由LucidML社区成员Abhishek Sensharma在2026年11月发布。模型权重和推理代码都开源了(Apache-2.0协议),他同时把架构设计讲得很细,重点就是为解决长序列记忆问题提出的“Summaryformer”。
对做深度学习的人来说,这个项目的看点不是能不能取代GTA,而是它给出了一条在有限显存下处理长视频序列的新路子。
显存,才是最难绕过去的那道坎
做这种因果式的世界模型(Causal World Model),核心难点落在“记忆”上。
它的工作方式和大语言模型(LLM)类似:要生成第T帧,之前所有帧都得看一遍。这些信息存在KV Cache(键值缓存)里。每帧都保持完整分辨率的话,显存很快就爆了。
这个项目里,单帧latent(潜变量)网格是24x42,对应1008个Token。历史窗口若完整保留24帧,每生成一帧,每个Token都要attend(关注)此前的26,208个Key。每次去噪步骤都得重算一遍,实时playable(可玩)根本做不到。
可只留最近几帧,模型又会“失忆”——不知道自己在地图哪个位置,也忘了刚才那栋楼长什么样。
Sensharma的办法很直接:不同时间的历史数据,重要性并不一样。
- 刚发生的帧:像素级细节不能丢,下一帧的动作得跟它接上。
- 很久以前的帧:大致轮廓和语义信息够了,比如“前面有个路口”“左边有棵树”。
顺着这个假设,他做出了Summaryformer:每一帧在内存里存两份,一份是全分辨率的“raw”,另一份是压缩过的“summary”。
Summaryformer:让每一帧自己写摘要
传统视频生成模型要压缩历史帧,一般得另加一个编码器网络。Sensharma没这么做,他让主模型自己把这活干了。
每一帧进Transformer时,会被封装成一条记录(Record):
record(t) = [ raw(t) : 1,008 tokens ] ++ [ sum(t) : 96 tokens ]raw(t)那是帧的潜在网格,每个格子一个Token。sum(t)另外还有96个摘要Token。它们没有固定空间位置,初始值是学习得到的参数。
关键在于,这96个摘要Token和1008个原始Token走的是同一条路——一起通过同样的28个Transformer块做前向传播。后面的帧只能看到这96个摘要Token,训练过程就会逼着模型把当前帧的关键信息压进这96个Token里。
不用额外的总结网络,也不用多出推理步数。摘要就是生成过程顺手带出来的副产品。
注意力机制到底能看到什么?
生成第T帧时,每个Token能attend到哪些内容?规则是这样:
- 自身:当前帧的raw tokens和sum tokens。
- 最近2帧按完整记录存下来,raw和summary都在;窗口内更早的24帧则只保留各自的96个summary tokens;起始帧不一样,它始终留着一份完整记录,充当整个场景的锚点。
于是局部动作的连贯性有了保障——靠的是最近那几帧的全分辨率画面;长期场景的一致性也没丢,摘要和起始帧在后面撑着。
单个缓冲区与驱逐策略
上面这套逻辑要落地,Sensharma靠的是一个预先分配好的KV缓冲区。结构大概是这样:
| Z0 (起始帧) | RAW区 (3帧, 轮转) | SUM区 (22 x 96摘要行, 轮转) |- Z0放起始图像,永远不驱逐;RAW区装正在生成的帧以及前两帧;SUM区则留给更早期帧的摘要。
一帧从RAW区“老化”出去的时候,它那96个摘要Token的Key/Value会被拷进SUM区,把最旧的摘要覆盖掉。原本占着的1008个raw行,则交给新帧覆盖。
举个例子,第31帧写入时会占掉第28帧的位置,与此同时第28帧的摘要会去覆盖第6帧摘要的位置。
复制本身的成本很低:每个Block只拷96行。每个Key都通过RoPE位置编码带着自己的Frame ID,所以槽位在物理上怎么排并不打紧。
算下来,缓冲区里最终只有6,528个Keys。要是全按全分辨率保留,这个数会变成26,208。显存占用因此少了大约75%。
两个巧妙的设计细节
1. 如何区分“摘要”和“像素”?
Raw tokens和Summary tokens处在同一时间步,光靠Rotary Positional Embedding (RoPE) 分不出谁是谁。Sensharma没有另加Token Type Embedding,而是从RoPE自身的特性上想办法。
每个Attention Head有12个temporal RoPE平面。其中两个最慢的平面在窗口距离内几乎不转,等于不携带有效的位置信息。他就把Summary tokens在这两个平面上固定旋转90度,也就是四分之一圈。
这么一来,Query向量就能用上这两个闲置维度,分别给“第t帧的摘要”和“第t帧的像素”加权,额外的嵌入层完全不需要。
2. 起始帧的“时间旅行”
起始帧(Z0)的Frame ID是0。会话往下走,当前帧ID越变越大,Z0和当前窗口的距离也就越拉越远。按RoPE的机制,距离太远会让注意力权重衰减到几乎为零。
解决办法是:一旦Z0与内存中最老帧的差距到5,就地旋转Z0的Keys,把差距缩回1。Values不动,也不重算。这等于让起始帧在时间轴上“跟着”当前窗口走,注意力连接始终有效。
从按键到屏幕:一帧的生命周期
整个推理流程排得很紧凑:
- 输入动作:玩家按下的键会被编码成5维的动作向量。
- 驱逐旧帧的做法是:RAW区一旦满了,就把最老的那一帧挪进SUM区。
- 新帧要过3步去噪(t=999、878、669),每步都写进Record、再读缓冲区;到最后一步,会在干净结果上再跑一遍,让内存里只留下高质量帧。
- 解码与串流这块,Autoencoder把Latent帧解成4帧RGB图像,再编码为H.264视频流推到浏览器。
模型规格与训练数据:
- 参数量为630,205,008。
- 结构上共28个Block,宽度1280,20个Head,前馈网络用SwiGLU。
- Latents走的是自定义Autoencoder,48通道,1/16网格缩放。
- 条件控制没有文本交叉注意力;去噪时间步、玩家动作、帧率和网格形状,都通过独立的Learned Gate注入每个Block。
- 扩散策略采用Cosine噪声调度,v-prediction带log-SNR偏移。
训练数据这块,包含1亿张图像、400万段视频,还有作者自建的GG800数据集——约800小时带操作记录的GTA V gameplay。
不过这次发布只放出了推理代码,训练代码没有。
局限性与现状:
架构设计精巧归精巧,这个模型离完美还差得远。
先说上下文长度,依然有限。架构支持24帧的Latent窗口,可受预算限制,模型没训练到收敛状态。结果就是长程记忆不太稳,远处的细节容易丢。
再说会话,是有终点的。位置表只支持4096个Frame ID,服务器默认还把单次会话限制在180秒。
硬件门槛也不低:得有CUDA GPU,而且一个GPU进程只能服务一个玩家。这么看,它很难大规模部署,更像技术演示或者个人实验工具。
值得关注的创新点:
Sensharma本人很谦虚,说用到的组件(KV Cache、RoPE、Learned Tokens)都不算新。但他认为下面这些组合方式挺新颖:
- 摘要Token由生成器自身前向传播产生,作为旧帧唯一的痕迹保留下来。
- 单一KV缓冲区分成Raw区和Summary区,靠驱逐机制填充,单次无Mask注意力读取。
- 利用RoPE里不携带位置信息的平面,用固定旋转来标记Token类型。
- 对Anchor Frame的Keys做原地旋转,让它始终贴近移动的时间窗口。
这些技巧对资源受限的视频生成研究有参考价值。手头显卡不错的话,可以去Hugging Face上试试,看看这个“神经网络版GTA”能跑出什么样的幻觉。