6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存

资讯 AI 应用前沿 全文 3535 字 · 约 9 分钟读完 分类Transformer开源GTA世界模型

Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣

所属频道 模型发布开源生态

游戏画面不是渲染出来的,是神经网络一帧一帧“想”出来的

浏览器里敲下WASD,屏幕上就能跑出一个像《侠盗猎车手5》(GTA V)的画面。角色移动、转弯,画面跟着变。可底下没有Rockstar的引擎,没有渲染管线,连一行传统游戏逻辑代码都找不到。

撑起这一切的,是一个6.3亿参数的Transformer模型,它实时生成每一帧。上一帧加上你的操作指令,神经网络据此把下一帧“猜”出来。

项目由LucidML社区成员Abhishek Sensharma在2026年11月发布。模型权重和推理代码都开源了(Apache-2.0协议),他同时把架构设计讲得很细,重点就是为解决长序列记忆问题提出的“Summaryformer”。

对做深度学习的人来说,这个项目的看点不是能不能取代GTA,而是它给出了一条在有限显存下处理长视频序列的新路子。

显存,才是最难绕过去的那道坎

做这种因果式的世界模型(Causal World Model),核心难点落在“记忆”上。

它的工作方式和大语言模型(LLM)类似:要生成第T帧,之前所有帧都得看一遍。这些信息存在KV Cache(键值缓存)里。每帧都保持完整分辨率的话,显存很快就爆了。

这个项目里,单帧latent(潜变量)网格是24x42,对应1008个Token。历史窗口若完整保留24帧,每生成一帧,每个Token都要attend(关注)此前的26,208个Key。每次去噪步骤都得重算一遍,实时playable(可玩)根本做不到。

可只留最近几帧,模型又会“失忆”——不知道自己在地图哪个位置,也忘了刚才那栋楼长什么样。

Sensharma的办法很直接:不同时间的历史数据,重要性并不一样。

  • 刚发生的帧:像素级细节不能丢,下一帧的动作得跟它接上。
  • 很久以前的帧:大致轮廓和语义信息够了,比如“前面有个路口”“左边有棵树”。

顺着这个假设,他做出了Summaryformer:每一帧在内存里存两份,一份是全分辨率的“raw”,另一份是压缩过的“summary”。

Summaryformer:让每一帧自己写摘要

传统视频生成模型要压缩历史帧,一般得另加一个编码器网络。Sensharma没这么做,他让主模型自己把这活干了。

每一帧进Transformer时,会被封装成一条记录(Record):

record(t) = [ raw(t) : 1,008 tokens ] ++ [ sum(t) : 96 tokens ]
  • raw(t)那是帧的潜在网格,每个格子一个Token。
  • sum(t)另外还有96个摘要Token。它们没有固定空间位置,初始值是学习得到的参数。

关键在于,这96个摘要Token和1008个原始Token走的是同一条路——一起通过同样的28个Transformer块做前向传播。后面的帧只能看到这96个摘要Token,训练过程就会逼着模型把当前帧的关键信息压进这96个Token里。

不用额外的总结网络,也不用多出推理步数。摘要就是生成过程顺手带出来的副产品。

注意力机制到底能看到什么?

生成第T帧时,每个Token能attend到哪些内容?规则是这样:

  1. 自身:当前帧的raw tokens和sum tokens。
  2. 最近2帧按完整记录存下来,raw和summary都在;窗口内更早的24帧则只保留各自的96个summary tokens;起始帧不一样,它始终留着一份完整记录,充当整个场景的锚点。

于是局部动作的连贯性有了保障——靠的是最近那几帧的全分辨率画面;长期场景的一致性也没丢,摘要和起始帧在后面撑着。

单个缓冲区与驱逐策略

上面这套逻辑要落地,Sensharma靠的是一个预先分配好的KV缓冲区。结构大概是这样:

| Z0 (起始帧) | RAW区 (3帧, 轮转) | SUM区 (22 x 96摘要行, 轮转) |
  • Z0放起始图像,永远不驱逐;RAW区装正在生成的帧以及前两帧;SUM区则留给更早期帧的摘要。

一帧从RAW区“老化”出去的时候,它那96个摘要Token的Key/Value会被拷进SUM区,把最旧的摘要覆盖掉。原本占着的1008个raw行,则交给新帧覆盖。

举个例子,第31帧写入时会占掉第28帧的位置,与此同时第28帧的摘要会去覆盖第6帧摘要的位置。

复制本身的成本很低:每个Block只拷96行。每个Key都通过RoPE位置编码带着自己的Frame ID,所以槽位在物理上怎么排并不打紧。

算下来,缓冲区里最终只有6,528个Keys。要是全按全分辨率保留,这个数会变成26,208。显存占用因此少了大约75%。

两个巧妙的设计细节

1. 如何区分“摘要”和“像素”?

Raw tokens和Summary tokens处在同一时间步,光靠Rotary Positional Embedding (RoPE) 分不出谁是谁。Sensharma没有另加Token Type Embedding,而是从RoPE自身的特性上想办法。

每个Attention Head有12个temporal RoPE平面。其中两个最慢的平面在窗口距离内几乎不转,等于不携带有效的位置信息。他就把Summary tokens在这两个平面上固定旋转90度,也就是四分之一圈。

这么一来,Query向量就能用上这两个闲置维度,分别给“第t帧的摘要”和“第t帧的像素”加权,额外的嵌入层完全不需要。

2. 起始帧的“时间旅行”

起始帧(Z0)的Frame ID是0。会话往下走,当前帧ID越变越大,Z0和当前窗口的距离也就越拉越远。按RoPE的机制,距离太远会让注意力权重衰减到几乎为零。

解决办法是:一旦Z0与内存中最老帧的差距到5,就地旋转Z0的Keys,把差距缩回1。Values不动,也不重算。这等于让起始帧在时间轴上“跟着”当前窗口走,注意力连接始终有效。

从按键到屏幕:一帧的生命周期

整个推理流程排得很紧凑:

  1. 输入动作:玩家按下的键会被编码成5维的动作向量。
  2. 驱逐旧帧的做法是:RAW区一旦满了,就把最老的那一帧挪进SUM区。
  3. 新帧要过3步去噪(t=999、878、669),每步都写进Record、再读缓冲区;到最后一步,会在干净结果上再跑一遍,让内存里只留下高质量帧。
  4. 解码与串流这块,Autoencoder把Latent帧解成4帧RGB图像,再编码为H.264视频流推到浏览器。

模型规格与训练数据:

  • 参数量为630,205,008。
  • 结构上共28个Block,宽度1280,20个Head,前馈网络用SwiGLU。
  • Latents走的是自定义Autoencoder,48通道,1/16网格缩放。
  • 条件控制没有文本交叉注意力;去噪时间步、玩家动作、帧率和网格形状,都通过独立的Learned Gate注入每个Block。
  • 扩散策略采用Cosine噪声调度,v-prediction带log-SNR偏移。

训练数据这块,包含1亿张图像、400万段视频,还有作者自建的GG800数据集——约800小时带操作记录的GTA V gameplay。

不过这次发布只放出了推理代码,训练代码没有。

局限性与现状:

架构设计精巧归精巧,这个模型离完美还差得远。

先说上下文长度,依然有限。架构支持24帧的Latent窗口,可受预算限制,模型没训练到收敛状态。结果就是长程记忆不太稳,远处的细节容易丢。

再说会话,是有终点的。位置表只支持4096个Frame ID,服务器默认还把单次会话限制在180秒。

硬件门槛也不低:得有CUDA GPU,而且一个GPU进程只能服务一个玩家。这么看,它很难大规模部署,更像技术演示或者个人实验工具。

值得关注的创新点:

Sensharma本人很谦虚,说用到的组件(KV Cache、RoPE、Learned Tokens)都不算新。但他认为下面这些组合方式挺新颖:

  • 摘要Token由生成器自身前向传播产生,作为旧帧唯一的痕迹保留下来。
  • 单一KV缓冲区分成Raw区和Summary区,靠驱逐机制填充,单次无Mask注意力读取。
  • 利用RoPE里不携带位置信息的平面,用固定旋转来标记Token类型。
  • 对Anchor Frame的Keys做原地旋转,让它始终贴近移动的时间窗口。

这些技巧对资源受限的视频生成研究有参考价值。手头显卡不错的话,可以去Hugging Face上试试,看看这个“神经网络版GTA”能跑出什么样的幻觉。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为云开源具身世界模型:覆盖八成具身企业,做机器人底层基建

    11月16日,华为云在线上发布并全面开源昇腾原生具身世界模型CloudRobo-WM1.2。该模型依托共享的世界模型骨干网络,增强了对环境的预测能力,并基于原生DualAct架构,实现了世界模型原生动作生成。同时,华为云宣布与福龙马集团联合研制的智能清扫机器人启动预售。据发布会介绍,该款CloudRobo-WM1.2模

    来源 腾讯网
  2. 华为云开源CloudRobo-WM1.2:昇腾训练,两评测居首

    华为云为此设计了跨具身运动建模能力,可以将其理解为“动作翻译器”,支持不同形态的机器人共同学习。 部署时,开发者还能根据算力资源和响应速度需求,选择不同的推理模式,兼顾模型能力与运行成本。华为云宣布将开放模型…

    来源 搜狐科技
  3. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  4. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率三项升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  5. 李飞飞出任AMD首席科学家,82亿美元全股票收购World Labs交割完成

    【TechWeb】11 月 17日消息,当地时间2026年11月16日,AMD正式宣布完成对空间智能公司World Labs的收购,World Labs联合创始人李飞飞即日起出任AMD执行副总裁兼首席科学家,直接向AMD董事长兼CEO苏姿丰汇报。 AMD在社交平台X上发文,放出AMD董事会主席兼CEO苏姿丰与World

    来源 AI 行业观察
  6. 并购完成,李飞飞正式率队加入AMD,苏妈亲自欢迎

    这下真是王见王了! 旧金山的办公室里,「半导体女王」苏姿丰和「AI教母」李飞飞并肩坐在高脚凳上,面前是坐满一屋子正在鼓掌的World Labs员工。 当地时间11月16日,AMD正式宣布完成对World Labs的收购,这家由李飞飞联合创办的空间智能公司,从此彻底并入AMD。 官宣视频当中,苏姿丰穿着黑色连帽卫衣一边比

    来源 AI 行业观察
  7. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  8. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  9. 华为云:80%中国具身智能企业选了昇腾云,具身智能市场排中国第一

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云方面透露,华为昇腾云在具身智能市场格局中排行中国第一,已有 80% 的中国具身智能企业选择昇腾云,重点高校基本实现全覆盖。 2025 年 6 月,华为云发布 CloudRobo 具身智能平台。华为常务董事、华为云计算 BU

    来源 AI 行业观察
  10. 开源社区请愿黄仁勋回归英伟达

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 科技快讯
  11. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
  12. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
向下滚动自动加载更多