世界模型记不住你?XGEN用DAO给AI世界装了个账本
你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就...
你玩过这种游戏吗:離開一个场景去做别的事,再回来时发现一切都回到了原点,好像你从没来过。篝火还燃着,倒在地上的花瓶自己归了位,跟NPC聊过的话他也全忘了。
这其实是眼下几乎所有AI视频生成类“世界模型”的通病。画面能生成得很逼真,可它们没有记忆,也没有持续演化的状态。你一转过头,世界就把你忘了。
XGEN团队这次发布的技术报告,要解决的正是这个问题。他们提出的一个叫“
下面就把这套系统拆开看看,它究竟怎么做到“让AI生成的世界真正记住你”。
难点在哪里
先说说为什么这件事棘手。
视频生成模型这几年跑得很快。
**不过这类系统有个通病:只盯着“生成下一帧”,不负责“记住之前发生过什么”。**
打个比方,你请了一位画家,每次描述一个场景他都能当场画出来,又快又好。可你让他画昨天去过的咖啡馆,他完全不记得昨天画了什么,只能照你现在的描述重新想一个咖啡馆。假如昨天你在那家店点了一支蜡烛,今天再去,画家不知道蜡烛还在不在烧,因为他心里根本没有“昨天”。
单人单次体验时,这个问题不算明显;一旦涉及**多个角色共存、世界长期演化、观察者离开又回来**,就彻底兜不住了。设想一个多人共享的虚拟世界,角色A在你看不到的地方做了一件事,这件事理应影响后面的场景。系统要是没有一份独立于任何单次生成之外的“世界状态”,这种跨时间、跨视角的因果就维持不下去。
游戏驯世界模拟
指的是能根据玩家操作持续生成后续游戏画面的AI系统,例如
论文提到,以往研究大致有几条路线:有的主攻相机控制(比如
XGEN团队的办法是把问题切成两半。一半交给
DAO:为虚拟世界记一本账
先讲DAO。
可以把DAO看作“世界的账本管理员”。它不生成任何画面,只干一件事:记下这个世界里有什么、彼此什么关系、当下是什么时间、出了什么事。
论文用一条数学表达式来描述这个世界状态,写成Wt = (Gt, Bt, Et, ωt)。看着唬人,拆开来其实很直白。
实体图谱
记下世界里所有地点、角色、物体,还有它们的位置、外观和相互关系,比如“小车目前被角色Rowan占用着”这类信息。
角色与交互状态
记下每个角色此刻的意图、动作、情绪、需求,比如某个角色正在“生气”,或者“打算去买面包”。
活跃事件集
前者记录正在发生的事(比如一场争吵尚未结束),后者给出统一的时间参照,让所有角色共用同一条时间线。
这套设计的关键在于,**状态更新和画面生成完全分开**。DAO先依据用户或AI角色的动作,按预设规则更新世界状态——你推了一下购物车,车子位置变了,这个变化先记进账本;随后DAO从账本里摘出“你当前能看到的那部分”,转成JING能理解的条件,交给JING去生成画面。
这就像餐厅的后厨和前台分开干活。后厨(DAO)管食材库存、订单进度、谁点了什么菜,这些信息全店共享,是真实状态。前台服务员(JING)只管把后厨备好的菜端到对应桌上,不同桌的客人看到不同的菜,但菜都出自同一个后厨的真实库存。要是没有这种分离,每个服务员各记各的订单,厨房和服务员各算各的账,餐厅很快就乱套了,因为没有统一的“真相”可依。
这套机制到位以后,论文里给了一个挺鲜活的实验。Rowan和Eli两个AI角色闹了场误会:Rowan挪手推车,本意只是把堵住的巷道清开,Eli瞧见散落的包裹,认定对方成心捣乱,两个人就吵了起来。其间Nori只看到了一部分经过,Clara站出来替Eli说话,最后还是靠现场痕迹和目击证据,大家才搞明白Rowan没有恶意,握手言和。
从头到尾,没有任何用户输入去触发,全是AI角色凭自己的记忆、局部观察和世界规则自己演化出来的。
也就是说,DAO里的角色并非干等着指令的NPC。它们有自己的行动逻辑,会拿局部信息做出误判,也能靠后续证据把判断修正过来,是"活"的存在。这背后牵出一个更深的问题:一个值得长期停留的虚拟世界,居民不该只是你的指令执行器,它们得有自己的生活。
另一个实验更能说明DAO的价值。研究者设了个"离开再返回"的场景:角色点着一张餐巾纸,然后走出面包店。没有DAO的话,等角色回来,画面里餐巾纸还在烧,压根没人介入处理。接上DAO之后,服务员趁角色不在场自己把火扑灭了,角色回来看到的是已经处理过的场面。
这个对比揭示的其实是"世界是否真的在独立演化"。没有DAO,所谓的"世界"只在你盯着它的那一刻才存在,你一转身它就冻住了。有了DAO,世界在你看不见的地方照样按自己的逻辑往下走。有点像薛定谔的猫,只不过DAO要做的恰恰是打破"不观测就不存在"那个假设,让世界在无人观测的角落也保持真实。
JING:把世界状态变成你能看见的画面
说完DAO,再来看JING。
JING全称是"第一人称交互体验模型",是基于一个叫
论文里写出的公式是:生成到第k步时,模型会依据参考图像R、文本指令pk、相机轨迹Ck以及前面的历史H<k,去预测下一段视频和音频的隐变量。
自回归生成
它并非一次性把整段视频生成出来。模型每产出一个小片段,就把它并入历史,再拿更新后的历史去生成下一段,一段接一段往前推,类似接龙。
这里有个挺实际的工程问题。要撑住持续不断的流式生成,模型不能等你把输入全给齐了再算,得边走边生成,边生成边把新内容塞回历史里继续往下推。论文提到,他们把原本的时间分块方式从(5,5,...,2)重排成(2,5,5,...),让生成边界和视频解码器的重叠解码窗口对齐,新生成的片段就能增量式解码出来,不必等整段生成完才显示。
这好比直播和录播的差别。录播可以提前把整段内容备好,再一次性上传播放;直播却必须"边录边播",每一小段一产生就得立刻让观众看到,不能等节目结束再打包发。JING要是不做这种分块对齐,用户每次操作后都得等上很久才有反馈,交互感直接就崩了。
JING还有个很巧的设计,叫相机条件编码。你动鼠标键盘改视角的时候,相邻两帧之间的相对位移和旋转会被编码成一个六维的运动表示,再通过一种叫FiLM的调制方式,把这份运动信息"注入"视频生成的隐藏状态里。
FiLM(特征线性调制)
这是一类让额外信息(此处指相机运动)作用于神经网络内部运算的方法:对隐藏特征做缩放和平移,把控制信号掺进生成过程,整个网络结构不用重新设计。
这套机制只作用于视频相关的token,文本和音频token不受直接调制,但它们会通过共享的注意力机制间接交换信息。好处在于,相机控制能当一个轻量级的"插件"挂到预训练好的模型上,不用把整个模型推倒重来。
说到长期记忆,JING还设计了一套"
论文的具体做法是:每生成完一个片段,就从中抽出若干紧凑的“查询”和“键”描述符,存进档案库。到生成下一段时,模型用最近一段的查询描述符与档案库中的历史片段逐一打分匹配,把最相关的那些“记忆”挑出来,重新投入当前生成计算。
这跟整理相册有点像。手机里存着一万张照片,你翻相册时不会每次都从头看一遍,而是凭某种印象(比如“去年夏天那次旅行”)直接调出对应的那几张。缺少这种检索机制,模型就只剩两条路:要么只记得最近几秒钟的内容,更早的场景细节很快被忘掉,场景前后对不上;要么把全部历史都塞进计算,代价高到无法实时运行。记忆检索机制等于在“全记住”和“全忘记”之间给出一个可控的折中点。
为了让这套系统实时跑起来,JING还走了一套相当细致的五阶段训练流程:先训练一个双向的“教师模型”掌握相机控制,再训练一个因果自回归的“学生模型”,让它适应边生成边依赖自身生成历史的模式,随后引入长期记忆机制,最后用两种蒸馏技术(
扩散蒸馏
这类训练技巧让生成模型用更少的计算步骤,产出接近原模型质量的结果,通常的做法是让一个“学生”模型去模仿“教师”模型多步生成的最终效果。
压到4步之后,效果损失了多少?论文给出了实际的评测数据,我们接下来就看看。
数据说话:压缩4倍速度,质量掉了多少
XGEN团队在一个叫
| 排名 | 模型 | 平均分 | 视频质量 | 设定遵循 | 交互遵循 | 一致性 | 物理合理性 ||---|---|---|---|---|---|---|---|| 1 | JING(双向版) | **81.0** | 80.9 | 88.5 | 76.7 | 85.7 | 73.3 || 2 | JING(4步自回归版) | 79.9 | 79.8 | 88.9 | **79.5** | 81.4 | 69.9 |
| 3 |
| 4 |
| 5 |
完整评测集包含289个测试案例,JING的双向版本在15个参赛模型中排第一。经过4步蒸馏压缩的快速版本只掉了1.1分,仍然排在第二。
这个分数背后是什么?原先生成一帧画面要做几十步扩散计算,如今压到4步,算力省下几倍,画质却看不出明显退步。交互式体验吃的就是这一点——按下键要等好几秒才有反应,那叫假交互,沉浸感无从谈起。
导航类评测共有39个参赛模型,JING双向版位列第二,排在前面的只有一个叫
论文还给出一批定性案例:沙漠古城探索、龙焰点燃柴堆、用中文日语英语和角色对话、家用机器人取球喂狗。其中一组叫"分支体验"的实验挺有意思——同一个喷泉场景,指令不同,一个让你低头看水里的硬币,一个让你把硬币扔进水里,一个让你请求见一个精灵,三条路从同一起点走向完全不同的发展。可见JING不是机械地续画面,而是按你的意图去塑造接下来发生的事。
写在后面
读完这篇报告,让我觉得最有意思的不是JING画面有多逼真,而是DAO和JING之间"状态与渲染分离"的思路,这跟传统游戏引擎的架构像得出奇。传统3D游戏早就这么干:逻辑引擎管物理和碰撞,渲染引擎出画面,各管一摊。区别在于,以前渲染引擎画的是预先建好模的3D场景,现在这一块整个换成了生成式AI模型,用自然语言加参考图像就能定义任意风格的世界。
这其实指向一件事:将来的"游戏开发"或许真不用建模师一笔一笔搭场景,而是"定义规则 + 描述世界 + 让AI去渲染"。DAO那套实体图谱加交互规则的设计,说到底就是一个极简版的游戏规则引擎。
论文里"角色自主产生误会又自主和解"的实验,我反复看了好几遍。**这不是预先写好的剧情脚本,而是角色基于局部信息做判断、犯错、再修正的过程。**允许AI角色犯错、再靠后续证据自我纠正,这种设计比让AI角色"永远正确"难得多,也真实得多。一个永远不会误解你的NPC是无趣的;会因为信息不全而误判、看到证据后又改变态度的NPC,才像活在那个世界里的"人"。
没解决的问题也很明显。延迟仍是瓶颈,长期记忆的容量和检索精度还有提升空间,DAO目前展示的场景规模也都偏小,无非几个角色几个物体在互动。放到有成百上千个角色、连续运行数月的世界里,状态管理的复杂度会不会指数级爆炸?这个问题没有答案,但确实值得继续追问。
Q&A
Q1:XGEN的DAO和JING分别是做什么的?
A:DAO是计算式世界引擎,维护角色、物体、场景之间的状态关系,按规则推演世界演化;JING是第一人称交互体验模型,把DAO给出的世界状态转成用户能看到听到的第一人称音视频画面。
Q2:JING生成速度慢吗,实时交互能跟上吗?
A:原版JING经蒸馏压缩后,只需4步去噪就能出画面。在WBench评测中,它比未压缩的双向版本只低1.1分,排名仍是第二,适合实时交互场景。
Q3:XGEN的世界会不会在用户离开后自动演化?
A:会。论文实验显示,DAO支持AI角色在用户视野之外自主行动——用户离开时点燃的火焰,服务员会在其不在场时自行扑灭,用户返回后看到的是已经处理过的状态。