世界模型记不住你?XGEN用DAO给AI世界装了个账本

资讯 腾讯网 作者:科技行者 全文 5120 字 · 约 13 分钟读完 分类世界模型视频生成

你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就...

所属频道 模型发布视频图像生成

你玩过这种游戏吗:離開一个场景去做别的事,再回来时发现一切都回到了原点,好像你从没来过。篝火还燃着,倒在地上的花瓶自己归了位,跟NPC聊过的话他也全忘了。

这其实是眼下几乎所有AI视频生成类“世界模型”的通病。画面能生成得很逼真,可它们没有记忆,也没有持续演化的状态。你一转过头,世界就把你忘了。

XGEN团队这次发布的技术报告,要解决的正是这个问题。他们提出的一个叫“

下面就把这套系统拆开看看,它究竟怎么做到“让AI生成的世界真正记住你”。

难点在哪里

先说说为什么这件事棘手。

视频生成模型这几年跑得很快。

**不过这类系统有个通病:只盯着“生成下一帧”,不负责“记住之前发生过什么”。**

打个比方,你请了一位画家,每次描述一个场景他都能当场画出来,又快又好。可你让他画昨天去过的咖啡馆,他完全不记得昨天画了什么,只能照你现在的描述重新想一个咖啡馆。假如昨天你在那家店点了一支蜡烛,今天再去,画家不知道蜡烛还在不在烧,因为他心里根本没有“昨天”。

单人单次体验时,这个问题不算明显;一旦涉及**多个角色共存、世界长期演化、观察者离开又回来**,就彻底兜不住了。设想一个多人共享的虚拟世界,角色A在你看不到的地方做了一件事,这件事理应影响后面的场景。系统要是没有一份独立于任何单次生成之外的“世界状态”,这种跨时间、跨视角的因果就维持不下去。

游戏驯世界模拟

指的是能根据玩家操作持续生成后续游戏画面的AI系统,例如

论文提到,以往研究大致有几条路线:有的主攻相机控制(比如

XGEN团队的办法是把问题切成两半。一半交给

DAO:为虚拟世界记一本账

先讲DAO。

可以把DAO看作“世界的账本管理员”。它不生成任何画面,只干一件事:记下这个世界里有什么、彼此什么关系、当下是什么时间、出了什么事。

论文用一条数学表达式来描述这个世界状态,写成Wt = (Gt, Bt, Et, ωt)。看着唬人,拆开来其实很直白。

实体图谱

记下世界里所有地点、角色、物体,还有它们的位置、外观和相互关系,比如“小车目前被角色Rowan占用着”这类信息。

角色与交互状态

记下每个角色此刻的意图、动作、情绪、需求,比如某个角色正在“生气”,或者“打算去买面包”。

活跃事件集

前者记录正在发生的事(比如一场争吵尚未结束),后者给出统一的时间参照,让所有角色共用同一条时间线。

这套设计的关键在于,**状态更新和画面生成完全分开**。DAO先依据用户或AI角色的动作,按预设规则更新世界状态——你推了一下购物车,车子位置变了,这个变化先记进账本;随后DAO从账本里摘出“你当前能看到的那部分”,转成JING能理解的条件,交给JING去生成画面。

这就像餐厅的后厨和前台分开干活。后厨(DAO)管食材库存、订单进度、谁点了什么菜,这些信息全店共享,是真实状态。前台服务员(JING)只管把后厨备好的菜端到对应桌上,不同桌的客人看到不同的菜,但菜都出自同一个后厨的真实库存。要是没有这种分离,每个服务员各记各的订单,厨房和服务员各算各的账,餐厅很快就乱套了,因为没有统一的“真相”可依。

这套机制到位以后,论文里给了一个挺鲜活的实验。Rowan和Eli两个AI角色闹了场误会:Rowan挪手推车,本意只是把堵住的巷道清开,Eli瞧见散落的包裹,认定对方成心捣乱,两个人就吵了起来。其间Nori只看到了一部分经过,Clara站出来替Eli说话,最后还是靠现场痕迹和目击证据,大家才搞明白Rowan没有恶意,握手言和。

从头到尾,没有任何用户输入去触发,全是AI角色凭自己的记忆、局部观察和世界规则自己演化出来的。

也就是说,DAO里的角色并非干等着指令的NPC。它们有自己的行动逻辑,会拿局部信息做出误判,也能靠后续证据把判断修正过来,是"活"的存在。这背后牵出一个更深的问题:一个值得长期停留的虚拟世界,居民不该只是你的指令执行器,它们得有自己的生活。

另一个实验更能说明DAO的价值。研究者设了个"离开再返回"的场景:角色点着一张餐巾纸,然后走出面包店。没有DAO的话,等角色回来,画面里餐巾纸还在烧,压根没人介入处理。接上DAO之后,服务员趁角色不在场自己把火扑灭了,角色回来看到的是已经处理过的场面。

这个对比揭示的其实是"世界是否真的在独立演化"。没有DAO,所谓的"世界"只在你盯着它的那一刻才存在,你一转身它就冻住了。有了DAO,世界在你看不见的地方照样按自己的逻辑往下走。有点像薛定谔的猫,只不过DAO要做的恰恰是打破"不观测就不存在"那个假设,让世界在无人观测的角落也保持真实。

JING:把世界状态变成你能看见的画面

说完DAO,再来看JING。

JING全称是"第一人称交互体验模型",是基于一个叫

论文里写出的公式是:生成到第k步时,模型会依据参考图像R、文本指令pk、相机轨迹Ck以及前面的历史H<k,去预测下一段视频和音频的隐变量。

自回归生成

它并非一次性把整段视频生成出来。模型每产出一个小片段,就把它并入历史,再拿更新后的历史去生成下一段,一段接一段往前推,类似接龙。

这里有个挺实际的工程问题。要撑住持续不断的流式生成,模型不能等你把输入全给齐了再算,得边走边生成,边生成边把新内容塞回历史里继续往下推。论文提到,他们把原本的时间分块方式从(5,5,...,2)重排成(2,5,5,...),让生成边界和视频解码器的重叠解码窗口对齐,新生成的片段就能增量式解码出来,不必等整段生成完才显示。

这好比直播和录播的差别。录播可以提前把整段内容备好,再一次性上传播放;直播却必须"边录边播",每一小段一产生就得立刻让观众看到,不能等节目结束再打包发。JING要是不做这种分块对齐,用户每次操作后都得等上很久才有反馈,交互感直接就崩了。

JING还有个很巧的设计,叫相机条件编码。你动鼠标键盘改视角的时候,相邻两帧之间的相对位移和旋转会被编码成一个六维的运动表示,再通过一种叫FiLM的调制方式,把这份运动信息"注入"视频生成的隐藏状态里。

FiLM(特征线性调制)

这是一类让额外信息(此处指相机运动)作用于神经网络内部运算的方法:对隐藏特征做缩放和平移,把控制信号掺进生成过程,整个网络结构不用重新设计。

这套机制只作用于视频相关的token,文本和音频token不受直接调制,但它们会通过共享的注意力机制间接交换信息。好处在于,相机控制能当一个轻量级的"插件"挂到预训练好的模型上,不用把整个模型推倒重来。

说到长期记忆,JING还设计了一套"

论文的具体做法是:每生成完一个片段,就从中抽出若干紧凑的“查询”和“键”描述符,存进档案库。到生成下一段时,模型用最近一段的查询描述符与档案库中的历史片段逐一打分匹配,把最相关的那些“记忆”挑出来,重新投入当前生成计算。

这跟整理相册有点像。手机里存着一万张照片,你翻相册时不会每次都从头看一遍,而是凭某种印象(比如“去年夏天那次旅行”)直接调出对应的那几张。缺少这种检索机制,模型就只剩两条路:要么只记得最近几秒钟的内容,更早的场景细节很快被忘掉,场景前后对不上;要么把全部历史都塞进计算,代价高到无法实时运行。记忆检索机制等于在“全记住”和“全忘记”之间给出一个可控的折中点。

为了让这套系统实时跑起来,JING还走了一套相当细致的五阶段训练流程:先训练一个双向的“教师模型”掌握相机控制,再训练一个因果自回归的“学生模型”,让它适应边生成边依赖自身生成历史的模式,随后引入长期记忆机制,最后用两种蒸馏技术(

扩散蒸馏

这类训练技巧让生成模型用更少的计算步骤,产出接近原模型质量的结果,通常的做法是让一个“学生”模型去模仿“教师”模型多步生成的最终效果。

压到4步之后,效果损失了多少?论文给出了实际的评测数据,我们接下来就看看。

数据说话:压缩4倍速度,质量掉了多少

XGEN团队在一个叫

| 排名 | 模型 | 平均分 | 视频质量 | 设定遵循 | 交互遵循 | 一致性 | 物理合理性 ||---|---|---|---|---|---|---|---|| 1 | JING(双向版) | **81.0** | 80.9 | 88.5 | 76.7 | 85.7 | 73.3 || 2 | JING(4步自回归版) | 79.9 | 79.8 | 88.9 | **79.5** | 81.4 | 69.9 |

| 3 |

| 4 |

| 5 |

完整评测集包含289个测试案例,JING的双向版本在15个参赛模型中排第一。经过4步蒸馏压缩的快速版本只掉了1.1分,仍然排在第二。

这个分数背后是什么?原先生成一帧画面要做几十步扩散计算,如今压到4步,算力省下几倍,画质却看不出明显退步。交互式体验吃的就是这一点——按下键要等好几秒才有反应,那叫假交互,沉浸感无从谈起。

导航类评测共有39个参赛模型,JING双向版位列第二,排在前面的只有一个叫

论文还给出一批定性案例:沙漠古城探索、龙焰点燃柴堆、用中文日语英语和角色对话、家用机器人取球喂狗。其中一组叫"分支体验"的实验挺有意思——同一个喷泉场景,指令不同,一个让你低头看水里的硬币,一个让你把硬币扔进水里,一个让你请求见一个精灵,三条路从同一起点走向完全不同的发展。可见JING不是机械地续画面,而是按你的意图去塑造接下来发生的事。

写在后面

读完这篇报告,让我觉得最有意思的不是JING画面有多逼真,而是DAO和JING之间"状态与渲染分离"的思路,这跟传统游戏引擎的架构像得出奇。传统3D游戏早就这么干:逻辑引擎管物理和碰撞,渲染引擎出画面,各管一摊。区别在于,以前渲染引擎画的是预先建好模的3D场景,现在这一块整个换成了生成式AI模型,用自然语言加参考图像就能定义任意风格的世界。

这其实指向一件事:将来的"游戏开发"或许真不用建模师一笔一笔搭场景,而是"定义规则 + 描述世界 + 让AI去渲染"。DAO那套实体图谱加交互规则的设计,说到底就是一个极简版的游戏规则引擎。

论文里"角色自主产生误会又自主和解"的实验,我反复看了好几遍。**这不是预先写好的剧情脚本,而是角色基于局部信息做判断、犯错、再修正的过程。**允许AI角色犯错、再靠后续证据自我纠正,这种设计比让AI角色"永远正确"难得多,也真实得多。一个永远不会误解你的NPC是无趣的;会因为信息不全而误判、看到证据后又改变态度的NPC,才像活在那个世界里的"人"。

没解决的问题也很明显。延迟仍是瓶颈,长期记忆的容量和检索精度还有提升空间,DAO目前展示的场景规模也都偏小,无非几个角色几个物体在互动。放到有成百上千个角色、连续运行数月的世界里,状态管理的复杂度会不会指数级爆炸?这个问题没有答案,但确实值得继续追问。

Q&A

Q1:XGEN的DAO和JING分别是做什么的?

A:DAO是计算式世界引擎,维护角色、物体、场景之间的状态关系,按规则推演世界演化;JING是第一人称交互体验模型,把DAO给出的世界状态转成用户能看到听到的第一人称音视频画面。

Q2:JING生成速度慢吗,实时交互能跟上吗?

A:原版JING经蒸馏压缩后,只需4步去噪就能出画面。在WBench评测中,它比未压缩的双向版本只低1.1分,排名仍是第二,适合实时交互场景。

Q3:XGEN的世界会不会在用户离开后自动演化?

A:会。论文实验显示,DAO支持AI角色在用户视野之外自主行动——用户离开时点燃的火焰,服务员会在其不在场时自行扑灭,用户返回后看到的是已经处理过的状态。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI生成视频音画为何总对不上?人大与微信团队给出评估新标准

    你有没有刷到过这样的AI生成视频:画面里一个女人在跑步机上跑步,可是声音响起的那一刻,她的脚步明明已经落地了,声音却慢了半拍才出来。或者更离谱的,一首歌正唱到高潮,镜头里歌手的嘴巴却纹丝不动,像个蜡像。这不是个别现象。2025年前后,AI视频生成技术突飞猛进,Veo、Kling、LTX这些模型已经能一口气生成带音效、.

    来源 腾讯网
  2. 对话 LiberAI 刘松铭:Astra 来袭,00 后物理 AI 创始人看到的胜率

    “有一件事我确实极致热爱,那就是创业本身。”文丨程曼祺 实习生王小淳编辑丨宋玮“清华、00 后、世界模型”,刘松铭完全踩中了这组火热一时的投资标签。他生于 2000 年,2024 年以 RDT-1B 具身模型崭露头角,2025 年底,他在博士三年级时创立 LiberAI,陆续拿到来自真格、红杉、美团龙珠、顺为等机构的

    来源 腾讯网
  3. 香港科技大学:AI游戏为何按一下慢半拍、再按又猛冲?

    想象你在玩一个AI生成的游戏,你按下"向前走",可是屏幕上的角色却像踩在果冻上一样,慢吞吞地挪了半步。你再按一次,这次它又冲出去老远。你心里犯嘀咕:这游戏是不是卡了?其实它没卡。这是一个更深层的问题:生成这个世界的AI模型,根本不知道"一秒钟"到底该往前走多远。这篇来自香港科技大学团队的论文,把这个问题起了个...

    来源 腾讯网
  4. 英伟达、百度、宇树等32个世界模型:物理AI如何完成感知决策行动?

    让机器人拿起一只杯子,它要解决的问题远比识别物体多:杯子在哪里,机械臂从哪个方向伸过去,夹爪什么时候合拢,移动过程中会不会碰到桌沿。无人车经过路口时,也要判断:如果现在加速,旁边的车和行人接下来会怎样行动。 这类需要在现实环境中感知、决策和行动的AI,通常被称为物理AI。人形机器人、自动驾驶汽车、机械臂和无人机,都是它

    来源 AI 行业观察
  5. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  6. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  7. 小米雷军:AI 是一个全新的时代,一定会带来非常多的商业机会

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。据新浪科技报道,小米集团创始人、董事长兼首席执行官雷军表示,过去四年,AI 大模型技术突飞猛进,给我们的生活和工作带来了巨大的变化。但 AI 能够落地的场景非常有限,能够真正

    来源 腾讯网
  8. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  9. AMD高管谈AI与超算:FP64精度不可替代,正与IBM推进试点

    IT之家 11 月 17 日消息,科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP

    来源 腾讯网
  10. 并购完成,李飞飞正式率队加入AMD,苏妈亲自欢迎

    这下真是王见王了! 旧金山的办公室里,「半导体女王」苏姿丰和「AI教母」李飞飞并肩坐在高脚凳上,面前是坐满一屋子正在鼓掌的World Labs员工。 当地时间11月16日,AMD正式宣布完成对World Labs的收购,这家由李飞飞联合创办的空间智能公司,从此彻底并入AMD。 官宣视频当中,苏姿丰穿着黑色连帽卫衣一边比

    来源 AI 行业观察
  11. 考拉悠然BWM-Forge:世界模型可编程,多任务多场景多视角复用

    可编程的世界模型,让具身世界生产规模化!多任务、多场景、多视角,具身视频生成走向规模化。实验室里,机械臂摇匀试剂;工厂里,机械狗巡检、转向、爬上台阶;市场里,人形机器人搬货上架;手术台上,灵巧手穿线打结......画面越丰富,越照出一个现实:机器人要走进千行百业,缺的不是模型,而是覆盖不同物体、不同空间、不同视角的交互

    来源 腾讯网
  12. 雷军:具身智能机器人产业机会远超汽车,AI融入物理世界空间有多大?

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。 雷军表示,当 AI 走向物理世界、与终端和各类应用场景

    来源 AI 行业观察
  13. 火山引擎宣布Seedance2.54K API全面开放,支持10-bit色深与样片模式

    11月16日,字节跳动旗下火山引擎宣布,Seedance2.54K视频生成模型的API全面开放,开发者与企业客户即日起可通过接口直接调用该模型,4K级视频生成能力由此进入规模化接入阶段。 据悉,火山引擎已于10月23日正式发布Seedance2.54K。官方称,该模型经专项训练,对人物表情、细微动作

    来源 AI 开发者社区
  14. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  15. AMD 高管:AI 不会取代超级计算机,高精度计算仍不可替代

    IT之家 11 月 17 日消息,科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP

    来源 AI 行业观察
  16. AMD高管:AI取代不了超算,FP64高精度计算仍长期不可缺

    科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP64 的高精度科学计算仍将长期存在

    来源 IT之家
  17. 世界模型是什么:物理常识人类96.4%,它57.5%

    画面越真,越容易让人以为它懂了物理。这个误会,现在有数字可查。这张图按四条追问排:它在预测什么、跟基础大模型差在哪一步、现在谁跑在前面、还差什么。第一块是全图的定义,后面三块都从它长出来。最值得看的是第四块左边。Meta FAIR 的 IntPhys 2 用一组违反直觉的视频测物理常识:物体不会凭空消失、不会变形、不会

    来源 腾讯网
  18. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  19. TOTO投600亿日元建厂:卖马桶的为何能给AI芯片供货?

    近日,TOTO宣布在福冈县丰前市新建一座半导体制造装置核心部件的量产工厂,投资约600亿日元,加上大分县中津市两座工厂约110亿日元的设备投资,合计约710亿日元。是不是很惊讶,怎么印象里做马桶的巨头TOTO怎么也开始跨界进军半导体了,可如果你在2026年的东京证券交易所随便扫一眼涨幅榜,会产生一种强烈的错觉:AI算力

    来源 腾讯网
  20. 字节跳动 Seedance 2.5 4K 视频生成模型 API 全面开放

    IT之家 11 月 16 日消息,字节跳动火山引擎官方今日宣布,Seedance 2.5 4K 的 API 全面开放,开发者与企业客户可通过接口调用该 4K 视频生成模型。 IT之家注意到,火山引擎于 10 月 23 日正式发布了 Seedance 2.5 4K,官方称通过专项训练,Seedance 2.5 4K 更充

    来源 AI 行业观察
向下滚动自动加载更多