CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」
给世界模型装上「生成式显卡」!Code World Model 2.0实现30...
造出一个世界不算难,难的是这个世界肯不肯「听话」。
Google DeepMind 前阵子推出 Genie 4,交互式世界模型又往前走了一步。用户拿键盘或鼠标就能操控角色在场景里探索,输入提示词还能换掉环境,不少人看完直接喊出「游戏引擎已死」。
可真用起来才发现,体验跟预期之间还差着一截。
所谓「听话」,至少要满足两点:控制精度得够,用户下达的操作指令要能被准确执行;时序一致性也得有,世界不断变化的同时,物体的身份、外观和状态要保持稳定。
说白了,该变的变,不该变的不变。
AI 既然已经能生成一个可探索的世界,那怎么做到精准控制,又让它在持续交互里稳住,就成了世界模型的一道重要考题。
近日,蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0)。其核心视觉引擎 Invoker-Render 能接收结构化 Proxy,把场景布局、物体运动和镜头变化转成连续的高保真画面。
-
GitHub:https://github.com/inclusionAI/CodeWorldModel
-
hf地址:https://huggingface.co/inclusionAI/invoker-render-1.0
-
主页地址:https://www.inclusion-ai.org/CodeWorldModel/
一段赛车演示把这种控制思路的好处摆得很清楚。
输入端是低模赛车 Proxy,画面右下角同步显示真实的手柄操作。测试者拨动摇杆,Proxy 里的车辆转向,主画面中那台白色赛车也跟着同步转向。团队还放出一段 30 分钟的赛车演示,全程没有中途切镜,也没有重置,说明模型能在长时间连续生成中稳住画面,并让主体保持一致。
几根简单线框,怎么就能驱动一个逼真的世界?又怎么让这个世界在连续半小时的生成里,始终保持物体外观和场景结构不走样?CWM 2.0 的回答是 Invoker-Render。
这套生成式渲染引擎能理解不同粒度的 Proxy,从简单几何到精细骨架都包括在内,从而对场景、物体和镜头实现精准控制;同时,它借助 ProForcing 训练方法提升长时流式生成的稳定性。说到底,就是代码管世界,生成模型管画面。
眼下,一类主流交互式世界模型走的是端到端生成路线:用户给出操作,模型直接预测并生成后续画面,不必另外搭建复杂的世界程序。问题是,交互一复杂,模型就得同时扛两件事:一边像物理引擎那样维护物体状态、运动轨迹和交互规则,一边像图形渲染器那样合成逼真的材质、纹理和光照。这样一来,精准控制和修改世界规则的难度都上去了。
另一种思路是把世界状态管理和视觉生成拆开。代码负责定义物体、运动规则和摄影机路径,再把这些信息转成结构化 Proxy,交给生成模型完成视觉呈现。代码给出明确、可修改的控制条件,生成模型补上材质、光影和局部细节,世界状态与视觉表现就此分工。
其实早在 CWM 1.0 阶段,团队就已经把世界状态管理交给代码、把视觉呈现交给生成模型来分工。到了 CWM 2.0,生成式渲染这一环被进一步补全。基于 MiniMax-H3 基座,他们搭出了两种互补的 Invoker-Render 模型,二者共用同一套输入接口——结构 Proxy、外观参考图和文本条件。
其中一种是双向创作模型。它能读取完整的 Proxy 序列,借助前后文信息生成画面,适合离线视频创作和复杂运镜调整。举个例子,创作者可以先规划好一整段镜头运动,再让模型按结构条件把对应画面生成出来。
另一种是因果四步流式模型。它看不到尚未发生的操作,只能逐块接收新的 Proxy,并结合此前生成的画面持续往后生成内容。实时交互这类场景,更适合用它。
不过,这套分工要真正跑起来,下游渲染器还得解决两个问题:一是理解不同精度的结构输入,二是在连续生成中把画面稳住。
从几根线框到精细骨架,世界模型的精确控制该怎么实现?
Proxy 是上游世界程序与下游生成模型之间的关键一环。场景布局、物体位置、朝向、运动轨迹和摄影机变化,它都能记录下来;但最终画面的材质、纹理和光照信息,并不需要它完整包含。
问题在于,不同交互场景对结构信息的需求并不一样。比如赛车场景,如果只要控制车辆沿道路行驶,几个简单的三维框就足以描述汽车的位置和朝向。这种 Proxy 构建成本低,传输也更轻量。
可要是场景换成人物格斗,光知道人物整体移动到哪儿就不够了。手臂、腿部和身体各个关节怎么动,模型都得知道,才能准确还原出对应的动作。
同一个模型,怎么才能同时理解粗略结构和精细约束?Invoker-Render 的办法,是把不同粒度的结构控制能力统一到同一套模型里。
五类 Proxy 被收进同一套生成模型里。
展开说,Invoker-Render 认的结构表示一共有五类:
-
语义图(Semantic Map)
-
稀疏三维框(Sparse 3D Boxes)
-
主体掩码(Subject Mask)
-
带明暗的几何体(Shaded Geometry)
-
三维框与骨架(Boxes + Skeletons)
上图列出的就是 Invoker-Render 支持的五类 Proxy 表示,同一场景下从粗到细的几何控制效果也在其中。
不止能接不同种类的 Proxy,同一种表示内部的不同几何精度,Invoker-Render 同样能适应。
输入简单的人体结构时,迈步、摆臂这类局部动作由模型自行补全;骨架信息给得更细,模型就会照着具体的关节姿态走,动作控制随之更严格。
为了让模型读懂不同精度的结构输入,团队搭了约 200 小时的多粒度对齐数据:约 150 小时是自采的三维交互和驾驶序列,剩下约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集。
做法是场景重建加物体运动恢复,从同一场景里抽出不同精度的 Proxy,再跟对应的真实视频配成对,模型借此学会在不同结构约束下生成画面。
事件不变,镜头一换,画面就跟着变
物体和动作之外,摄影机也是世界模型必须控制的一块。
海岸隧道追逐那组演示里,同一场景、同一事件可以走出不同的摄影机路线。模型按输入的 Proxy,分别生成各视角下的连续画面。
模型在同一场景下能走出不同的摄影机路线。Orbit 环绕拍摄与 Crane Up 升降拍摄各有一组示例,镜头怎么动,由模型控制。
这说明 Proxy 的作用不止于描述场景和物体。主体怎么运动、摄影机走哪条路,它都能写清楚,镜头、动作和场景布局也因此控得更准。
连续生成 30 分钟,
赛车为什么没有中途变样?
多粒度 Proxy 管的是「如何控制」。ProForcing 要回答的则是「如何持续生成」。
实时流式生成和普通视频生成有个重要差别:模型看不到完整视频,只能一边接收新输入,一边逐块往下生成。
每生成完一块,这一块就成了下一块的历史上下文。麻烦也跟着来——前面画面要是已经带了误差,后面很可能接着继承。
比如最初生成的红色汽车只是颜色稍微偏了一点。模型不断读取自己生成的历史,色差可能越积越大,最后变成另一种颜色。纹理、光照、物体结构也会出现类似变化。
要解决这个问题,模型得学会快速生成,还得学会在自身历史有误差时把画面质量维持住。
ProForcing:长时生成被拆成三个训练阶段
团队为此提出 Progressive Forcing(ProForcing)渐进式训练方法,拆成三个阶段:因果适应、少步蒸馏和长序列自生成训练。
第一阶段把 Teacher Forcing(TF)和 Resampling Forcing(RF)结合起来。前者拿真实视频历史当上下文,后者引入一定程度的 重建误差,让模型慢慢适应不完美的历史信息。
第二阶段用 RF-DMD 把生成过程蒸馏为四步。少步生成容易出现细节损失、画面过度平滑,团队再叠加 GAN 对抗监督来改善。
到了第三阶段,训练方式换成 SF-DMD(Self-Forcing DMD),模型在自己连续生成出来的历史上接着练。学生模型、Fake Score 模型、判别器,连同各自的优化器状态和 EMA 权重,也都一并带到这个阶段,用来稳住训练。
上图对比的是几种流式生成模型的训练路线。ProForcing 走的是 TF→RF、RF-DMD+GAN 再到 SF-DMD+GAN 这条路,依次完成因果适应、少步生成蒸馏和长序列自生成训练。
30 分钟一镜到底,长时稳定性摆上台面
再回头看开头那段赛车演示:车一直在赛道上跑,车身外观、道路结构、环境光照在长时间生成里都没有明显跑偏。
Tech Report 里还放了两组约 5 分钟的赛车序列做对比,时长分别是 298 秒和 299 秒。这两组序列中,Invoker-Render 能一直跟着输入轨迹走,车辆外观也保持住了。
两组长时赛车序列的关键帧对比图,生成时长分别为 298 秒和 299 秒。
团队另外展示的那段完整赛车演示,把连续生成时间拉到了 30 分钟。
从几秒的生成演示,到几分钟的连续运行,再到半小时一镜到底,CWM 2.0 在长时间流式生成中维持住了场景结构和主体外观的一致性。
从模型到推理系统,
怎样让「生成式显卡」一直跑下去?
模型训练之外,实时流式生成还得有一套能长期跑起来的推理系统支撑。就算模型已经能用四步生成一个视频块,只要每次推理都要把大量历史信息重新算一遍,编码、生成、解码三个环节又只能排队依次走,整体效率照样上不去。
这回 CWM 2.0 交出的不只是一套模型。随报告一起放出来的,还有基于 SGLang 与 SGLang-Omni 搭建的单机八卡流式推理引擎。
围绕连续推理,团队做了几项工程层面的优化。
第一项是结构化块因果掩码。每个视频块的主干前向调用由此从六次压到四次,调用开销降低约三分之一。常规流式推理在四步去噪之外,还要单独做上一块历史上下文的提交,以及下一块 Proxy 条件的预填充;有了这套掩码,历史提交、条件预填充和第一步去噪被合进同一次前向计算,剩下的三次前向负责后续去噪。
第二项是缓存复用。团队用常驻外观参考锚点、持久化 KV 缓冲区和零拷贝滑动窗口,把关键历史信息留在显存里反复使用,同时管住不断变长的历史窗口,重复计算和数据搬运都随之减少。
第三项是八卡流水线调度。在这套系统里,Proxy 编码、视频生成和视频解码不再完全串行等待:模型生成当前视频块的同时,系统可以并行准备下一块的 Proxy,并对上一块的生成结果做解码。各计算阶段靠流水线调度重叠执行,等待时间被压了下来。
CWM 2.0 八卡流式推理架构示意。历史上下文通过 KV Cache 复用,配合流水线调度,Proxy 编码、模型生成与视频解码得以部分并行。
除了模型权重,配套代码仓库里还有WebSocket会话服务、文件推理客户端,以及一个能用手柄操作的浏览器前端。
换句话说,开发者拿到的是一整套东西:模型权重之外,还有配套的流式推理实现和交互工具。体验和部署这套技术的门槛,也因此降了下来。
140 组流式评测,四项指标全部第一
团队安排了 140 组留出测试序列,把 Invoker-Render 和三款近期流式渲染模型放在一起比。
测试覆盖了不同三维环境、多主体交互,以及不同的 Proxy 表示方式。评测方式是让 Gemini 3.8 Flash 做匿名两两比较,再用 Bradley–Terry 模型拟合出 Elo 分数。
维度一共四个:画面质量、结构与运动、参考外观保持、综合偏好。
结果 Invoker-Render 四项都排在第一:
● 画面质量 Elo:1336.4
● 结构与运动 Elo:1309.0
● 参考外观保持 Elo:1214.1
● 综合偏好 Elo:1343.2
和三种流式渲染基线逐一对比,Invoker-Render 的综合偏好都更高,胜率分别是 92.9%、82.9% 和 62.9%。碰上其中最能打的 Other Work-3,综合偏好 Elo 也高出 97.9 分。
七组流式生成对比里,其他方法都出现了明显的结构和外观漂移。
留出序列的七组流式生成对比里,Invoker-Render 在主体外观、场景结构、运动表现上都更贴近参考画面,其他方法的差距则一眼可见。
水下场景就是一个例子:别的方法生成的环境慢慢偏离原本的礁石,最后甚至成了明亮的天空。奔跑的鹿丢了鹿角,带翅膀的角色没了翅膀,鲜红的跑车也一点点褪成米白色。还有些场景里道路纹理明显退化,整片区域逐渐变黑。
这些现象指向同一个问题:流式世界渲染得同时守住几重约束,物体运动要跟着结构输入走,主体在不同时刻还得保持原来的样子。
世界模型进入可编程时代
一旦世界模型不光能生成,还能被精确控制、反复修改,它面对的就不只是产出一段供人观看的画面,而有机会变成新的创作与交互空间。
Akina 赛车演示里,用户用手柄改变车辆运动状态,左下角的 Proxy 跟着变,主画面同步给出车辆转向和赛道环境的变化。游戏原型、交互式虚拟环境等场景因此多了一种实现思路:开发者不必把所有视觉细节都压在传统图形管线上,也可以把结构化控制和生成式渲染搭在一起用。
影视创作是另一个值得关注的方向。赛车超车的双镜头演示中,创作者调整摄影机路径,就能生成同一事件的不同视角画面,镜头预演和分镜设计由此多了一件新工具。
CWM 1.0 提出 Coding Agent as World Brain,CWM 2.0 又进一步完善了生成式渲染能力,这条路线正一步步补上从世界构建、规则控制到实时视觉呈现的关键环节。
往后看,世界模型或许不再只是凭一句提示词生成一段视频,而是一个能用代码定义规则、靠交互改变状态、再由生成模型持续呈现的世界。让生成的世界真正「听话」,正从技术设想一点点走向现实。