CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」

资讯 AI 行业观察 全文 5835 字 · 约 15 分钟读完 配图 9 张 分类世界模型

给世界模型装上「生成式显卡」!Code World Model 2.0实现30...

所属频道 模型发布
CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 1)


造出一个世界不算难,难的是这个世界肯不肯「听话」。


Google DeepMind 前阵子推出 Genie 4,交互式世界模型又往前走了一步。用户拿键盘或鼠标就能操控角色在场景里探索,输入提示词还能换掉环境,不少人看完直接喊出「游戏引擎已死」。


可真用起来才发现,体验跟预期之间还差着一截。


所谓「听话」,至少要满足两点:控制精度得够,用户下达的操作指令要能被准确执行;时序一致性也得有,世界不断变化的同时,物体的身份、外观和状态要保持稳定。


说白了,该变的变,不该变的不变。


AI 既然已经能生成一个可探索的世界,那怎么做到精准控制,又让它在持续交互里稳住,就成了世界模型的一道重要考题。


近日,蚂蚁集团、西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0)。其核心视觉引擎 Invoker-Render 能接收结构化 Proxy,把场景布局、物体运动和镜头变化转成连续的高保真画面。


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 2)


  • GitHub:https://github.com/inclusionAI/CodeWorldModel

  • hf地址:https://huggingface.co/inclusionAI/invoker-render-1.0
  • 主页地址:https://www.inclusion-ai.org/CodeWorldModel/


一段赛车演示把这种控制思路的好处摆得很清楚。


输入端是低模赛车 Proxy,画面右下角同步显示真实的手柄操作。测试者拨动摇杆,Proxy 里的车辆转向,主画面中那台白色赛车也跟着同步转向。团队还放出一段 30 分钟的赛车演示,全程没有中途切镜,也没有重置,说明模型能在长时间连续生成中稳住画面,并让主体保持一致。




几根简单线框,怎么就能驱动一个逼真的世界?又怎么让这个世界在连续半小时的生成里,始终保持物体外观和场景结构不走样?CWM 2.0 的回答是 Invoker-Render。



这套生成式渲染引擎能理解不同粒度的 Proxy,从简单几何到精细骨架都包括在内,从而对场景、物体和镜头实现精准控制;同时,它借助 ProForcing 训练方法提升长时流式生成的稳定性。说到底,就是代码管世界,生成模型管画面。



眼下,一类主流交互式世界模型走的是端到端生成路线:用户给出操作,模型直接预测并生成后续画面,不必另外搭建复杂的世界程序。问题是,交互一复杂,模型就得同时扛两件事:一边像物理引擎那样维护物体状态、运动轨迹和交互规则,一边像图形渲染器那样合成逼真的材质、纹理和光照。这样一来,精准控制和修改世界规则的难度都上去了。



另一种思路是把世界状态管理和视觉生成拆开。代码负责定义物体、运动规则和摄影机路径,再把这些信息转成结构化 Proxy,交给生成模型完成视觉呈现。代码给出明确、可修改的控制条件,生成模型补上材质、光影和局部细节,世界状态与视觉表现就此分工。



其实早在 CWM 1.0 阶段,团队就已经把世界状态管理交给代码、把视觉呈现交给生成模型来分工。到了 CWM 2.0,生成式渲染这一环被进一步补全。基于 MiniMax-H3 基座,他们搭出了两种互补的 Invoker-Render 模型,二者共用同一套输入接口——结构 Proxy、外观参考图和文本条件。



其中一种是双向创作模型。它能读取完整的 Proxy 序列,借助前后文信息生成画面,适合离线视频创作和复杂运镜调整。举个例子,创作者可以先规划好一整段镜头运动,再让模型按结构条件把对应画面生成出来。


另一种是因果四步流式模型。它看不到尚未发生的操作,只能逐块接收新的 Proxy,并结合此前生成的画面持续往后生成内容。实时交互这类场景,更适合用它。


不过,这套分工要真正跑起来,下游渲染器还得解决两个问题:一是理解不同精度的结构输入,二是在连续生成中把画面稳住。


从几根线框到精细骨架,世界模型的精确控制该怎么实现?


Proxy 是上游世界程序与下游生成模型之间的关键一环。场景布局、物体位置、朝向、运动轨迹和摄影机变化,它都能记录下来;但最终画面的材质、纹理和光照信息,并不需要它完整包含。


问题在于,不同交互场景对结构信息的需求并不一样。比如赛车场景,如果只要控制车辆沿道路行驶,几个简单的三维框就足以描述汽车的位置和朝向。这种 Proxy 构建成本低,传输也更轻量。



可要是场景换成人物格斗,光知道人物整体移动到哪儿就不够了。手臂、腿部和身体各个关节怎么动,模型都得知道,才能准确还原出对应的动作。


同一个模型,怎么才能同时理解粗略结构和精细约束?Invoker-Render 的办法,是把不同粒度的结构控制能力统一到同一套模型里。



五类 Proxy 被收进同一套生成模型里。


展开说,Invoker-Render 认的结构表示一共有五类:

  • 语义图(Semantic Map)

  • 稀疏三维框(Sparse 3D Boxes)

  • 主体掩码(Subject Mask)

  • 带明暗的几何体(Shaded Geometry)

  • 三维框与骨架(Boxes + Skeletons)


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 3)

上图列出的就是 Invoker-Render 支持的五类 Proxy 表示,同一场景下从粗到细的几何控制效果也在其中。


不止能接不同种类的 Proxy,同一种表示内部的不同几何精度,Invoker-Render 同样能适应。


输入简单的人体结构时,迈步、摆臂这类局部动作由模型自行补全;骨架信息给得更细,模型就会照着具体的关节姿态走,动作控制随之更严格。


为了让模型读懂不同精度的结构输入,团队搭了约 200 小时的多粒度对齐数据:约 150 小时是自采的三维交互和驾驶序列,剩下约 50 小时来自 OmniWorld-Game、Magpie、CARLA、Virtual KITTI 2 等公开数据集。


做法是场景重建加物体运动恢复,从同一场景里抽出不同精度的 Proxy,再跟对应的真实视频配成对,模型借此学会在不同结构约束下生成画面。


事件不变,镜头一换,画面就跟着变


物体和动作之外,摄影机也是世界模型必须控制的一块。


海岸隧道追逐那组演示里,同一场景、同一事件可以走出不同的摄影机路线。模型按输入的 Proxy,分别生成各视角下的连续画面。



CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 4)

模型在同一场景下能走出不同的摄影机路线。Orbit 环绕拍摄与 Crane Up 升降拍摄各有一组示例,镜头怎么动,由模型控制。


这说明 Proxy 的作用不止于描述场景和物体。主体怎么运动、摄影机走哪条路,它都能写清楚,镜头、动作和场景布局也因此控得更准。


连续生成 30 分钟,

赛车为什么没有中途变样?


多粒度 Proxy 管的是「如何控制」。ProForcing 要回答的则是「如何持续生成」。


实时流式生成和普通视频生成有个重要差别:模型看不到完整视频,只能一边接收新输入,一边逐块往下生成。


每生成完一块,这一块就成了下一块的历史上下文。麻烦也跟着来——前面画面要是已经带了误差,后面很可能接着继承。


比如最初生成的红色汽车只是颜色稍微偏了一点。模型不断读取自己生成的历史,色差可能越积越大,最后变成另一种颜色。纹理、光照、物体结构也会出现类似变化。


要解决这个问题,模型得学会快速生成,还得学会在自身历史有误差时把画面质量维持住。


ProForcing:长时生成被拆成三个训练阶段


团队为此提出 Progressive Forcing(ProForcing)渐进式训练方法,拆成三个阶段:因果适应、少步蒸馏和长序列自生成训练。


第一阶段把 Teacher Forcing(TF)和 Resampling Forcing(RF)结合起来。前者拿真实视频历史当上下文,后者引入一定程度的 重建误差,让模型慢慢适应不完美的历史信息。


第二阶段用 RF-DMD 把生成过程蒸馏为四步。少步生成容易出现细节损失、画面过度平滑,团队再叠加 GAN 对抗监督来改善。


到了第三阶段,训练方式换成 SF-DMD(Self-Forcing DMD),模型在自己连续生成出来的历史上接着练。学生模型、Fake Score 模型、判别器,连同各自的优化器状态和 EMA 权重,也都一并带到这个阶段,用来稳住训练。


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 5)

上图对比的是几种流式生成模型的训练路线。ProForcing 走的是 TF→RF、RF-DMD+GAN 再到 SF-DMD+GAN 这条路,依次完成因果适应、少步生成蒸馏和长序列自生成训练。


30 分钟一镜到底,长时稳定性摆上台面


再回头看开头那段赛车演示:车一直在赛道上跑,车身外观、道路结构、环境光照在长时间生成里都没有明显跑偏。


Tech Report 里还放了两组约 5 分钟的赛车序列做对比,时长分别是 298 秒和 299 秒。这两组序列中,Invoker-Render 能一直跟着输入轨迹走,车辆外观也保持住了。


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 6)

两组长时赛车序列的关键帧对比图,生成时长分别为 298 秒和 299 秒。


团队另外展示的那段完整赛车演示,把连续生成时间拉到了 30 分钟。



从几秒的生成演示,到几分钟的连续运行,再到半小时一镜到底,CWM 2.0 在长时间流式生成中维持住了场景结构和主体外观的一致性。


从模型到推理系统,

怎样让「生成式显卡」一直跑下去?


模型训练之外,实时流式生成还得有一套能长期跑起来的推理系统支撑。就算模型已经能用四步生成一个视频块,只要每次推理都要把大量历史信息重新算一遍,编码、生成、解码三个环节又只能排队依次走,整体效率照样上不去。



这回 CWM 2.0 交出的不只是一套模型。随报告一起放出来的,还有基于 SGLang 与 SGLang-Omni 搭建的单机八卡流式推理引擎。


围绕连续推理,团队做了几项工程层面的优化。


第一项是结构化块因果掩码。每个视频块的主干前向调用由此从六次压到四次,调用开销降低约三分之一。常规流式推理在四步去噪之外,还要单独做上一块历史上下文的提交,以及下一块 Proxy 条件的预填充;有了这套掩码,历史提交、条件预填充和第一步去噪被合进同一次前向计算,剩下的三次前向负责后续去噪。



第二项是缓存复用。团队用常驻外观参考锚点、持久化 KV 缓冲区和零拷贝滑动窗口,把关键历史信息留在显存里反复使用,同时管住不断变长的历史窗口,重复计算和数据搬运都随之减少。



第三项是八卡流水线调度。在这套系统里,Proxy 编码、视频生成和视频解码不再完全串行等待:模型生成当前视频块的同时,系统可以并行准备下一块的 Proxy,并对上一块的生成结果做解码。各计算阶段靠流水线调度重叠执行,等待时间被压了下来。



CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 7)

CWM 2.0 八卡流式推理架构示意。历史上下文通过 KV Cache 复用,配合流水线调度,Proxy 编码、模型生成与视频解码得以部分并行。


除了模型权重,配套代码仓库里还有WebSocket会话服务、文件推理客户端,以及一个能用手柄操作的浏览器前端。


换句话说,开发者拿到的是一整套东西:模型权重之外,还有配套的流式推理实现和交互工具。体验和部署这套技术的门槛,也因此降了下来。


140 组流式评测,四项指标全部第一


团队安排了 140 组留出测试序列,把 Invoker-Render 和三款近期流式渲染模型放在一起比。


测试覆盖了不同三维环境、多主体交互,以及不同的 Proxy 表示方式。评测方式是让 Gemini 3.8 Flash 做匿名两两比较,再用 Bradley–Terry 模型拟合出 Elo 分数。


维度一共四个:画面质量、结构与运动、参考外观保持、综合偏好。


结果 Invoker-Render 四项都排在第一:

● 画面质量 Elo:1336.4

● 结构与运动 Elo:1309.0

● 参考外观保持 Elo:1214.1

● 综合偏好 Elo:1343.2


和三种流式渲染基线逐一对比,Invoker-Render 的综合偏好都更高,胜率分别是 92.9%、82.9% 和 62.9%。碰上其中最能打的 Other Work-3,综合偏好 Elo 也高出 97.9 分。


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 8)


七组流式生成对比里,其他方法都出现了明显的结构和外观漂移。


CWM 2.0联合发布:视觉引擎Invoker-Render让世界模型学会「听话」(配图 9)

留出序列的七组流式生成对比里,Invoker-Render 在主体外观、场景结构、运动表现上都更贴近参考画面,其他方法的差距则一眼可见。


水下场景就是一个例子:别的方法生成的环境慢慢偏离原本的礁石,最后甚至成了明亮的天空。奔跑的鹿丢了鹿角,带翅膀的角色没了翅膀,鲜红的跑车也一点点褪成米白色。还有些场景里道路纹理明显退化,整片区域逐渐变黑。


这些现象指向同一个问题:流式世界渲染得同时守住几重约束,物体运动要跟着结构输入走,主体在不同时刻还得保持原来的样子。


世界模型进入可编程时代


一旦世界模型不光能生成,还能被精确控制、反复修改,它面对的就不只是产出一段供人观看的画面,而有机会变成新的创作与交互空间。


Akina 赛车演示里,用户用手柄改变车辆运动状态,左下角的 Proxy 跟着变,主画面同步给出车辆转向和赛道环境的变化。游戏原型、交互式虚拟环境等场景因此多了一种实现思路:开发者不必把所有视觉细节都压在传统图形管线上,也可以把结构化控制和生成式渲染搭在一起用。


影视创作是另一个值得关注的方向。赛车超车的双镜头演示中,创作者调整摄影机路径,就能生成同一事件的不同视角画面,镜头预演和分镜设计由此多了一件新工具。



CWM 1.0 提出 Coding Agent as World Brain,CWM 2.0 又进一步完善了生成式渲染能力,这条路线正一步步补上从世界构建、规则控制到实时视觉呈现的关键环节。


往后看,世界模型或许不再只是凭一句提示词生成一段视频,而是一个能用代码定义规则、靠交互改变状态、再由生成模型持续呈现的世界。让生成的世界真正「听话」,正从技术设想一点点走向现实。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌Genie 4开放:Project Genie升级,单次探索最长3分钟

    IT之家 11 月 19 日消息,今年早些时候,谷歌推出了实验性研究原型 Project Genie,可让用户生成并探索交互式虚拟世界。早期测试用户反馈,希望能对世界内发生的内容有更强控制力,同时拥有更便捷的建造、分享方式。如今,谷歌面向符合资格的 Google AI Ultra 订阅用户推出全新 Project Ge

    来源 腾讯网
  2. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  3. DeepSeek长对话限额7天,免费用户为何反求收费

    话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂战不同,这场争议中出现了一个颇为“魔幻”的画面:平时最不愿意付费的一群人,正在主动求着DeepSeek收费。

    来源 TechWeb
  4. 微软推出Decision-1.1决策模型:跑赢GPT-6 Luna,速度翻倍

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)宣布正式推出 Microsoft-Decision-1.1 决策 AI 模型,目前已在 Microsoft Foundry、OpenRouter 和 Vercel 平台上线。 该模型面向企业级软件中的高频决策场景,可帮助应用在路由、分类、优先级排序、内容核

    来源 AI 行业观察
  5. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  6. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  7. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  8. 微软MAI Code 2发布:5%成本达Claude Opus 5.5约96%性能

    IT之家 11 月 18 日消息,在今天召开的 Ignite 2026 活动中,微软发布自研编程模型 MAI Code 2 和 MAI Code 2 Flash,并在 GitHub Copilot 上线。 IT之家附上相关视频如下: 定位方面,两款产品分别面向复杂软件开发与高频日常编程,主打在代码质量与使用成本之间取得

    来源 AI 行业观察
  9. 字节跳动洽谈微软5亿美元Azure:OpenAI为何不满?

    IT之家 11 月 19 日消息,据《The Information》今日报道,字节跳动正与微软进行深入谈判,计划额外采购约 5 亿美元(IT之家注:现汇率约合 33.4 亿元人民币)的 Azure 云服务,其中大部分支出将用于调用 OpenAI 的 AI 模型。知情人士称,这笔潜在交易引发了 OpenAI 对微软的不

    来源 AI 行业观察
  10. 亚马逊CEO贾西回应黄仁勋风波:预见不到与英伟达不再合作的那天

    【TechWeb】11月18日消息,当地时间11月17日,亚马逊总裁兼首席执行官安迪·贾西(Andy Jassy)做客一档访谈节目。在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。贾西表示:“我对黄仁勋怀有深深的敬意,也对英伟达怀有深深的敬意。长期以来,他们一直

    来源 腾讯网
  11. DeepSeek收紧免费对话限制引众怒,用户反求收费

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。”随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂

    来源 腾讯网
  12. 亚马逊CEO安迪·贾西首谈黄仁勋辞职风波:与英伟达合作不动摇

    在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。辞职消息公布后,英伟达股价开盘大跌13%,市值一度跌破4万亿美元。此后,黄仁勋曾表示准备重返CEO职位,但英伟达董事会明确表示“无意让他复职”。贾西在采访中将亚马逊与英伟达的关系描述为一种“竞合”关系,既是合作伙伴

    来源 TechWeb
  13. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 行业观察
  14. 英伟达Q3营收1158亿美元 数据中心增长110%验证AI周期延续

    2026年11月17日英伟达公布第三财季财报,总营收1158亿美元同比增长103%,数据中心营收1076亿美元同比增长110%。Vera Rubin NVL72开始出货并在多家云服务商上线。新管理团队首份完整季报显示,未履行云端订单预估上调至2.5万亿美元。财报直接回应市场对AI算力需求可持续性的疑问,显示超级算力周期

    来源 AI 行业观察
  15. 可灵AI上线Kling Image 4.0:单图可生成2000字,组图一次最多10张

    11月18日消息,17日夜间,可灵AI全新一代图像创作模型Kling Image 4.0正式上线。本次升级在画面真实感、文字表现力、指令理解与一致性上实现显著提升:原生相机级真实感让光影质感更自然,原生8K超高清画质带来丰富细节;文字生成与设计表现全面升级,支持单张图片内生成2000字;组图直出支持一次描述生成最多10

    来源 AI 行业观察
  16. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  17. 微信AI助理小微日活达3000万,部分推理任务未来或上设备端

    IT之家 11 月 18 日消息,腾讯今日发布 2026 年第三季度财报,称正加速推进 AI 化变革,向 AI 引领的科技公司迈进。 微信官方今日宣布,小微用户测试范围扩大,日活跃用户数(DAU)已达 3000 万,逐步融入微信聊天、朋友圈、公众号、视频号等高频场景。 据介绍,小微是每个人的私人 AI 助理( pers

    来源 AI 行业观察
向下滚动自动加载更多