蚂蚁RWM:双向世界模型实现屏幕内外实时互动
编辑|陈陈想象一下,你在现实中拿起一瓶水,递向屏幕。下一秒,屏幕里的虚拟人物竟然伸出手,接过了这瓶水。视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw更有意思的是,虚拟世界里的景色也能随着对话发生变化。当你和虚拟人物聊起杭州西湖,原本明亮的白天场景,竟然会随着
现实里拿起一瓶水递向屏幕,下一秒,屏幕中的虚拟人物伸出手把这瓶水接了过去——这样的画面已经出现。
视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw
对话内容还能带动虚拟世界里的景物变化:和虚拟人物聊到杭州西湖,原本明亮的白天场景会随着交流一点点切换成夜幕下的西湖。
视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw
听上去像科幻片的桥段,已经有研究团队把它做成了现实。蚂蚁团队与西湖心辰近日联合提出一种新的世界模型范式 Reciprocal World Model(RWM,双向世界模型),并推出首个实现版本:原生世界模型。
Duo v1把智能与物理现实看作构成世界的两个同等重要的基础。它想生成一个存在鲜活智能体的世界,再通过实时全双工交互把这个虚拟世界与现实世界连起来:对方还在表达或行动时就能作出回应、主动打断,也可以选择保持沉默。为此团队提出两项核心能力——Intent(意图)负责理解交互情境、进行推理并决定如何参与;Realization(实现)负责把意图转成连贯的视听行为。
视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw
用户不用鼠标、键盘,也能向模型展示现实中的物体、改变虚拟场景、引导 AI 助手,或者参与音视频游戏。
arXiv: https://arxiv.org/abs/2611.15131
Homepage: https://duo-v1.github.io/
Github: https://github.com/inclusionAI/Duo
Hugging Face Model: https://huggingface.co/collections/inclusionAI/duo-v1
ModelScope:https://www.modelscope.cn/collections/inclusionAI/Duo-v1
从模拟物理世界,到让智能主体参与其中
理解
眼下主流世界模型的研究重点,是模拟物理世界:模型看过往画面和控制信号,预测未来场景怎么演化;用户用键盘、鼠标、手柄或文字指令改变环境,模型负责生成变化后的画面。
这种模式下,主动权在用户手里。世界中的角色更多是被观察、被操控的对象,缺少自主感知用户、理解交互情境、决定如何回应乃至与用户共同创造的能力。说白了,生成一个世界并不难,难的是让这个世界里的角色真正「活」起来。
正是基于这一判断,团队提出双向世界模型 Reciprocal World Model(RWM),并发布实现版本。关键在「双向」:传统交互通常由用户先发指令,再等模型给结果;RWM 想让交互双方都成为主动参与者,持续感知对方的音视频,并依据实时发生的情况作出反应。
用户说话时,虚拟主体可以自己判断要不要回应,甚至在用户还没说完时主动插话;用户展示现实中的物体,它也能结合视觉信息理解情境。这种双向实时交互能力,也让 RWM 与其他常见技术路线区别开来。
大语言模型主要负责语言理解与生成,传统世界模型侧重环境模拟与未来状态预测,多模态 Agent 或……Duo v1则通过 Intent 和 Realization 两个相互协作的模块,把交互决策与音视频生成整合进同一架构。
所以,双向世界模型是把智能主体的感知、认知和行为纳入世界模型本身,让虚拟世界与现实用户之间形成持续的双向连接。
从意图决策到音视频生成,拆解
实现方式上,Intent(意图模块)管的是理解交互情境、推理用户意图,并决定何时回应、回应什么内容;Realization(实现模块)则把这些意图落成具体的音视频行为,包括生成语音、人物表情和画面动作。
两个模块靠 Intent 输出的隐藏状态互通消息。这些状态里装着模型在交互推理时形成的语义特征,Realization 拿它们当作生成音视频的条件。
Intent:教模型判断何时开口
过去的音视频生成系统,条件编码一般交给语言模型来做——文本先被理解,再传给扩散模型,充当后续生成的前提。
Duo v1
在每个时间块(chunk)里,Intent 模块看着用户输入和交互历史,当场自己拍板,同时把对应的语言内容生成出来。
<speak>:开口说话,并产出相应文本。
<wait>:这个 Chunk 不生成新的助手文本,选择接着等。
比如用户话还没说完,模型可以按兵不动;等用户抛出问题,或者到了适合接话的时机,它就能主动开口。不过 <wait> 不代表整个系统停工——先前生成的语音照常播放,Realization 也能接着此前的音视频生成往下走。
还有一点:Intent 交给 Realization 的不只是最终文本,对应的隐藏状态也一并输出,后者因此拿到更丰富的语义条件。
另外,为了支撑实时响应生成,团队把音频和视频都编码成紧凑的潜在表示,供后面的音视频生成调用。
Realization:把意图落成连贯的视听行为
Realization 是
模型从随机噪声起步,在意图表示、参考图像、当前可用的用户输入以及此前生成的助手音视频内容等条件约束下,一步步生成音视频潜变量。先前生成的内容作为历史信息,帮模型在不同回应 Chunk 之间保持连贯。
意图条件方面:Intent 模块输出的隐藏状态经线性投影映射到 Realization 模块的隐藏维度,再由一个精炼网络(Refiner Network)生成文本条件嵌入。
媒体条件方面:用户输入的音频和视频分别过音频 VAE 和视频 VAE 编码器,得到对应的条件潜变量。
参考图像同样走视频 VAE 编码器,产出参考潜变量。这些潜变量随后被映射成联合扩散 Transformer(DiT)对应的输入嵌入。
除此之外,此前生成的助手音频和视频潜变量,也会作为音视频历史信息喂进模型。
几路条件合在一起,为当前回应 Chunk 提供四类信息:用户的实时观察、参考图像的外观特征、语义指导,以及模型此前生成的交互历史。
要留意的是,模型只使用第 k 个 Chunk 开始之前已经拿到的用户输入,不会去碰还没发生的后续信息。
为了让不同模态在时间上对齐,团队引入了三维旋转位置编码(
与此同时,
具体做法是:用户语音、视频画面、Intent 决策和 Realization 生成被统一映射到同一条时间线上,交互以约 0.7 秒一个 Chunk 来组织。不同模块各有专门设计的注意力掩码,用来控制每个 Chunk 内部以及 Chunk 之间的信息访问范围。
也就是说,模型生成当前 Chunk 时,能用的只有此前已获得的用户输入和交互历史,没法提前读到未来画面或尚未发生的用户行为。Realization 同样只能依据当前可用的意图特征、参考信息和历史内容来生成音视频。
靠联合生成、时间对齐和因果约束,
从主动决策到自主生成,
Duo v1
第一步是对 Intent 模块做监督微调。
训练数据以 Chunk 为单位对齐。每进入一个 Chunk,模型要结合全局指令、此前拿到的用户视频、ASR 转录文本,以及助手之前输出的语言内容,判断当下该输出什么。
模型要掌握两类基本动作:
一类是 <speak>,即开口说话并产出新文本;另一类是 <wait>,即这个 Chunk 不新增助手文本。即便选了等待,先前生成的语音照样能继续播下去。
训练时团队注意到,多数 Chunk 并不会产生新的助手文本。若照原始数据分布直接训练,模型很容易偏向等待。
于是团队做了动作感知再平衡机制:先按用户是否正在说话、助手回应是开场还是续接等信息给训练样本分类,再用子采样和损失加权去调整各类样本的训练比例。
另外,为让模型适应不完美的交互历史,团队还加了历史扰动——截断、重复部分历史文本,或者把正常的对话开场换成 < wait>,以此模拟此前回应不完整、文本出现偏差、错过回应时机等情形。
第二步是训练 Realization,让它联合生成音视频。
这一阶段用的是已经冻结的 Intent 模块,从真实记录的助手文本里提取意图隐藏状态,作为 Realization 的语义条件。用户输入的音视频、人物参考图像,以及此前记录的助手音视频历史,同样作为生成条件输入。
Realization 采用因果音视频扩散 Transformer,通过
训练时一半走因果视角,按真实交互的时间顺序限制信息访问;另一半走双向视角,让模型在更充分的上下文条件下学习音视频生成。
两种训练方式各占一半,一起优化 Realization 模块。
经过这一阶段,Realization 学会了依据 Intent 给出的语义特征、用户输入和已有音视频历史,联合生成连续的视听内容
第三步是双 Rollout 蒸馏,用来缩小训练与推理之间的差距。
训练 Realization 时,模型用的意图特征来自真实记录的助手文本,音视频历史也取自真实数据。可到了实际推理,这些信息都得由模型自己生成。
训练靠真实记录、推理靠模型自身生成,两种情况的输入分布并不一样。交互越往后走,这种差异越可能拖累后续生成的稳定性。
针对这个问题,团队提出了双 Rollout 蒸馏(Dual Rollout Distillation)。
先由冻结的 Intent 模块以自回归方式生成助手当前完整回合的文本回应,这一步叫 Language Rollout。
接着,Realization 模块以这些文本对应的意图隐藏状态,加上自身此前合成的音视频历史为条件,继续生成音视频内容,这一步叫 Media Rollout。
这样一来,模型在训练阶段就能接触到更贴近实际推理状态的输入条件。
最后,团队通过
实时交互要跑起来,还离不开一套流式推理系统
团队还专门设计了一套,对 Intent 模块、Realization 模块和 VAE 做协同调度与同步,保证交互任务能低延迟运行。
交互按 Chunk 推进。24 FPS 下,一个 Chunk 装 17 帧视频,采样时间约 708 毫秒。前端设备一边采集用户的音频和视频,一边把数据送往后续环节。意图推理、音视频潜变量联合生成、流式解码由模型依次完成。模型给出回应时,用户的输入并没有停。
拆开看延迟:Intent 模块推理一次要 90 至 160 毫秒,Realization 模块产出 720p 音视频潜变量要 200 至 450 毫秒,传输和显示等开销约 40 毫秒。三项加总,落在 330 至 650 毫秒之间。
等待时间还能再压。团队把优化的方向指向了 VAE 的解码环节。
原来的 VAE 要把 5 个潜在帧解成 17 帧视频,得先拿到 2 个潜在帧。这份前瞻依赖,会让 Chunk 交界处多出等待。
单个潜在帧解码大约花 30 毫秒。24 FPS 下最短播放间隔约 41.7 毫秒,两者一比,只要潜变量能按时送到,解码器就跟得上播放节奏。
缓存管理也做了统一设计。Intent 模块靠滑动窗口把历史缓存淘汰掉,Realization 模块则按设定周期对媒体历史做重置。
并行计算上,Intent 模块走的是四路
团队给持续输出定的目标是:每个 Chunk 走完整套处理不超过 17/24 秒,约 708 毫秒,跟输入采样周期对齐。
系统真正的关键,是把输入采集、意图推理、音视频生成和增量解码串成一条能并行跑的流水线。模型不用等整个交互回合收尾再开口,用户也不必停下来等模型把全部内容生成完。
93.3% 评测通过率,
团队挑了 30 组
180 项检查里过了 168 项,总体通过率 93.3%。语言遵循性、语音可懂度、视觉身份稳定性这三项全部通过,都是 100%,说明模型能给出完整清晰的语音,人物形象也稳得住。音视频情绪一致性为 96.7%,口型与语音同步率是 90%。
基础对话之外,团队还演示了 Duo v1 在更多交互场景里的表现。
比如用户能靠对话解决日程冲突,让模型帮忙调整计划;也能和模型一起比对设计样品、修改方案,或者递上一张参考图,让模型照着改服装图案。
视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw
双方不用再轮流等对方说完。用户随时可以插话、打断,甚至换话题,虚拟人物能同步感知并给出回应。
视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw
和国宝大熊猫面对面,来一场实时互动。
这些案例透出一个信号:Duo v1 的交互设计已经不满足于简单的语音问答,而是试着把语言交流同视觉观察、方案调整、协同行动捏到一起。
世界模型的下一步,是让智能体真正参与世界
Duo v1 真正值得关注的地方,在于它试图重新界定世界模型里的智能主体该具备哪些能力。
传统数字人围绕人物形象、语音表达和语言对话做文章。用户提问,数字人作答,再用表情、口型、动作把表现力补上。交互大多围绕一个预设角色展开,落脚点是让虚拟人物看着更真、说得更自然。
双向世界模型能探索的空间大得多。感知、认知、决策和视听行为被它收进世界模型里,虚拟主体因此可以持续观察用户和用户所处的环境,自己判断什么时候该参与,再依交互内容作出反应。
应用场景随之打开。
游戏里,NPC 能甩开固定台词和预设交互逻辑,依据玩家的语言、动作和周边环境实时反应。玩家甚至可以直接用语音和现实物品跟虚拟角色互动,游戏也就从单向探索变成双方一起参与的过程。
AI 助手场景中,用户可以把现实里的物品、图片或环境展示出来,让虚拟主体结合视觉信息加入讨论。它能帮忙解决日程冲突、分析设计样品,也能顺着用户反馈不断调整方案。交互不再困在文字框和语音入口里,现实环境本身也成了模型理解和行动的上下文。
在虚拟内容创作场景里,用户能用日常语言改动场景、调整画面元素,也能和 AI 联手做设计、搞创作。用户说一句把时间改到晚上,虚拟世界就从白天切到夜晚;用户给出一张参考图,模型就照着它改虚拟人物的服装花纹。语言指令、视觉参考、场景变化,被放进同一段连续的交互过程里。
双向世界模型能探索的方向不止这些:引导 AI 助手、改动虚拟场景,还有不靠鼠标键盘操作的音视频游戏。现实里的物体可以当作交互输入,虚拟场景能跟着对话变,AI 主体也会主动加入正在进行的活动。
说到底,Duo v1 现在还处在早期探索阶段。不过它已经给出了一条值得留意的技术路线。
以往世界模型要解决的是怎么生成一个可信、连贯的世界。双向世界模型往前多走一步:当这个世界里有了智能主体,它们同样能感知现实、主动参与,和人一起把世界改掉。
未来的世界模型,或许不再只是一个供人观看、探索的虚拟空间,还可能变成人和 AI 一起交流、协作、设计、创造的场所。