蚂蚁RWM:双向世界模型实现屏幕内外实时互动

资讯 腾讯网 作者:机器之心 全文 6387 字 · 约 16 分钟读完 分类世界模型学术研究

编辑|陈陈想象一下,你在现实中拿起一瓶水,递向屏幕。下一秒,屏幕里的虚拟人物竟然伸出手,接过了这瓶水。视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw更有意思的是,虚拟世界里的景色也能随着对话发生变化。当你和虚拟人物聊起杭州西湖,原本明亮的白天场景,竟然会随着

所属频道 模型发布前沿研究

现实里拿起一瓶水递向屏幕,下一秒,屏幕中的虚拟人物伸出手把这瓶水接了过去——这样的画面已经出现。

视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw

对话内容还能带动虚拟世界里的景物变化:和虚拟人物聊到杭州西湖,原本明亮的白天场景会随着交流一点点切换成夜幕下的西湖。

视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw

听上去像科幻片的桥段,已经有研究团队把它做成了现实。蚂蚁团队与西湖心辰近日联合提出一种新的世界模型范式 Reciprocal World Model(RWM,双向世界模型),并推出首个实现版本:原生世界模型。

Duo v1把智能与物理现实看作构成世界的两个同等重要的基础。它想生成一个存在鲜活智能体的世界,再通过实时全双工交互把这个虚拟世界与现实世界连起来:对方还在表达或行动时就能作出回应、主动打断,也可以选择保持沉默。为此团队提出两项核心能力——Intent(意图)负责理解交互情境、进行推理并决定如何参与;Realization(实现)负责把意图转成连贯的视听行为。

视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw

用户不用鼠标、键盘,也能向模型展示现实中的物体、改变虚拟场景、引导 AI 助手,或者参与音视频游戏。

  • arXiv: https://arxiv.org/abs/2611.15131

  • Homepage: https://duo-v1.github.io/

  • Github: https://github.com/inclusionAI/Duo

  • Hugging Face Model: https://huggingface.co/collections/inclusionAI/duo-v1

  • ModelScope:https://www.modelscope.cn/collections/inclusionAI/Duo-v1

从模拟物理世界,到让智能主体参与其中

理解

眼下主流世界模型的研究重点,是模拟物理世界:模型看过往画面和控制信号,预测未来场景怎么演化;用户用键盘、鼠标、手柄或文字指令改变环境,模型负责生成变化后的画面。

这种模式下,主动权在用户手里。世界中的角色更多是被观察、被操控的对象,缺少自主感知用户、理解交互情境、决定如何回应乃至与用户共同创造的能力。说白了,生成一个世界并不难,难的是让这个世界里的角色真正「活」起来。

正是基于这一判断,团队提出双向世界模型 Reciprocal World Model(RWM),并发布实现版本。关键在「双向」:传统交互通常由用户先发指令,再等模型给结果;RWM 想让交互双方都成为主动参与者,持续感知对方的音视频,并依据实时发生的情况作出反应。

用户说话时,虚拟主体可以自己判断要不要回应,甚至在用户还没说完时主动插话;用户展示现实中的物体,它也能结合视觉信息理解情境。这种双向实时交互能力,也让 RWM 与其他常见技术路线区别开来。

大语言模型主要负责语言理解与生成,传统世界模型侧重环境模拟与未来状态预测,多模态 Agent 或……Duo v1则通过 Intent 和 Realization 两个相互协作的模块,把交互决策与音视频生成整合进同一架构。

所以,双向世界模型是把智能主体的感知、认知和行为纳入世界模型本身,让虚拟世界与现实用户之间形成持续的双向连接。

从意图决策到音视频生成,拆解

实现方式上,Intent(意图模块)管的是理解交互情境、推理用户意图,并决定何时回应、回应什么内容;Realization(实现模块)则把这些意图落成具体的音视频行为,包括生成语音、人物表情和画面动作。

两个模块靠 Intent 输出的隐藏状态互通消息。这些状态里装着模型在交互推理时形成的语义特征,Realization 拿它们当作生成音视频的条件。

Intent:教模型判断何时开口

过去的音视频生成系统,条件编码一般交给语言模型来做——文本先被理解,再传给扩散模型,充当后续生成的前提。

Duo v1

在每个时间块(chunk)里,Intent 模块看着用户输入和交互历史,当场自己拍板,同时把对应的语言内容生成出来。

  • <speak>:开口说话,并产出相应文本。

  • <wait>:这个 Chunk 不生成新的助手文本,选择接着等。

比如用户话还没说完,模型可以按兵不动;等用户抛出问题,或者到了适合接话的时机,它就能主动开口。不过 <wait> 不代表整个系统停工——先前生成的语音照常播放,Realization 也能接着此前的音视频生成往下走。

还有一点:Intent 交给 Realization 的不只是最终文本,对应的隐藏状态也一并输出,后者因此拿到更丰富的语义条件。

另外,为了支撑实时响应生成,团队把音频和视频都编码成紧凑的潜在表示,供后面的音视频生成调用。

Realization:把意图落成连贯的视听行为

Realization 是

模型从随机噪声起步,在意图表示、参考图像、当前可用的用户输入以及此前生成的助手音视频内容等条件约束下,一步步生成音视频潜变量。先前生成的内容作为历史信息,帮模型在不同回应 Chunk 之间保持连贯。

意图条件方面:Intent 模块输出的隐藏状态经线性投影映射到 Realization 模块的隐藏维度,再由一个精炼网络(Refiner Network)生成文本条件嵌入。

媒体条件方面:用户输入的音频和视频分别过音频 VAE 和视频 VAE 编码器,得到对应的条件潜变量。

参考图像同样走视频 VAE 编码器,产出参考潜变量。这些潜变量随后被映射成联合扩散 Transformer(DiT)对应的输入嵌入。

除此之外,此前生成的助手音频和视频潜变量,也会作为音视频历史信息喂进模型。

几路条件合在一起,为当前回应 Chunk 提供四类信息:用户的实时观察、参考图像的外观特征、语义指导,以及模型此前生成的交互历史。

要留意的是,模型只使用第 k 个 Chunk 开始之前已经拿到的用户输入,不会去碰还没发生的后续信息。

为了让不同模态在时间上对齐,团队引入了三维旋转位置编码(

与此同时,

具体做法是:用户语音、视频画面、Intent 决策和 Realization 生成被统一映射到同一条时间线上,交互以约 0.7 秒一个 Chunk 来组织。不同模块各有专门设计的注意力掩码,用来控制每个 Chunk 内部以及 Chunk 之间的信息访问范围。

也就是说,模型生成当前 Chunk 时,能用的只有此前已获得的用户输入和交互历史,没法提前读到未来画面或尚未发生的用户行为。Realization 同样只能依据当前可用的意图特征、参考信息和历史内容来生成音视频。

靠联合生成、时间对齐和因果约束,

从主动决策到自主生成,

Duo v1

第一步是对 Intent 模块做监督微调。

训练数据以 Chunk 为单位对齐。每进入一个 Chunk,模型要结合全局指令、此前拿到的用户视频、ASR 转录文本,以及助手之前输出的语言内容,判断当下该输出什么。

模型要掌握两类基本动作:

一类是 <speak>,即开口说话并产出新文本;另一类是 <wait>,即这个 Chunk 不新增助手文本。即便选了等待,先前生成的语音照样能继续播下去。

训练时团队注意到,多数 Chunk 并不会产生新的助手文本。若照原始数据分布直接训练,模型很容易偏向等待。

于是团队做了动作感知再平衡机制:先按用户是否正在说话、助手回应是开场还是续接等信息给训练样本分类,再用子采样和损失加权去调整各类样本的训练比例。

另外,为让模型适应不完美的交互历史,团队还加了历史扰动——截断、重复部分历史文本,或者把正常的对话开场换成 < wait>,以此模拟此前回应不完整、文本出现偏差、错过回应时机等情形。

第二步是训练 Realization,让它联合生成音视频。

这一阶段用的是已经冻结的 Intent 模块,从真实记录的助手文本里提取意图隐藏状态,作为 Realization 的语义条件。用户输入的音视频、人物参考图像,以及此前记录的助手音视频历史,同样作为生成条件输入。

Realization 采用因果音视频扩散 Transformer,通过

训练时一半走因果视角,按真实交互的时间顺序限制信息访问;另一半走双向视角,让模型在更充分的上下文条件下学习音视频生成。

两种训练方式各占一半,一起优化 Realization 模块。

经过这一阶段,Realization 学会了依据 Intent 给出的语义特征、用户输入和已有音视频历史,联合生成连续的视听内容

第三步是双 Rollout 蒸馏,用来缩小训练与推理之间的差距。

训练 Realization 时,模型用的意图特征来自真实记录的助手文本,音视频历史也取自真实数据。可到了实际推理,这些信息都得由模型自己生成。

训练靠真实记录、推理靠模型自身生成,两种情况的输入分布并不一样。交互越往后走,这种差异越可能拖累后续生成的稳定性。

针对这个问题,团队提出了双 Rollout 蒸馏(Dual Rollout Distillation)。

先由冻结的 Intent 模块以自回归方式生成助手当前完整回合的文本回应,这一步叫 Language Rollout。

接着,Realization 模块以这些文本对应的意图隐藏状态,加上自身此前合成的音视频历史为条件,继续生成音视频内容,这一步叫 Media Rollout。

这样一来,模型在训练阶段就能接触到更贴近实际推理状态的输入条件。

最后,团队通过

实时交互要跑起来,还离不开一套流式推理系统

团队还专门设计了一套,对 Intent 模块、Realization 模块和 VAE 做协同调度与同步,保证交互任务能低延迟运行。

交互按 Chunk 推进。24 FPS 下,一个 Chunk 装 17 帧视频,采样时间约 708 毫秒。前端设备一边采集用户的音频和视频,一边把数据送往后续环节。意图推理、音视频潜变量联合生成、流式解码由模型依次完成。模型给出回应时,用户的输入并没有停。

拆开看延迟:Intent 模块推理一次要 90 至 160 毫秒,Realization 模块产出 720p 音视频潜变量要 200 至 450 毫秒,传输和显示等开销约 40 毫秒。三项加总,落在 330 至 650 毫秒之间。

等待时间还能再压。团队把优化的方向指向了 VAE 的解码环节。

原来的 VAE 要把 5 个潜在帧解成 17 帧视频,得先拿到 2 个潜在帧。这份前瞻依赖,会让 Chunk 交界处多出等待。

单个潜在帧解码大约花 30 毫秒。24 FPS 下最短播放间隔约 41.7 毫秒,两者一比,只要潜变量能按时送到,解码器就跟得上播放节奏。

缓存管理也做了统一设计。Intent 模块靠滑动窗口把历史缓存淘汰掉,Realization 模块则按设定周期对媒体历史做重置。

并行计算上,Intent 模块走的是四路

团队给持续输出定的目标是:每个 Chunk 走完整套处理不超过 17/24 秒,约 708 毫秒,跟输入采样周期对齐。

系统真正的关键,是把输入采集、意图推理、音视频生成和增量解码串成一条能并行跑的流水线。模型不用等整个交互回合收尾再开口,用户也不必停下来等模型把全部内容生成完。

93.3% 评测通过率,

团队挑了 30 组

180 项检查里过了 168 项,总体通过率 93.3%。语言遵循性、语音可懂度、视觉身份稳定性这三项全部通过,都是 100%,说明模型能给出完整清晰的语音,人物形象也稳得住。音视频情绪一致性为 96.7%,口型与语音同步率是 90%。

基础对话之外,团队还演示了 Duo v1 在更多交互场景里的表现。

比如用户能靠对话解决日程冲突,让模型帮忙调整计划;也能和模型一起比对设计样品、修改方案,或者递上一张参考图,让模型照着改服装图案。

视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw

双方不用再轮流等对方说完。用户随时可以插话、打断,甚至换话题,虚拟人物能同步感知并给出回应。

视频链接:https://mp.weixin.qq.com/s/Vuq-PZ-ky7-onIhIkQleUw

和国宝大熊猫面对面,来一场实时互动。

这些案例透出一个信号:Duo v1 的交互设计已经不满足于简单的语音问答,而是试着把语言交流同视觉观察、方案调整、协同行动捏到一起。

世界模型的下一步,是让智能体真正参与世界

Duo v1 真正值得关注的地方,在于它试图重新界定世界模型里的智能主体该具备哪些能力。

传统数字人围绕人物形象、语音表达和语言对话做文章。用户提问,数字人作答,再用表情、口型、动作把表现力补上。交互大多围绕一个预设角色展开,落脚点是让虚拟人物看着更真、说得更自然。

双向世界模型能探索的空间大得多。感知、认知、决策和视听行为被它收进世界模型里,虚拟主体因此可以持续观察用户和用户所处的环境,自己判断什么时候该参与,再依交互内容作出反应。

应用场景随之打开。

游戏里,NPC 能甩开固定台词和预设交互逻辑,依据玩家的语言、动作和周边环境实时反应。玩家甚至可以直接用语音和现实物品跟虚拟角色互动,游戏也就从单向探索变成双方一起参与的过程。

AI 助手场景中,用户可以把现实里的物品、图片或环境展示出来,让虚拟主体结合视觉信息加入讨论。它能帮忙解决日程冲突、分析设计样品,也能顺着用户反馈不断调整方案。交互不再困在文字框和语音入口里,现实环境本身也成了模型理解和行动的上下文。

在虚拟内容创作场景里,用户能用日常语言改动场景、调整画面元素,也能和 AI 联手做设计、搞创作。用户说一句把时间改到晚上,虚拟世界就从白天切到夜晚;用户给出一张参考图,模型就照着它改虚拟人物的服装花纹。语言指令、视觉参考、场景变化,被放进同一段连续的交互过程里。

双向世界模型能探索的方向不止这些:引导 AI 助手、改动虚拟场景,还有不靠鼠标键盘操作的音视频游戏。现实里的物体可以当作交互输入,虚拟场景能跟着对话变,AI 主体也会主动加入正在进行的活动。

说到底,Duo v1 现在还处在早期探索阶段。不过它已经给出了一条值得留意的技术路线。

以往世界模型要解决的是怎么生成一个可信、连贯的世界。双向世界模型往前多走一步:当这个世界里有了智能主体,它们同样能感知现实、主动参与,和人一起把世界改掉。

未来的世界模型,或许不再只是一个供人观看、探索的虚拟空间,还可能变成人和 AI 一起交流、协作、设计、创造的场所。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 香港科技大学:AI游戏为何按一下慢半拍、再按又猛冲?

    想象你在玩一个AI生成的游戏,你按下"向前走",可是屏幕上的角色却像踩在果冻上一样,慢吞吞地挪了半步。你再按一次,这次它又冲出去老远。你心里犯嘀咕:这游戏是不是卡了?其实它没卡。这是一个更深层的问题:生成这个世界的AI模型,根本不知道"一秒钟"到底该往前走多远。这篇来自香港科技大学团队的论文,把这个问题起了个...

    来源 腾讯网
  2. 并购完成,李飞飞正式率队加入AMD,苏妈亲自欢迎

    这下真是王见王了! 旧金山的办公室里,「半导体女王」苏姿丰和「AI教母」李飞飞并肩坐在高脚凳上,面前是坐满一屋子正在鼓掌的World Labs员工。 当地时间11月16日,AMD正式宣布完成对World Labs的收购,这家由李飞飞联合创办的空间智能公司,从此彻底并入AMD。 官宣视频当中,苏姿丰穿着黑色连帽卫衣一边比

    来源 AI 行业观察
  3. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  4. AMD 82亿美元收购李飞飞公司:世界模型为何成AI新战场?

    飞象原创(高靖宇/文)世界模型,已经成为今年AI行业最热闹的赛道之一。AMD宣布以约82亿美元收购李飞飞创办的World Labs,谷歌发布新一代世界模型Genie 4,百度Apollo World世界模型亮相——巨头们接连出手,一场通往物理AI的竞赛就此开启。为什么世界模型突然成了焦点?行业里一个普遍的共识是:语言模

    来源 腾讯网
  5. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  6. AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

    你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

    来源 腾讯网
  7. 华为云:80%中国具身智能企业选了昇腾云,具身智能市场排中国第一

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云方面透露,华为昇腾云在具身智能市场格局中排行中国第一,已有 80% 的中国具身智能企业选择昇腾云,重点高校基本实现全覆盖。 2025 年 6 月,华为云发布 CloudRobo 具身智能平台。华为常务董事、华为云计算 BU

    来源 AI 行业观察
  8. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  9. 十种自我蒸馏方法同台横评:132次训练花了12124.4个H800 GPU小时

    2026年,如果你在凌晨刷arXiv,大概每隔两天就会看到一篇新论文宣称自己找到了训练AI智能体的更好方法。这不是夸张的说法。有研究者统计过,过去三个月里,专门研究"自我蒸馏"这个方向的论文多达47篇,平均每1.9天就有一篇新作发布。这个速度放在任何一个科研领域都堪称疯狂,相当于一个足球联赛,每隔一场比赛就冒出一个新的

    来源 腾讯网
  10. 华为云将发布首款昇腾原生具身世界模型 CloudRoboWM1.2

    华为云将于11月16日14:00-15:30举办线上发布会,正式发布首款昇腾原生具身世界模型 CloudRoboWM1.2,旨在推动具身智能从实验室研发走向千行百业规模化落地。 根据已披露议程,该模型将由华为云具身产品线总裁、具身智能 Lab 主任吴小东正式发布。随后,华为云具身智能 Lab 首席模

    来源 AI 开发者社区
  11. 李飞飞入职AMD任首席科学家,World Labs被收编做3D世界模型

    AMD 11月16日宣布完成收购AI模型公司World Labs,以扩展AI技术栈布局。联合创始人李飞飞加入AMD,任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。World Labs专注生成、重建和模拟交互式3D环境的AI模型,并布局机器人学习与仿真;收购后团队将继续基础模型研究,与AMD工程师协作研发。

    来源 AI 产业速递
  12. 黄仁勋辞任后奥尔特曼首度发声:称其为英雄,但英雄也有缺点

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。奥尔特曼的表态:敬意、共情与留白当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将更重

    来源 腾讯网
  13. 华为公布最新数据:80%中国具身智能企业选择昇腾云

    11月16日华为云CloudRobo具身世界模型发布会上,华为云披露80%的中国具身智能企业选择昇腾云,重点高校基本实现覆盖,并称昇腾云在中国具身智能云市场排名第一。CloudRobo平台已汇聚超1.65万名开发者、230多家企业和高校,累计沉淀超1500项行业资产。

    来源 凤凰科技
  14. AI探店10元一条、800元一分钟:月入800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  15. AI探店10元一条,月流水800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  16. 匹兹堡大学FSGLD流程:三类靶点验证靶向化合物发现潜力

    来自美国宾夕法尼亚州匹兹堡大学的研究团队提出了一种全谱生成式先导化合物发现流程,其核心是多尺度 DRUG-GAN 模型,能够在三个不同场景下,通过生成式模型指导药物分子的发现。在针对三类药理学特征各异的靶点开展的评估中,FSGLD 在识别靶点特异性候选化合物方面展现出良好的应用潜力。 传统药物发现是一项极具挑战性的工作

    来源 AI 行业观察
  17. NICT OptiMer:不重训模型,如何快速锁定最优数据配比?

    大模型训练中,数据配比调优通常意味着昂贵的从头重训。日本信息通信研究机构(NICT)团队在EMNLP 2026获奖论文中提出OptiMer方法,通过合并“分布向量”来搜索最优数据比例。该方法将试错效率提升15至35倍,且在C-Eval、MMLU等基准测试中得分高于传统混合训练。文章解析了其技术原理、实验效果及在构建日语

    来源 AI 应用前沿
  18. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  19. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
向下滚动自动加载更多