这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

资讯 智东西 作者:杨 京丽 全文 3077 字 · 约 8 分钟读完 配图 10 张 分类世界模型

原生支持实时交互。

所属频道 模型发布
这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!(配图 1)

智东西(公众号:zhidxcom)
作者 |  杨京丽
编辑 |  李水青

智东西11月18日报道,11月17日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model,RWM)Duo v1。它通过Intent(意图)和 Realization(实现) 两个紧密耦合的模块,将智能主体内化为世界的一部分。

Duo生成的场景中,虚拟主体能够持续接收用户的音视频输入,自主决定何时开口、何时倾听,并实时生成相应的声音和画面,与用户进行交互。例如,虚拟主体在运动后说自己口渴,用户递出冰水后,虚拟主体能够接过水瓶并饮用。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

传统世界模型通常只模拟光影、材质、动态等物理场景。用户需要通过键盘、鼠标或文本输入指令。模型生成的世界虽然画面逼真,但内部缺少可主动回应的主体。

双向世界模型则同时覆盖物理现实和智能主体。在Duo v1的框架中,虚拟主体与世界共享同一交互时空:它持续接收用户的音频和视频输入,并生成与之一致的视听行为。在这种双向关系下,虚拟主体具备感知、推理和表达能力。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

在30组真实交互的人类评估中,Duo v1通过了180项检查中的168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性三项指标的通过率均为100%,内容响应度为73.3%,内容响应度和长程一致性仍是当前版本的主要挑战。

目前,Duo v1的技术报告、训练代码和模型权重均已开放,开发者可以下载模型权重,在此基础上进一步拓展。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

技术报告:

https://arxiv.org/abs/2611.15131

官网:

https://duo-v1.github.io/

代码:

https://github.com/inclusionAI/Duo

模型:

ModelScope:

https://www.modelscope.cn/collections/inclusionAI/Duo-v1

Hugging Face:

https://huggingface.co/collections/inclusionAI/duo-v1

一、每0.7秒决定开口或等待,意图和实现模块协同生成音视频

Duo包含Intent(意图)和Realization(实现)两个模块,分别承担交互决策和视听表达任务。

其中,Intent相当于虚拟主体的“大脑”,能够在统一时间线上进行连续交互推理决策。

在每个约0.7秒的时间块(chunk)内,Intent基于用户输入和交互历史,自主决策是选择开口说话<speak>或倾听等待<wait>,并同步生成对应的语言内容。

Intent传递的并非解码后的文本,而是模型内部的隐状态,用于直接指导Realization模块。

该团队称,这种设计让虚拟主体具备原生交互理性:它能够决定何时参与对话、何时保持沉默,以及被打断后如何回应。

Realization则是虚拟主体的“表达”,负责将决策转化为视听行为。它能够结合Intent的隐状态、用户输入和自身生成的历史内容,生成相匹配的音频和视频。

为保证流式交互中的因果正确性,Duo v1将用户输入、Intent决策和Realization生成严格对齐到统一时间线上,通过不同模块的注意力掩码限制信息访问范围,避免模型使用尚未发生的输入。此前生成的音视频则作为历史上下文,参与后续时间块的生成。

该团队称,这种因果同步由模型自身的推理节律来实现,每个时间块约0.7秒,Intent推理与Realization生成能够在统一管线中无缝衔接。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

二、三阶段训练对齐意图理解和视听生成,蒸馏压缩至4步完成

Duo v1的训练分为三个阶段,分别为Intent训练、Realization训练和分布匹配蒸馏,逐步对齐“意图理解”与“视听生成”。

第一阶段训练Intent模块进行因果参与和文本预测。模型会在每个时间块预测开口或等待,以及对应的语言内容。由于多数时间块不包含新的角色发言,模型容易倾向于一直等待。团队通过动作感知重平衡(action-aware rebalancing),对不同类别的训练目标进行采样和加权,缓解“过度等待”的偏差。

同时,训练团队通过截断或重复历史文本,让模型学习如何从不完整或重复的上下文中恢复。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

第二阶段训练Realization模块进行因果联合视听生成,Intent模块保持冻结。Realization基于 Intent提取的隐状态、录制媒体历史和用户输入,学习生成对应的音频和视频潜在表示。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

这一阶段通过注意力掩码控制信息访问:带噪媒体表示只能访问参考图像、全局描述、历史干净媒体和当前Intent隐状态,不能访问自身对应的干净训练目标,也不能访问未来时间块。这种因果约束确保了训练和推理时的一致性。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

第三阶段采用分布匹配蒸馏,将模型压缩为4步生成器。

这一阶段需要解决的关键问题是,训练时Realization使用录制的媒体历史,实际推理时却要依赖系统自身生成的历史,两者存在分布差异。

为此,团队加入Dual Rollout(双路展开)解决分布偏移:在每个训练窗口中,由冻结的Intent模块自回归生成角色文本,Realization则基于这些Intent特征及自身合成的视听历史继续生成。通过在自身生成的数据上训练,模型进一步适应实际交互时的输入分布。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

三、60秒生成测试缓解画面退化,内容响应度仍是短板

Duo v1的训练数据包括合成数据和录制数据。

合成数据采用两阶段流程,先由大语言模型根据控制卡片生成结构化剧本,再通过视频生成模型逐块生成音视频。控制卡片涵盖时长、语言、人设和交互类型等维度,确保场景多样性。

视频合成面临的一项挑战是误差累积。如果每个区段仅使用前一区段的最后一帧作为参考,视觉误差可能逐步放大,导致画面质量持续退化。

Duo v1固定使用首个区段的开头视频作为质量参考,以缓解这一问题。在包含10个区段、总时长60秒的连续生成测试中,基线方法的亮度值从103.8降至69.6,下降34.2;采用该方法后,亮度值保持在约99,面部外观的一致性也得以维持。

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

生成完成后,团队通过首帧一致性、意外音频、镜头推近和大面积视觉变化四类自动质检,过滤低质量样本。

录制数据则包含六种类型,涵盖单人视频、同步双视角视频、异步双视角视频、直播互动、双工音频,以及筛选后的开源数据集。所有数据经过自动语音识别(ASR)、语音活动检测(VAD)、说话人分离和时间轴对齐处理,最终统一为因果交互格式。

性能方面,在30组真实交互、共180项检查的人类评估中,Duo v1通过168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性均为100%,视听情感一致性为96.7%,视听同步为90.0%,内容响应度为73.3%。

该团队称,内容响应度是最具挑战性的指标。模型需要在用户音视频仍持续输入时作出决策,对用户意图进行实时推断。复杂意图理解和长程一致性,将是后续版本重点优化的方向。

结语:世界模型中的虚拟主体开始自主参与交互

Duo v1尝试将交互决策与音视频生成放进同一模型框架,让虚拟角色在持续接收环境信息的同时,自主决定何时倾听、何时回应,并生成相应的视听行为。

当前版本在内容响应度和长时间会话稳定性方面仍有提升空间。随着训练代码和模型权重开放,这种将智能主体纳入世界模型内部的方案,也将接受更多场景下的检验。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 世界模型杀入摄影圈:AI帮你换个机位重拍一张

    为了凑齐朋友圈的九宫格,一生爱出片的中国人不断添置设备、研究机位,有时还要搭上旅行的好心情。 与此同时,顶尖的科学家和资本正砸下几十亿美金,试图用“世界模型”教AI理解物理世界。 看似风马牛不相及的两件事,或许很快就要在同一个取景框里迎头相遇。 #01 世界模型,开始研究出片 一张照片拍完,还能换个机位吗?李飞飞创办的

    来源 AI 行业观察
  2. 英伟达、百度、宇树等32个世界模型:物理AI如何完成感知决策行动?

    让机器人拿起一只杯子,它要解决的问题远比识别物体多:杯子在哪里,机械臂从哪个方向伸过去,夹爪什么时候合拢,移动过程中会不会碰到桌沿。无人车经过路口时,也要判断:如果现在加速,旁边的车和行人接下来会怎样行动。 这类需要在现实环境中感知、决策和行动的AI,通常被称为物理AI。人形机器人、自动驾驶汽车、机械臂和无人机,都是它

    来源 AI 行业观察
  3. 世界模型记不住你?XGEN用DAO给AI世界装了个账本

    你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就...

    来源 腾讯网
  4. 对话 LiberAI 刘松铭:Astra 来袭,00 后物理 AI 创始人看到的胜率

    “有一件事我确实极致热爱,那就是创业本身。”文丨程曼祺 实习生王小淳编辑丨宋玮“清华、00 后、世界模型”,刘松铭完全踩中了这组火热一时的投资标签。他生于 2000 年,2024 年以 RDT-1B 具身模型崭露头角,2025 年底,他在博士三年级时创立 LiberAI,陆续拿到来自真格、红杉、美团龙珠、顺为等机构的

    来源 腾讯网
  5. 广州我的影视吃6.82万罚单:AI虚拟人编使用体验被罚

    2026年11月13日,广州市番禺区市场监督管理局对广州我的影视文化传媒有限公司开出罚单,罚款6.82万余元,11月16日对外公开,违法事实是“发布医疗广告违法行为”。这家公司是AI短剧《被裁掉的女孩》的出品方,也是虚拟女主角“方桃子”的运营方。 三个多月前,方桃子在那条60秒的美瞳广告里说:“我的美瞳戴了一天,都很舒

    来源 AI 行业观察
  6. AMD收购World Labs:李飞飞任执行副总裁兼首席科学家

    AMD于11月16日宣布,已完成对AI模型公司 World Labs 的收购,以进一步扩展其在AI技术栈领域的布局。World Labs联合创始人李飞飞将加入AMD,担任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。 World Labs专注于开发能够生成、重建和模拟交互式3D环境的AI模

    来源 AI 开发者社区
  7. 雷军谈AI落地:手机与具身智能机器人空间大,三四年内或现颠覆时刻

    IT之家 11 月 18 日消息,小米创办人、董事长兼 CEO 雷军 11 月 17 日出席 APEC 工商领导人峰会。今日(11 月 18 日),雷军接受了人民日报采访。 谈及人工智能,雷军坦言,人工智能浪潮席卷各行各业,作为 AI 从业者能感受到一些焦虑。 雷军认为,“AI+ 手机”“AI+ 具身智能机器人”等领域

    来源 AI 行业观察
  8. 诺奖得主哈萨比斯的AI制药公司Isomorphic Labs完成50亿美元C轮融资

    智东西11月17日消息,刚刚,由诺奖得主、谷歌DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis)创办的英国AI药物研发公司Isomorphic Labs宣布完成50亿美元(约合人民币333亿元)C轮融资,融资获得超额认购。 结合公开数据不完全统计,本轮融资刷新该公司此前的单轮融资纪录,可能创下全

    来源 AI 行业观察
  9. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  10. 中际旭创被看空:300亿利润测算指向AI硬件软肋

    一份看空中际旭创的估值测算,几乎把整个AI硬件资产的估值困境摆到了台面上。 11月17日,一份关于中际旭创的看空测算在投资圈迅速传播。按照这份材料的预测,到2029年,中际旭创的年净利润大....

    来源 腾讯网
向下滚动自动加载更多