Duo v1开源:全双工音视频交互,数字人告别单线程问答?
蚂蚁技术研究院与西湖心辰联合开源了Duo v1,这是业界首个基于“双向世界模型”的全双工音视频交互系统。不同于传统只能听或只能说的AI,Duo v1能像人一样边听边说,自主决定何时开口、何时倾听,并实时生成口型表情一致的虚拟形象视频。它支持自然打断、多角色切换,完全开源且可本地部署,为数字人陪伴、智能客服和教育辅导提供
不再只是“问答机器”:Duo v1 带来的交互变革
以往的数字人或者语音助手,基本都走“你问我答”的单线程路子:用户讲完,AI 处理,再给出回复。简单查询还行,一旦碰上需要情感交流、复杂协作的场合,这种模式就露出短板,生硬,也缺少“人味”。用户若在 AI 说话时插嘴,多数系统要么直接忽略,要么硬把话讲完,体验随之打了折扣。
蚂蚁技术研究院和西湖心辰近日联手开源了 Duo v1,想打破的就是这个僵局。它并非语音识别加文本生成的简单拼装,而是一套具备“双向世界模型”(Reciprocal World Model)能力的全双工音视频交互系统。说白了,Duo v1 把虚拟主体真正放进了交互环境里:它能像真人那样,一边听你讲话,一边看你的表情,同时自行判断是接着听还是马上接话,并实时生成与之匹配的语音和面部视频。
核心突破:什么是“双向世界模型”?
要看清 Duo v1 的价值,得先明白传统模型卡在哪里。传统的“世界模型”多用来模拟物理环境,例如预测视频的下一帧,或游戏角色的移动轨迹。在这种模式下,智能体往往是被外部指令操控的 NPC(非玩家角色),被动接收输入、执行动作。
Duo v1 的“双向世界模型”走的不是这条路。它把智能主体内化为世界的一部分,虚拟主体与世界共用同一个交互时空。也就是说,模型既感知外部环境(用户的语音和视频),又带有内部决策机制。它不再是一段被动等指令的代码,而是一个能感知、能决策、能表达的独立主体。
这套架构的关键,是两个紧密耦合的模块:Intent(意图)和 Realization(实现)。
Intent 模块相当于虚拟人的“大脑”。它以约 0.7 秒为一个时间片,连续处理用户的输入和交互历史。在这段极短的时间窗口里,Intent 模块既要弄懂用户说了什么,也要判断当下语境:该继续听用户讲完,还是该插话回应?若要回应,又该说什么?最终,它输出一个决策信号(<speak> 或 <wait>)以及相应的语言内容隐状态。
Realization 模块则负责“嘴巴”和“脸”。它接收来自 Intent 的隐状态,结合用户当前的音视频输入,联合生成音频波形和视频帧。关键在于,这个过程是因果一致的。借助特定的注意力掩码机制,模型在生成任何时刻的内容时都“偷看”不到未来的输入。训练阶段和实际推理阶段的行为逻辑由此完全一致,传统生成模型中常见的时序错乱问题也就避开了。
为什么“全双工”和“原生决策”很重要?
市面上不少产品号称支持“全双工”,可很多只是在服务端做了快速切换,或者靠预设的策略脚本撑着。Duo v1 的区别,在于决策的“原生性”。
在 Duo v1 里,何时说话、何时倾听,并非外部规则引擎硬编码出来的,而是 Intent 模块依据上下文动态生成。每隔 0.7 秒,模型就重新评估一次状态。用户正滔滔不绝地讲,模型会选择<wait>,保持倾听姿态;用户一停顿或发问,模型则迅速切到<speak>,生成回应。
这套机制带来几个能直接感受到的体验提升:
- 自然的打断响应:用户随时可以在 AI 说话时插话。Duo v1 能检测到这一中断,马上停下当前生成,再依据新的输入调整回应策略。这更贴近真人对话里的“抢话”或“补充”,而不是机械地按脚本播放。
- 视听一致性:音频和视频由 Realization 模块联合生成,口型、表情与语音内容在时间轴上高度同步。声音到了嘴还没动,或者表情和语气对不上,这类尴尬不会出现。
- 身份与情感稳定:长对话中,模型能保持角色视觉外观和情绪状态的连贯。不管扮演一只猫咪还是动漫少女,其神态变化都贴合角色设定和对话语境。
技术背后的训练难题与解决方案
要做到上述功能并不容易,研发团队主要啃下了两块硬骨头:分布偏移和实时性。
先说分布偏移。训练阶段,模型用的通常是录制好的人类对话数据;到了实际推理,它听到的是自己先前生成的声音,看到的也是自己生成的画面。训练数据和推理数据分布对不上,模型就容易掉进错误累积的恶性循环,对话随之崩溃。
为此,Duo v1 引入了 Dual Rollout 技术。训练第二阶段,Intent 模块被冻结,Realization 模块改用自身合成的音视频历史数据来训练。模型由此习惯了“听自己说话”的环境,长期交互的稳定性大幅提升。
实时性同样是一道坎。音视频生成的计算开销很大,毫秒级的交互响应很难做到。为此,团队设计了三阶段训练策略:
- 第一阶段:让 Intent 模块学会判断何时参与,并完成文本预测;再用动作感知重平衡纠正“等得太久”的偏差。
- 第二阶段:把 Intent 模块冻结,转而训练 Realization 模块,做因果式的联合视听生成。
- 第三阶段:借助分布匹配蒸馏,把原本复杂的生成流程压成一个 4 步就能跑完的快速生成器。这样一来,模型在消费级硬件上也能做到接近实时的响应。
数据来源分两块:合成数据与真实录制数据。合成数据先由大语言模型按控制卡片写出剧本,再逐块生成视频,同时拿一段固定的开场视频当参照,压住误差累积。真实数据则要过 ASR(自动语音识别)、VAD(语音活动检测)、说话人分离、时间轴对齐这几道处理,保证格式统一、质量可控。
如何部署和使用 Duo v1?
Duo v1 的一大特点是完全开源:代码、模型权重、技术报告都放了出来,统一采用 Apache 2.0 协议。开发者和研究者可以自行下载、修改、部署。
不过,想在本地跑起来并不轻松。官方文档列出的环境要求如下:
- 硬件:至少要 2 张支持 CUDA 的 GPU。音视频生成的计算负载摆在那里,显存需求不低。
- 软件:Linux 操作系统、Python 3.10+,还需要 FFmpeg。
部署流程大致是这几步:
- 克隆仓库:从 GitHub 拉取 Duo v1 的代码库。
- 配置虚拟环境项目要建两个彼此独立的 Python 虚拟环境。
.venv-model一个用来跑 Realization 和 Intent 模块,先装与 CUDA 版本匹配的 PyTorch,再装相关依赖;.venv-speech另一个专门处理语音部分。 - 下载权重模型包可以从
HuggingFace 下载完整版inclusionAI/Duo-1.2-causal-base,里面含 ASR 和对齐模型。想推理更快的话,也可以下基础版Duo-1.0-causal-base,再叠加蒸馏版Duo-1.0-distill,这样就能拿到 4 步实时生成的能力。 - 配置路径把示例配置文件复制一份
inference.example.json为inference.json,然后在里面填好各模块的可执行文件路径和模型权重目录。 - 启动服务:执行启动命令,服务会在本地的 4173 端口监听。
- 交互测试:用浏览器打开指定地址,上传或录制一段视频,就能看到 Duo v1 实时给出回应。
没有本地部署条件的用户,眼下主要靠自建服务器,或者等后续可能上线的云端演示服务。跟调用闭源 API 相比,本地部署前期投入确实更大,可数据隐私更有保障,也不用按调用次数付费。
应用场景:从陪伴到协作
Duo v1 的技术特性,让它在不少领域都有落地的可能:
- 一是 AI 陪伴与情感支持,这也是最直观的用法。用户能有一个形象固定的虚拟伙伴,比如猫咪、动漫角色之类。全双工加上情感一致的视听输出,闲聊起来更自然,情感慰藉也接近真人。
- 二是在线教育。虚拟老师除了讲知识,还能借摄像头观察学生的反应。学生要是露出困惑,老师可以自己调整讲解节奏,或者把重点再讲一遍;学生提问,老师也能当场回应,课堂真正互动起来。
- 三是智能客服与导购。电商或服务场景里,数字人客服可以一边看用户展示的商品或问题,一边作答。用户随时打断追问细节,客服照样接得住,服务效率和专业感都能提上去。
- 四是远程协作。远程会议或一起做规划时,虚拟同事能参与讨论,帮忙改计划。比如商量生日派对怎么安排、方案怎么设计,AI 可以提建议并实时反馈,协作的沉浸感更强。
- 五是无障碍交互。视障或听障用户面对同时有语音和可视化形象的界面,沟通门槛会低一些。情感一致的输出,也有助于双方更准确地理解意图,交流的包容性随之提升。
与 Gemini Live 等竞品的对比
拿 Duo v1 和 Google 的 Gemini Live 等主流产品比一比,能看出两者定位不一样:
| 对比维度 | Duo v1 | Gemini Live |
|---|---|---|
| 核心范式 | 双向世界模型,主体内化于世界 | 实时多模态 API,专注对话理解 |
| 输出形态 | 音视频联合生成,有虚拟形象 | 仅语音输出,不生成形象 |
| 交互决策 | 原生自主决策,每 0.7s 判断说/听 | 全双工,但节奏由服务端策略调控 |
| 开放程度 | 完全开源,支持自托管 | 闭源 API,按 Token 计费 |
| 部署门槛 | 高,需本地 GPU 资源 | 低,调用 API 即可 |
| 语言支持 | 以中英为主 | 支持 90+ 种语言 |
Duo v1 的长处是开源,并且把虚拟形象整合得深,适合要定制数字人、看重数据隐私,或者想深入研究交互机制的开发者和企业。Gemini Live 胜在语言覆盖广、用起来方便,适合大众消费者的日常通用场景。
结语
Duo v1 开源,意味着全双工音视频交互技术从实验室往社区迈了一步。它也说明,只要架构设计得当,AI 完全能甩掉“问答机器”的刻板印象,成为能自主决策的交互主体。本地部署的门槛还在,不过随着硬件成本下降、模型继续优化,这类带“人味”的 AI 交互方式,未来几年有望进入日常生活和工作。
对开发者来说,Duo v1 是一套完整的参考实现,双向世界模型的理论框架也好,Dual Rollout 这类工程技巧也好,都值得细看和借鉴。普通用户这边,也许用不了多久,就能在更多应用里体验到这种自然、流畅、带情感的数字人交互。