Duo v1开源:全双工音视频交互,数字人告别单线程问答?

资讯 AI 应用前沿 全文 4137 字 · 约 11 分钟读完 配图 1 张 分类开源教育 AI端侧 AI

蚂蚁技术研究院与西湖心辰联合开源了Duo v1,这是业界首个基于“双向世界模型”的全双工音视频交互系统。不同于传统只能听或只能说的AI,Duo v1能像人一样边听边说,自主决定何时开口、何时倾听,并实时生成口型表情一致的虚拟形象视频。它支持自然打断、多角色切换,完全开源且可本地部署,为数字人陪伴、智能客服和教育辅导提供

所属频道 行业落地AI 硬件与终端开源生态

不再只是“问答机器”:Duo v1 带来的交互变革

以往的数字人或者语音助手,基本都走“你问我答”的单线程路子:用户讲完,AI 处理,再给出回复。简单查询还行,一旦碰上需要情感交流、复杂协作的场合,这种模式就露出短板,生硬,也缺少“人味”。用户若在 AI 说话时插嘴,多数系统要么直接忽略,要么硬把话讲完,体验随之打了折扣。

蚂蚁技术研究院和西湖心辰近日联手开源了 Duo v1,想打破的就是这个僵局。它并非语音识别加文本生成的简单拼装,而是一套具备“双向世界模型”(Reciprocal World Model)能力的全双工音视频交互系统。说白了,Duo v1 把虚拟主体真正放进了交互环境里:它能像真人那样,一边听你讲话,一边看你的表情,同时自行判断是接着听还是马上接话,并实时生成与之匹配的语音和面部视频。

核心突破:什么是“双向世界模型”?

要看清 Duo v1 的价值,得先明白传统模型卡在哪里。传统的“世界模型”多用来模拟物理环境,例如预测视频的下一帧,或游戏角色的移动轨迹。在这种模式下,智能体往往是被外部指令操控的 NPC(非玩家角色),被动接收输入、执行动作。

Duo v1 的“双向世界模型”走的不是这条路。它把智能主体内化为世界的一部分,虚拟主体与世界共用同一个交互时空。也就是说,模型既感知外部环境(用户的语音和视频),又带有内部决策机制。它不再是一段被动等指令的代码,而是一个能感知、能决策、能表达的独立主体。

这套架构的关键,是两个紧密耦合的模块:Intent(意图)和 Realization(实现)。

Intent 模块相当于虚拟人的“大脑”。它以约 0.7 秒为一个时间片,连续处理用户的输入和交互历史。在这段极短的时间窗口里,Intent 模块既要弄懂用户说了什么,也要判断当下语境:该继续听用户讲完,还是该插话回应?若要回应,又该说什么?最终,它输出一个决策信号(<speak> 或 <wait>)以及相应的语言内容隐状态。

Realization 模块则负责“嘴巴”和“脸”。它接收来自 Intent 的隐状态,结合用户当前的音视频输入,联合生成音频波形和视频帧。关键在于,这个过程是因果一致的。借助特定的注意力掩码机制,模型在生成任何时刻的内容时都“偷看”不到未来的输入。训练阶段和实际推理阶段的行为逻辑由此完全一致,传统生成模型中常见的时序错乱问题也就避开了。

为什么“全双工”和“原生决策”很重要?

市面上不少产品号称支持“全双工”,可很多只是在服务端做了快速切换,或者靠预设的策略脚本撑着。Duo v1 的区别,在于决策的“原生性”。

在 Duo v1 里,何时说话、何时倾听,并非外部规则引擎硬编码出来的,而是 Intent 模块依据上下文动态生成。每隔 0.7 秒,模型就重新评估一次状态。用户正滔滔不绝地讲,模型会选择<wait>,保持倾听姿态;用户一停顿或发问,模型则迅速切到<speak>,生成回应。

这套机制带来几个能直接感受到的体验提升:

  1. 自然的打断响应:用户随时可以在 AI 说话时插话。Duo v1 能检测到这一中断,马上停下当前生成,再依据新的输入调整回应策略。这更贴近真人对话里的“抢话”或“补充”,而不是机械地按脚本播放。
  2. 视听一致性:音频和视频由 Realization 模块联合生成,口型、表情与语音内容在时间轴上高度同步。声音到了嘴还没动,或者表情和语气对不上,这类尴尬不会出现。
  3. 身份与情感稳定:长对话中,模型能保持角色视觉外观和情绪状态的连贯。不管扮演一只猫咪还是动漫少女,其神态变化都贴合角色设定和对话语境。

技术背后的训练难题与解决方案

要做到上述功能并不容易,研发团队主要啃下了两块硬骨头:分布偏移和实时性。

先说分布偏移。训练阶段,模型用的通常是录制好的人类对话数据;到了实际推理,它听到的是自己先前生成的声音,看到的也是自己生成的画面。训练数据和推理数据分布对不上,模型就容易掉进错误累积的恶性循环,对话随之崩溃。

为此,Duo v1 引入了 Dual Rollout 技术。训练第二阶段,Intent 模块被冻结,Realization 模块改用自身合成的音视频历史数据来训练。模型由此习惯了“听自己说话”的环境,长期交互的稳定性大幅提升。

实时性同样是一道坎。音视频生成的计算开销很大,毫秒级的交互响应很难做到。为此,团队设计了三阶段训练策略:

  1. 第一阶段:让 Intent 模块学会判断何时参与,并完成文本预测;再用动作感知重平衡纠正“等得太久”的偏差。
  2. 第二阶段:把 Intent 模块冻结,转而训练 Realization 模块,做因果式的联合视听生成。
  3. 第三阶段:借助分布匹配蒸馏,把原本复杂的生成流程压成一个 4 步就能跑完的快速生成器。这样一来,模型在消费级硬件上也能做到接近实时的响应。

数据来源分两块:合成数据与真实录制数据。合成数据先由大语言模型按控制卡片写出剧本,再逐块生成视频,同时拿一段固定的开场视频当参照,压住误差累积。真实数据则要过 ASR(自动语音识别)、VAD(语音活动检测)、说话人分离、时间轴对齐这几道处理,保证格式统一、质量可控。

如何部署和使用 Duo v1?

Duo v1 的一大特点是完全开源:代码、模型权重、技术报告都放了出来,统一采用 Apache 2.0 协议。开发者和研究者可以自行下载、修改、部署。

不过,想在本地跑起来并不轻松。官方文档列出的环境要求如下:

  • 硬件:至少要 2 张支持 CUDA 的 GPU。音视频生成的计算负载摆在那里,显存需求不低。
  • 软件:Linux 操作系统、Python 3.10+,还需要 FFmpeg。

部署流程大致是这几步:

  1. 克隆仓库:从 GitHub 拉取 Duo v1 的代码库。
  2. 配置虚拟环境项目要建两个彼此独立的 Python 虚拟环境。.venv-model一个用来跑 Realization 和 Intent 模块,先装与 CUDA 版本匹配的 PyTorch,再装相关依赖;.venv-speech另一个专门处理语音部分。
  3. 下载权重模型包可以从 HuggingFace 下载完整版inclusionAI/Duo-1.2-causal-base,里面含 ASR 和对齐模型。想推理更快的话,也可以下基础版Duo-1.0-causal-base,再叠加蒸馏版Duo-1.0-distill,这样就能拿到 4 步实时生成的能力。
  4. 配置路径把示例配置文件复制一份inference.example.json 为 inference.json,然后在里面填好各模块的可执行文件路径和模型权重目录。
  5. 启动服务:执行启动命令,服务会在本地的 4173 端口监听。
  6. 交互测试:用浏览器打开指定地址,上传或录制一段视频,就能看到 Duo v1 实时给出回应。

没有本地部署条件的用户,眼下主要靠自建服务器,或者等后续可能上线的云端演示服务。跟调用闭源 API 相比,本地部署前期投入确实更大,可数据隐私更有保障,也不用按调用次数付费。

应用场景:从陪伴到协作

Duo v1 的技术特性,让它在不少领域都有落地的可能:

  • 一是 AI 陪伴与情感支持,这也是最直观的用法。用户能有一个形象固定的虚拟伙伴,比如猫咪、动漫角色之类。全双工加上情感一致的视听输出,闲聊起来更自然,情感慰藉也接近真人。
  • 二是在线教育。虚拟老师除了讲知识,还能借摄像头观察学生的反应。学生要是露出困惑,老师可以自己调整讲解节奏,或者把重点再讲一遍;学生提问,老师也能当场回应,课堂真正互动起来。
  • 三是智能客服与导购。电商或服务场景里,数字人客服可以一边看用户展示的商品或问题,一边作答。用户随时打断追问细节,客服照样接得住,服务效率和专业感都能提上去。
  • 四是远程协作。远程会议或一起做规划时,虚拟同事能参与讨论,帮忙改计划。比如商量生日派对怎么安排、方案怎么设计,AI 可以提建议并实时反馈,协作的沉浸感更强。
  • 五是无障碍交互。视障或听障用户面对同时有语音和可视化形象的界面,沟通门槛会低一些。情感一致的输出,也有助于双方更准确地理解意图,交流的包容性随之提升。

与 Gemini Live 等竞品的对比

拿 Duo v1 和 Google 的 Gemini Live 等主流产品比一比,能看出两者定位不一样:

对比维度 Duo v1 Gemini Live
核心范式 双向世界模型,主体内化于世界 实时多模态 API,专注对话理解
输出形态 音视频联合生成,有虚拟形象 仅语音输出,不生成形象
交互决策 原生自主决策,每 0.7s 判断说/听 全双工,但节奏由服务端策略调控
开放程度 完全开源,支持自托管 闭源 API,按 Token 计费
部署门槛 高,需本地 GPU 资源 低,调用 API 即可
语言支持 以中英为主 支持 90+ 种语言

Duo v1 的长处是开源,并且把虚拟形象整合得深,适合要定制数字人、看重数据隐私,或者想深入研究交互机制的开发者和企业。Gemini Live 胜在语言覆盖广、用起来方便,适合大众消费者的日常通用场景。

结语

Duo v1 开源,意味着全双工音视频交互技术从实验室往社区迈了一步。它也说明,只要架构设计得当,AI 完全能甩掉“问答机器”的刻板印象,成为能自主决策的交互主体。本地部署的门槛还在,不过随着硬件成本下降、模型继续优化,这类带“人味”的 AI 交互方式,未来几年有望进入日常生活和工作。

对开发者来说,Duo v1 是一套完整的参考实现,双向世界模型的理论框架也好,Dual Rollout 这类工程技巧也好,都值得细看和借鉴。普通用户这边,也许用不了多久,就能在更多应用里体验到这种自然、流畅、带情感的数字人交互。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  2. 豆包工作三月成绩单:DAU超800万,企业ARR破20亿

    11月18日,豆包宣布生产力AI产品“豆包工作”上线三个月,日活用户突破800万,企业客户年度经常性收入超20亿元,B端AI商业化增速强劲。该产品8月25日发布,深耕专业办公场景;11月16日上线“工作台”,首批覆盖金融、医疗、教育、创意设计等21个垂直专业领域,提供预配置行业功能。

    来源 AI 产业速递
  3. 苹果自研AI智能体曝光:让它替你操作Mac

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,苹果有机会

    来源 AI 行业观察
  4. 无界方舟Edge0-145B实测:端侧智能体编程比肩云端

    作者|黄小艺微信|H997Hbiu很长一段时间里,端侧 AI 都像是云端智能的妥协版。为了塞进耳机、手机和电脑,模型只能在能力和资源之间做取舍:参数小一点,占用少一点,模型笨一点,能干的活也跟着少一点。谈起端侧 AI,功耗、内存、时延总是绕不过去。于是有了一个常见的分工:日常简短交互留在本地,复杂任务还得上云。“...

    来源 腾讯网
  5. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  6. 满屏校园App装不下“方便”二字 | 新京报快评

    原因在于,学生需要的是便捷的校园服务,而非为办一件小事,便被迫下载一个新的App:洗澡,要注册、扫码、充值;偶尔填写问卷、查询通知,又得打开不同的平台。 也因此,高校不妨发挥自身的专业和人才优势,鼓励相关专业…

    来源 搜狐科技
  7. Bug0 发布 QA Agent,利用缓存的 Playwright 回放实现回归测试自动化

    Linearbytes 发布了 Bug0 QA Agent,这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大

    来源 AI 行业观察
  8. LingBot-VLA 2.0:1855队角逐,具身智能谁补位?

    编辑|杜伟一台 2000 块买来的双臂机器人,实验做到一半,两个舵机坏了,怎么办?复旦大学 FDU_SONIC 战队的四名学生,干脆把几台机械臂拆开,拆下零件,再拿去修另一台。好不容易让设备重新运转起来,更现实的问题还在后面:就算模型在仿真环境里跑出高分,他们平时也很难摸到真机。一台科研双臂机器人动辄数万元,对多数高校

    来源 腾讯网
  9. 机械革命发布大师之路X10:RTX Spark平台,All in AI落地端侧

    11月19日,机械革命大师之路X10新品发布会在杭州举行。会上,机械革命正式发布基于NVIDIA RTX Spark平台打造的企业桌面AI主机——大师之路X10。发布会汇聚中国信通院、阿里巴巴及众多产业生态伙伴,共同探讨端侧AI的技术创新与应用前景,为人工智能赋能新质生产力发展带来新的实践。 “AI竞争进入下半场!”机

    来源 AI 行业观察
  10. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  11. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  12. 安谋科技“周易”X3:FP4端侧SoC将量产,X3-pro在筹备

    11月19日,ICCAD-Expo 2026在北京开幕,安谋科技CEO陈锋在高峰论坛发表题为《Agentic AI时代,算力价值重塑与产业新机遇》的主旨演讲,并重磅披露两大产品进展:国内首颗基于“周易”X3架构、原生支持FP4的端侧SoC即将量产,面向Agentic AI全场景计算的“周易”X3-pro升级版也蓄势待发

    来源 快科技
  13. 韩国满分考生被举报AI作弊后身亡

    据韩媒19日报道,因考试作弊疑云受到关注的韩国法学适性考试(LEET)满分考生李镇宇(音译),当天在首尔千户站附近一家住宿设施内被发现时处于心脏骤停状态,最终不幸身亡。 在韩中国人“@韩国放大镜”向潇湘晨报·晨视频记者表示,韩国新闻报道称,李镇宇现年32岁,是首尔大学牙科学院学生。他曾在2013年韩国高考中取得各科6至

    来源 AI 行业观察
  14. Edge AI Daily 早报(11月20日)

    Anthropic以83美元定价登陆纳斯达克,首日高开34%,估值约1.5万亿美元;亚马逊谷歌合计持股28.4%,算力承诺近9000亿美元。英伟达Q3营收1158亿美元,董事会接触Arm CEO哈斯接替黄仁勋。OpenAI因训练环境漏洞停训11天,亚利桑那调查AI代理访问银行;谷歌发布Gemini 4 Neon,苹果推

    来源 AI 行业观察
  15. 华为云发布具身智能模型:不造机器人,造机器人的世界

    机器人缺的不是身体,是经验。新眸原创·作者 | 棠宁中国具身智能企业里,每五家就有四家选择昇腾云。这个比例是华为云在发布会上自己披露的。同一天,华为云发布并开源了CloudRobo-WM1.2,7B参数,基于Wan2.2视频骨干,在RoboTwin2.0和LiberoPro2.0两个评测基准中排名第一。一个云厂商,先让

    来源 腾讯网
向下滚动自动加载更多