多项指标排名第一,全双工实时交互系统MOSS-Live发布
机器之心发布还记得电影《Her》里的 Samantha 吗?2013 年,导演斯派克・琼斯在这部电影里描绘了一个令人着迷的未来:一个没有实体的 AI 操作系统,却能像真人一样,和男主角 Theodore 谈天说地。她会开玩笑,会主动开启话题,能觉察到男主的情绪和意图,也能自然地转换话头。更神奇的是,她不只会聊天,还能一
电影《Her》里的 Samantha,还有印象吗?
2013 年,导演斯派克・琼斯执导的这部影片描画了一幅让人着迷的未来图景:一个没有实体的 AI 操作系统,却能和男主角 Theodore 像真人一样谈天说地。
她会开玩笑,会主动挑起话题,能察觉男主的情绪和意图,话头转换也很自然。更妙的是,聊天之外她还能同时处理邮件、整理日程,参与到 Theodore 的日常生活里去。
十多年过去了,这样的 AI,我们似乎终于离得更近了一些。
这几年 AI 语音技术的进步大家都看在眼里。从语音识别(ASR)到语音合成(TTS),模型不光能听懂人说了什么,生成的声音也越来越自然、越来越有表现力。跟 AI 来一场语音交流,早就不是什么新鲜事。
可要真把它当成 Samantha 聊上几句,毛病很快就露出来了:它总弄不清什么时候该开口,什么时候该闭嘴。
你话还没说完,它可能就抢着回答;你只是随口「嗯」了一声,它却当成你想打断;聊到一半让它帮忙查点东西,原本顺溜的对话又卡进了等待。
说到底,AI 在「说话」上越来越像人了,可真正实时又自然地「对话」,它还不太在行。
这背后不只是语音识别和生成的事,还牵扯到 AI 能不能在持续交流中理解语义、把握对话节奏、管理上下文,并且同时处理手上正在进行的任务。
就在今天,模思智能发布的全双工实时交互系统 MOSS-Live,想在这个方向上再往前走一步。
MOSS-Live 可以边说边持续倾听,靠语义理解来判断何时该回应、何时该等待。哪怕中途多次被打断、话题来回切换,它也能记住此前聊到了哪里。
视频链接:https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg
再进一步,MOSS-Live 支持实时视频与屏幕共享,能结合画面理解对话场景;借助工具调用与后台异步执行,它在保持对话的同时还能查信息、规划行程、完成复杂任务,结果回来后主动反馈。流式同声传译也在支持之列。
从此次官方公布的 Benchmark 看,MOSS-Live 在多项实时语音交互指标上领先 GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex 等实时语音系统。
目前 MOSS-Live 已开放在线体验与 API 接入,API 还提供限时免费的使用机会。
API 接入与体验:https://platform.moss.cn
那 MOSS-Live 到底是怎么做到的?让 AI 一边聊天一边处理复杂任务,需要什么样的技术架构?放到多人会议、车载、旅行、跨语言实时交流这些真实场景里,它的实际表现又怎么样?
模思智能官网:https://www.moss.cn
01 如何实现真正的全双工?
要搞清 MOSS-Live 带来的变化,得先弄明白什么叫全双工。
通信领域里,全双工指的是双方能同时发送和接收信息。打电话时两个人可以同时开口;用传统对讲机,一般就得轮流说。眼下不少语音 AI 的交互方式,其实更接近后者。
系统往往靠静音时长来机械判断用户是不是说完了,然后再识别、理解、回复。用户说到一半停下来想想,AI 可能以为这句话已经结束;用户在 AI 回答时随口附和,系统又可能把它当成打断指令。
而 MOSS-Live 想做的全双工,显然不只是让 AI 在说话时也能收音。真正的难点在于,让系统理解这些声音在当前对话里到底意味着什么。
MOSS-Live 要持续结合语义和对话状态来做判断:什么时候接着说,什么时候保持沉默,什么时候该接受打断,哪些声音不需要回应。
能自然地交流,只是问题的一半。有些对话会涉及外部工具调用,或者多轮搜索与推理。如果 AI 非得等全部查询结束才能继续说话,原本顺畅的对话就容易卡在等待上。可要是让它一边交流一边执行任务,又怎么保证两者互不干扰?
模思智能此次给出的答案,正是围绕上述难题展开的。
前后台协同,是 MOSS-Live 拿出的架构方案。
前台交互模型管的是实时感知与对话,持续接收语音、画面和环境声音,跟踪当前对话状态,判断何时倾听、回应、等待或者接受打断。后台模型承担复杂推理与长程任务执行。用户提出需要更深思考或长程复杂任务的请求时,前台会把任务连同相关上下文交给后台异步处理,当前对话不必暂停等结果。记忆、上下文和任务状态管理,把前后台串在一起。
按用户设定的规则,MOSS-Live 还能主动交互。比如要求 AI 在背诵过程中发现错误就及时纠正,或者在会议讨论里留意特定事项,条件满足后主动提醒,不用每次等明确指令。
02 多项全双工指标领先,MOSS-Live 的实际表现如何?
以往评价语音 AI,看的往往是识别准确率、语音生成质量、响应速度,以及模型能不能正确回答某个问题。
可一旦 AI 开始参与连续对话,这些指标显然不够用了。实时语音交互系统要面对一组新的评价维度:语义判停、打断处理、无关声音拒识、上下文恢复,以及任务执行过程中的响应效率与可靠性。
那么,MOSS-Live 在这些能力上的实际表现究竟如何?
模思智能公布了 MOSS-Live 与 GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex、Qwen Audio 3.0 Plus/Flash 等系统的对比评测,覆盖全双工交互、语音理解、多轮对话及工具调用等多个维度。
先看最直接影响对话体验的全双工能力。
在 FDB v1 测试中,MOSS-Live 的停顿抢话率(不含附和)为 1.44%,大幅低于 GPT Realtime 2.1 的 3.83%、GPT-Live-1 的 10.37% 和 Doubao SeedDuplex 的 14.29%。
换句话说,用户说话时出现正常停顿,MOSS-Live 更不容易误以为对方已经说完,从而提前接话。
而在 FDB v1.5 的无关语音误接话测试中,MOSS-Live 的误接话率仅为 2.00%;同一测试中,其他参评系统的这一指标在 68% 至 88% 之间。MOSS-Live 的无关打断拒识率也达到 68%,在参评系统中最高。
类似的优势也出现在 τ-Voice 抗干扰测试中。
面对用户随口发出的附和声,MOSS-Live 的附和抗干扰率达到 98.17%;在口头禅和无关语音干扰测试中,其抗干扰率分别达到 82.16% 和 78.90%,均位列参评系统第一。
在语音理解与多轮对话评测中,MOSS-Live 同样表现出一定的竞争力。
FDB v1 的上下文衔接测试里,MOSS-Live 被打断后给出的回答拿到 4.88 分(满分 5 分),在参评系统中排第一;FDB v2 的场景处理测试覆盖实体跟踪、纠错与安全,其综合得分是 3.63 分(满分 5 分),同样是最高分。
除此之外,工具调用也是衡量实时语音智能体能否真正“边聊边做事”的一项重要能力。
在 FDB v3 工具调用评测中,MOSS-Live 的成功率为 51%,和 Doubao SeedDuplex 并列最高,在 τ-Voice 的多轮任务评测中,MOSS-Live 的成功率为 57.93%,仅次于 GPT-Live-1。
这些指标说明,实时语音 AI 的较量已经不只是看单次回答准不准,还开始看整段对话能不能保持自然、连贯,以及任务能不能稳稳办完。
那么,当这些能力被放进具体的生活和工作场景,又会带来怎样的体验?
03 当 AI 开始真正融入现实生活
模思智能另外放出了几段 Demo,覆盖多人会议、车载助手、实时视频导览、跨语言沟通等场景,用来直观呈现 MOSS-Live 的交互表现。
多人会议是第一段。一场活动筹备会议里,MOSS-Live 以 AI 参会者身份加入多人讨论:它能分辨旁人随口附和和真正打断的区别,还会顺着讨论进度主动去查上海、杭州的天气和同期大型活动,挑合适时机开口,会议结束后把结论和待办事项整理出来。从旁听到理解,再到主动递信息,MOSS-Live 已经不只是等着被提问的语音助手,开始试着参与多人协作。
视频链接:https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg
另一段演示发生在驾车途中。用户让 MOSS-Live 安排舟山两日自驾游,中途临时改了偏好,还穿插着问船票、停车费用和住宿选择。MOSS-Live 按新要求调整行程,同时在后台接着查酒店;话题切换了好几次,用户一要求,它仍能恢复之前的规划。路上导航语音响过多回,也没有被当成用户指令误识别。
视频链接:https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg
MOSS-Live 还能借视频通话、屏幕共享这类方式,拿到更多现场环境信息。官方另有一段上海旅游 Demo:一名外国游客用手机跟 MOSS-Live 对话,AI 先按游客所处位置,排出途经外滩、南京路的游览路线。走到外滩,游客举起手机问眼前建筑是什么,MOSS-Live 结合实时画面认出和平饭店,随即讲起相关历史。游客临时改问房价和餐饮,它也能跟着新需求去查,之后再接着讲之前的建筑。
视频链接:https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg
流式同声传译同样在支持范围内。系统一边持续接收源语言语音,一边实时输出目标语言,跨语言交流不必总等对方把整段话说完;不过实际延迟表现还会受网络等因素影响。
当然,从演示走到大规模实际使用,系统在复杂噪声、长时间连续交互、多人同时发言等情况下的稳定性,仍需进一步检验。
回看近几年 AI 交互领域的发展,语音 AI 正在尝试转向能够持续参与交流、理解场景并执行任务的实时智能体。
对开发者来说,这种变化也意味着下一代语音应用的开发方式可能改变。过去,开发者或许只要把 ASR、大语言模型和 TTS 串起来,就能搭出一个基本的语音问答系统。
不过,AI 若要真正常驻会议、充当实时助手,或在视频通话里持续干活,打断处理、并发任务、上下文同步、多模态输入、执行状态管理这些环节一个都绕不开。
眼下 MOSS-Live 的在线体验和 API 接入均已开放,API 还限时免费。实时语音助手、会议协作、跨语言沟通、多模态智能体等场景,开发者都可以拿去试。
API 接入与体验:https://platform.moss.cn
模思智能官网:https://www.moss.cn
除了 MOSS-Live,模思智能近期也是动作不断。
10 月中旬,模思智能宣布完成超 10 亿元 Pre-A 轮融资,华控基金领投。就在两周前,这家公司刚把 5B 参数的图像生成模型 MOSS-Image 开源,主攻更精准的文字渲染与 Layout 布局控制,在海内外开发者和 AI 创作者社区迅速走红,Hugging Face 模型下载量突破 300 万;新一代 MOSS-TTS 2.0 则已进入 Preview 内测,马上正式上线,继续打磨声音克隆、情绪控制等能力,目标是更自然、更有表现力、也更可控的语音生成。
一边关注图像如何生成与控制,一边探索声音如何更自然地表达,MOSS-Live 则要让 AI 在真实环境中持续感知、交流与行动。三者面向的任务并不相同,放在一起看,模思智能正围绕视觉、语音与实时交互逐步拓展多模态模型能力,推进全模态实时交互智能的研发与能力建设。
放到整个行业看,这或许也是下一阶段 AI 的一个看点:单一模态的生成与理解能力渐趋成熟之后,怎么让它们彼此配合,撑起既自然连贯、又能边聊边执行任务的智能交互,会是接下来的重头戏。