AI降临派开源Sophon-Realtime：单卡部署的全双工语音模型

全双工语音这次有了新玩法

过去用语音助手，感觉像拿着对讲机：你讲完，它听完，接着才回话。中间一停顿，它可能就当成你说完了；你要是突然插一句，它多半还在照着自己的稿子往下念。放到真人对话里，这种节奏其实很别扭。

AI降临派（Adventists AI）近日开源了 Sophon-Realtime v1，想解决的正是这个毛病。这是一个32B参数的全双工语音模型，核心能力是“边听边说”。它能实时分辨你是讲完了、还在琢磨，还是单纯换口气。你中途插话，它会马上停掉当前回复，转去处理你的新问题。更有意思的是，它不光听得懂字面意思，笑声、叹气、犹豫甚至反话也能识别，回话时还会配上对应的语气——真的笑一声或者叹口气，而不是干巴巴地把文字念出来。

这个模型为何受关注

开源社区里，全双工语音模型不算稀罕，但 Sophon-Realtime v1 在几项关键指标上很能打。VoiceBench 语音评测中它拿到82.8分，在开源全双工模型里排第一，跟 GPT-4o-mini-Audio 打平。看重推理能力的开发者也能找到亮点：Big Bench Audio 的1000道语音推理题，它答对81.8%，此前开源最佳模型 Raon SpeechChat 只有58%。

听得准之外，它说起来也更像真人。NVV-SuperBench 测试里，Tag 版本中文得分0.86，英文0.80。这说明它在笑声、清嗓子、换气这类副语言特征上模拟得比较自然。虚拟陪伴、游戏NPC这些需要情感交互的场景，恰恰吃这一套细节。

部署门槛低也是它的卖点。参数规模到了32B，优化却做得相当紧凑。一张80GB显存的显卡（比如H100或A100），一条命令就能把服务起起来。Flash 版本首包延迟低至0.31秒，单卡支持40路并发；Tag 版本延迟约0.6秒，支持16路并发。放到企业级应用里，这个性能撑起中等规模的客服中心或智能硬件终端不成问题。

技术原理：流水线做减法，一个模型全包

过去的语音助手一般是多个模块串起来干活：语音识别（ASR）把话转成文字，自然语言理解（NLU）处理意图，自然语言生成（NLG）写回复，最后语音合成（TTS）把声音读出来。这条流水线不光结构复杂，每个环节还都要添一点延迟，对话节奏自然就拖沓了。

Sophon-Realtime v1 走的是更端到端的路子。音频数据持续喂进同一个32B模型，模型每次只用一个 token 就能判断用户的话轮状态：说完了、还在说、在附和还是在思考。独立的静音检测和话轮判断模块都不需要了，架构因此简单了不少。

为了做到“随时插话”，模型用的是“提前起草，准时开口”的办法。用户第一次停顿时，模型就在背后悄悄起草回复。一旦判定轮到自己，立刻开口。用户要是接着说，草稿自动作废，不会抢话。这么一来，对话顺了很多，干等的尴尬也少了。

另外，模型生成回复时会同步标出声音标签，比如[laughter]（笑声）、[sigh]（叹气）、[cough]（咳嗽）或 <strong>（重读）。Tag 和 Flash 版本共用同一个“大脑”，只是换了不同的声音模型来“表演”这些标记。关键是这些标签不会被念出来，而是转成对应的情感语调。

数据管理上，它把双方的真实音频存作对话历史。用户打断时，系统只保留用户实际听到的那部分，保证下一轮不会接错话，也不会重复已经说过的内容。传统系统里常见的上下文混乱，就这样被绕开了。

三个版本，按需选择

Sophon-Realtime v1 一共给出三个版本，对应不同需求：

• Tag 版：表现力最强，适合对情感交互要求高的场景，比如虚拟恋人、游戏NPC。它的声音标签丰富，多种情绪都能模拟。
• Flash 版：响应最快，首包延迟仅0.31秒，适合对实时性要求极高的场景，比如智能客服、车载助手。它在保住良好音质的同时，把速度放在第一位。
• E2E 版：研究预览版，适合研究人员摸索端到端语音模型的潜力。

三个版本共用同一个32B参数的大脑，理解能力因此是一致的，差别主要在声音合成的策略和优化方向上。

上手使用方法

对开发者来说，Sophon-Realtime v1 的接入过程比较简单。官方给了 Apache-2.0 许可，代码和权重都能商用。

第一步，准备一个 Linux 环境，装好 CUDA 和 Python 3.12。然后运行pip install sophon-realtime安装库。启动服务只需运行sophon-realtime serve第一次启动时，系统会自动拉取大约42GB的 Tag 权重，下载完成后，服务就在8000端口上开始监听。

接口调用分两条路走：一条是借助做全双工交互，实时对话场景更适用；另一条则通过实现语音输入、文字加语音输出，走的是传统请求-响应那套模式。ws://HOST:8000/v1/realtimePOST /v1/chat/completions

想看看实际效果，可以跑一下官方给出的示例脚本，发一段语音过去再听回复。眼下可选的音色有python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zhvivian_zh、chelsie 等。

有定制需求的企业用户，模型还能基于 ms-swift 做 LoRA 微调。准备 jsonl 格式的对话数据就行，音频部分用标注，回复里加上这类标签，再执行<audio>[laughter]这条命令即可。在80GB显卡上，就能训练出带有特定人设、口吻或者领域知识的模型。swift sft

另外，它兼容 OpenAI GPT-Live 协议。在引擎旁边跑一个 Live 模式脚本，把 Sophon 当成负责“听和说”的前端，后端接上自己的大模型。银行、政务这类需要处理复杂业务逻辑的行业适合这种架构：Sophon 管自然的语音交互，后端大模型管查数据和执行任务。

和同类竞品比一比

市面上的开源全双工模型里，MiniCPM-o 4.5 是另一个绕不开的名字。两者的侧重点并不相同：

• 定位上，Sophon-Realtime 专门做全双工语音对话，MiniCPM-o 则是全模态通用模型，全双工只是它众多特性中的一项。
• 参数和架构方面，Sophon 是32B参数，用单 token 判断话轮状态；MiniCPM-o 是9B参数，靠 TDM 时分复用同步多模态流。
• 性能上，VoiceBench 测试中 Sophon 拿到82.8分，MiniCPM-o 是76.1分。不过视觉能力上，MiniCPM-o 接近 Gemini 2.5 Flash，OCR和文档解析更强一些。
• 部署条件差别不小：Sophon 要1张80GB显卡，走的是云端部署路线；MiniCPM-o 做 INT4量化后只需11-12GB显存，RTX 5070 级消费卡能跑，手机端也能跑。
• 声音克隆这块，MiniCPM-o 用3秒参考音频就能克隆音色，相似度达92.7%；Sophon 眼下提供的是多种固定音色，还没有强调即时克隆。

到底选哪个，得看具体需求。想要极致的语音交互体验和较强的推理能力，手上又有云端GPU资源，Sophon-Realtime 是个不错的选择。如果要在端侧设备（比如手机、笔记本）上跑，或者对视觉理解要求高，MiniCPM-o 可能更对路。

应用场景展望

Sophon-Realtime v1 延迟低、并发能力强，落到具体场景里挺实用：

• 智能客服方面，Flash 版的高并发和低延迟能撑起大规模呼叫中心。它能听出客户的情绪，在多步工具调用中把对话保持连贯，服务效率随之提升。
• AI 陪伴与虚拟角色方面，Tag 版的情感表现力适合做虚拟恋人、心理陪伴助手或者游戏NPC。自然的 laughs 和 sighs 让角色更显真实。
• 车载语音助手方面，全双工特性让驾驶员随时插话，不用唤醒词。响应延迟低，又能理解语气，还能辅助判断驾驶员状态，行车安全也多一层保障。
• AI 硬件这块，团队的技术已经用在300多款硬件产品上。Apache-2.0 许可让它方便集成进智能音箱、玩具、机器人等设备，这些设备也能因此获得更自然的对话能力。
• 企业语音智能体方面，借助 Live 模式，企业能把 Sophon 当作语音前端，后端接上私有化部署的大模型，做符合银行、航空等行业规范的定制服务。

Sophon-Realtime v1 是开源语音模型朝更自然、更高效交互方向走出的重要一步。技术指标上有突破，工程落地和商用许可上也把门槛降了下来，开发者可选的余地更多了。