ZONOS3-Mini开源：1亿参数跑边缘，实时语音克隆来了？

摆脱“机器味”：ZONOS3-Mini 来了

做语音合成（TTS）时，行业里长期卡在两头：一头追求极致的自然度和情感表现，可代价是模型体积大、算力开销高，本地设备根本没法实时跑起来；另一头为了速度牺牲音质，出来的声音平平淡淡，电子味很重，一听就是“机器音”。

Zyphra 新出的 ZONOS3-Mini 想把这个僵局撬开。它不只是一个在实验室里刷分的模型，而是一个真正奔着边缘计算去的开源项目，目标是让高质量语音克隆进浏览器、进手机。

最抓眼球的是它的“瘦身”。ZONOS3-Mini 只有 1 亿个激活参数，总参数量 8 亿，对比前代 ZONOS2 那个 80 亿参数的 backbone，体量缩了一大截。可数字会骗人——它在多项基准测试里压过了 Fish Audio、Qwen TTS 等知名开源模型，某些指标上甚至逼近专有商业模型。另外，它支持 43 种语言，用户还能对声音做像素级的精细控制：调口音也好，改说话时的情绪张力也好，都不用重新训练模型。

速度快，靠的是什么？

ZONOS3-Mini 的速度优势不是靠简单剪枝换来的，根子在底层架构被重做了一遍。团队在音频表示、序列建模和说话人表征这三个关键环节上下了不少功夫。

1. 音频编码器换了更聪明的方案：ZAC-1

传统神经音频编解码器（比如 DAC）重建音质确实好，但帧率高达 86 Hz，自回归模型扛不住这么重的负担，生成延迟就上去了。Zyphra 为此专门训练并开源了 Zyphra Audio Codec 1 (ZAC-1)。

ZAC-1 把帧率压到 15 Hz，输出采样率仍有 44.1 kHz。它用的是双重编码策略：第一个码本负责量化语义特征，其余九个码本处理声学残差。这么设计，后面的 Transformer 骨干网建模起来轻松不少。数据能说明问题：在同样的数据约束下，基于 ZAC-1 训练的 TTS 模型，词错误率（WER）比基于 DAC 的模型低 10 倍，声学相似度也更高。

2. 混合架构：Gated DeltaNet + Latent MoE

ZONOS3-Mini 没有一味堆注意力机制，而是用了混合序列混合器。11 层网络里，9 层是 Gated DeltaNet (GDN)——一种循环结构，处理长序列擅长，计算效率也高；另外 2 层用全局多头注意力机制，专门抓长距离依赖。两者搭配，模型在 32,768 个位置的上下文窗口里都能高效工作，连续 10 分钟的音频也处理得下来。

模型还引入了潜在混合专家（Latent MoE）机制。每个令牌只激活 64 个专家中的 2 个，于是模型总参数容量保持 8 亿，每次推理却只动用 1 亿参数。这套稀疏激活策略，是它能在消费级硬件上实时推理的关键。

3. 双模说话人表征

为了让克隆出来的声音更像“本人”，ZONOS3-Mini 弃用了之前的 Qwen3-TTS 编码器，换成 MECT-B2 说话人验证模型。克隆模式有两种：

• 上下文参考模式：喂一段最多 60 秒的参考音频，模型从中提取韵律特征，生成的语音自然、不僵硬。
• 直接嵌入模式：使用 192 维的 MECT-B2 嵌入向量。这种方式更紧凑，适合做语音预设，也为后面的“机械可控性”打了底。

声音控制，像调音台一样

多数 TTS 模型只能做到“像某人说话”，ZONOS3-Mini 往前走了一步，能做到“让某人以某种方式说话”。这靠的是它的机械可控性（Mechanistic Controllability）设计。

借助激活 steering（Activation Steering）技术，用户在推理过程中就能直接干预模型内部状态，声音的各种属性随之调整，不用重新训练，也不用微调。

声音设计：定制你的角色

声音的物理特征，可以像调均衡器那样去调：

• 口音切换：同一个说话人的音色不变，口音从美式英语切到英式南部口音，甚至澳大利亚口音都行。测试里发音变化很明显，身份特征却保持住了。
• 年龄模拟：调一调年龄向量，同一个声音可以听上去像 25 岁的青年、45 岁的中年人或者 75 岁的老人。实现方式主要是改共鸣和音色纹理。
• 性别呈现：在男性化、女性化和中性之间平滑过渡，靠的是调整共振峰和音高。
• 音色纹理这一项里，把“柔和度”往上调就能做出气声效果，而“沙哑度”加大则添上粗糙的质感。两类控制都是连续变化的，因此可以做出很细微的混合。

表达控制：注入情绪与节奏

物理特征之外，说话方式本身也在 ZONOS3-Mini 的调节范围内：

• 局部耳语：句子中的某个片段，比如“我没说”，可以单独指定为耳语，其余部分照常保持正常音量。实现方式是监控对齐注意力头。
• 情绪意图：同一句“你回来了。我不确定你会来。我整晚都在等。”，能演出温暖的释然，也能演出克制的愤怒，或者紧张的焦虑。办法是调整快乐、愤怒、恐惧这些情绪向量，模型便能抓住微妙的情感色彩。
• 语速与投射：语速从缓慢刻意到快速轻快都能调，清晰度不会因此打折扣，平台号、出发时间这类关键信息依旧准确。投射控制则能造出从耳边低语到隔着房间喊话的距离感。
• 生动性：音调变化与节奏兴趣一经调整，叙述就能从 restrained（克制）转向 highly animated（生动活泼）。

性能实测：在手机上也能动起来

理论再好，落地才是硬道理。ZONOS3-Mini 在多种硬件上的表现令人印象深刻：

• Pixel 9 手机：在浏览器中运行，首字音频延迟（TTFA）低于 570 毫秒。
• M3 MacBook Air：TTFA 低于 150 毫秒。
• 单张 H100 GPU：中位 TTFA 仅为 80 毫秒，峰值吞吐量达到实时的 457 倍。

这意味着它不光能部署在服务器上提供低成本 API，也能完全跑在客户端，用户隐私因此得到保护。推理后端方面，Zyphra 提供了多种选择：SGLang-Omni、面向 Apple Silicon 的 MLX、C++/ggml（支持 CPU、CUDA、Metal、Vulkan），以及 WebGPU。

开源生态与评估基准

Zyphra 这次开源的内容相当全面：Apache 2.0 许可的模型权重、MIT 许可的运行时代码，还有全新的评估基准 ZTTS2-Eval。

ZTTS2-Eval 的覆盖范围包括 35 种语言的干净语音评估，以及 20 种语言的野外说话人克隆评估。为避开单一评估器带来的偏差，它把 Qwen3-ASR 与 Whisper Large v3 结合起来，并引入基于项目反应理论（IRT）的能力指数。在 ZTTS2-Eval 排行榜上，ZONOS3-Mini 位列开源加权模型第一，排在 Fish S2 Pro 和 MOSS TTS v1.5 之前。

对开发者来说，上手门槛极低。零样本克隆可以直接在 Hugging Face Space 里体验，本地服务则用一行命令就能启动：

sgl-omni serve --model-path Zyphra/ZONOS3-Mini --port 8000

之后就能走标准的 OpenAI 兼容接口来调用：

curl -X POST http://localhost:8000/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello from ZONOS3-Mini!"}' \
  --output output.wav

结语

ZONOS3-Mini 的出现，意味着 TTS 技术走到一个转折点：高质量语音合成不再是大模型的专利。高效的架构设计加上精细的控制机制，让实时、个性化、可控制的语音交互成为可能。游戏 NPC 的动态配音、有声书的个性化朗读、辅助沟通工具，这些场景里 ZONOS3-Mini 都拿得出一个强大且灵活的开源基座。

WebGPU 逐渐铺开，本地 AI 推理能力也在跟上。照这个势头，用不了多久，应该会有更多应用把这么复杂的语音模型直接放到端侧跑，让私密、即时、表现力足的语音体验真正落到用户手上。