OhanTTS:亚美尼亚语流式TTS与克隆怎么解决?
Metric-AI团队推出了专注于亚美尼亚语的文本转语音模型OhanTTS。该模型支持8种语言,具备3-10秒声音克隆能力,并采用流式生成技术,首字延迟低至331毫秒。文章介绍了其性能指标、实际听感演示、开源协议及当前版本的技术局限,为多语言语音交互提供了新的开源选择。
亚美尼亚语的语音合成,为什么需要一套专门的方案
在自然语言处理这块,小语种得到的支持通常比英语、中文这些大语种慢一拍。亚美尼亚语用户想找一款发音自然、反应又快的文本转语音(TTS)工具,并不容易。市面上多数通用 TTS 模型碰到亚美尼亚语,不是口音听着别扭,就是要等整段音频全部生成完才能播放,延迟很明显。
Metric-AI 团队拿出的 OhanTTS,针对的正是这两个问题。它能读亚美尼亚语,但定位不止于此——这是一套面向实时交互场景做过优化的流式语音生成系统。靠着增量生成机制,OhanTTS 收到文本后大约三分之一秒就能开始往外送音频,人机对话的顺畅度因此提升不少。
OhanTTS 有哪些核心特性
OhanTTS-v0.1 是这个项目第一个公开版本。它主打亚美尼亚语,底层架构却来自多语言语音模型,所以英语、西班牙语、阿拉伯语、俄语、普通话、日语和法语也能支持。八种语言的训练数据合计约 160 小时参考录音,其中亚美尼亚语占 61 小时。这样的配比,既让亚美尼亚语达到母语级别,也留住了多语言切换的能力。
声音克隆和定制能力
参考声音克隆是 OhanTTS 最抓眼球的功能之一。用户给出一段 3 到 10 秒的清晰音频样本,再附上对应的文本转录,模型就能学着这个声音的特征生成新语音。开发者可以借此为应用定制独有的品牌声音,普通用户也能用自己的声音做内容创作。
克隆之外,OhanTTS 还提供“声音设计”。手头没有参考音频也没关系,用文本描述就能生成特定音色。比如输入“male, moderate pitch”(男性,中等音高),模型就会输出符合描述的男声。碰上缺少特定角色录音素材的情况,这个功能相当好用。
流式生成,不用干等
传统 TTS 模型一般要收下完整文本,全部算完再一次性返回音频文件。文本一长,用户可能得等上好几秒甚至更久,才听到第一个字。OhanTTS 换成了流式架构:完整文本仍然要一次性发送,但音频是边生成边输出的。
这么做带来的直接好处,是“首字延迟”(Time to First Audio)压得很低。单客户端测试里,从发出请求到听见第一个声音只要 331 毫秒。对实时对话机器人或者辅助阅读应用来说,这种近乎即时的反馈能明显缩短用户感知到的等待,交互也更自然。
性能表现和技术指标
为检验 OhanTTS 的实际效果,开发团队在测试集上做了评估,测试集包含没见过的说话人和文本。评估看的主要指标有词错误率(WER)、字符错误率(CER)和说话人相似度(SIM-o)。
结果是这样的:OhanTTS 合成亚美尼亚语时 WER 为 14.70%,CER 为 6.15%。这两项指标衡量的是生成语音交给自动转录系统识别时有多准,数值越低,说明发音越清晰、越标准。声音克隆这边,SIM-o 得分 0.693,意味着生成语音在音色特征上和参考说话人相似度较高。
并发处理能力如何
硬件上,测试跑在单块共享的 NVIDIA GB10 GPU 上,通过本地 HTTP 服务输出流式 PCM 音频。不同并发客户端数量下的性能数据如下:
- 1 个客户端:首字延迟 331 毫秒,实时因子(Real-time factor)0.178,每秒处理 0.69 个请求,生成 5.59 秒音频/秒。
- 2 个客户端:首字延迟 464 毫秒,实时因子 0.236,每秒处理 0.90 个请求,生成 7.30 秒音频/秒。
- 4 个客户端:首字延迟 651 毫秒,实时因子 0.302,每秒处理 1.36 个请求,生成 11.02 秒音频/秒。
- 8 个客户端:首字延迟 1,142 毫秒,实时因子 0.505,每秒处理 1.88 个请求,生成 15.33 秒音频/秒。
- 16 个客户端:首字延迟 2,169 毫秒,实时因子 0.841,每秒处理 2.52 个请求,生成 20.52 秒音频/秒。
从数据看,哪怕 16 个客户端同时并发,OhanTTS 的生成速度依然快过实时播放速度(实时因子小于 1),也就是说服务器有能力持续输出音频而不卡顿。当然,实际部署时的表现还会受硬件配置、请求长度和服务器负载影响。
实际听感演示
纸面数据之外,实际听感更能说明模型质量。处理亚美尼亚语时,OhanTTS 对语言的韵律和情感捕捉得比较好。
演示片段里,模型读了一段关于“Dzenov Ohan”的传说:“They say when Dzenov Ohan shouted, all of Sasun could hear. His voice reached beyond the mountains.”(据说当Dzenov Ohan大喊时,整个Sasun都能听到。他的声音传到了山的那一边。)发音准确之外,语调起伏也把故事的氛围带了出来。
另一段日常对话演示中,模型用亚美尼亚语说:“Hello, I'm Dzenov Ohan, from Sasun. I'm glad I can talk with you today.”(你好,我是来自Sasun的Dzenov Ohan。很高兴今天能和你交谈。)男声女声都试过,停顿和呼吸感都还在,机器音那种平铺直叙的毛病没有出现。
英语合成同样不弱。自我介绍片段里,它用流利的英语讲:“Hi, I'm Ohan. I was built for Armenian, but I speak English too, and I'd be happy to read anything you'd like.”可见模型在多语言环境下泛化能力不错,并没有因为主攻亚美尼亚语就把其他语言的质量丢掉。
开源协议与使用方式
OhanTTS-v0.1 采用 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 许可证发布。研究人员、教育工作者和非商业项目可以免费使用,商业用途则被禁止。这套许可策略想的是推动社区协作和技术积累,同时也保住开发团队的权益。
技术实现上,OhanTTS 通过 SGLang-Omni 框架对外提供服务,并兼容 OpenAI 的/v1/audio/speech接口。有了这层兼容,开发者接入的门槛低了不少——凡是熟悉 OpenAI API 的工具链,都能直接调用 OhanTTS。官方 Cookbook 里放了完整的声音克隆和流式传输代码示例,上手会快很多。
当前版本的局限性
作为早期版本,OhanTTS 还有几个已知问题,用的时候得留意:
- 单次生成时长有限制:每个请求最多产出约 20 秒音频。文本更长的话,建议在前端或后端拆成多段,依次发送。
- 标点符号的处理也不够理想。亚美尼亚语特有的标点(如«՝», «՛», «՜», «՞»)本该用来控制停顿、重音和语调,模型有时没法完全照着这些符号调整朗读节奏,听感就偏平淡。
- 生僻词同样容易读错,罕见人名或外来词汇都可能中招。这其实是所有 TTS 系统都绕不开的难题,一般靠优化训练数据或者引入发音字典来解决。
- 代码切换是另一个坑:同一段落里混用多种语言(比如亚美尼亚语里夹英语单词),偶尔会发音出错甚至生成中断。纯语言环境下,模型的表现要稳得多。
- 声音克隆的效果还高度依赖参考音频——清晰度和转录文本的准确性都得跟上。背景噪音、回声或者转录错误,都会让克隆出来的声音质量明显下滑。
开发团队还特别提醒,用声音克隆功能必须拿到说话人的明确许可,个人隐私和肖像权都得尊重。
未来规划:双向流式传输
OhanTTS 下一步的重点是“双向流式”(bistreaming)。现在的流式只做到了音频输出这一头,输入仍然要等完整文本。双向流式则不同:模型可以接收分块的文本输入,文本还没全部到齐就开始生成语音。
这个特性对和大语言模型(LLM)搭配的应用很关键。LLM 逐字往外吐回复时,OhanTTS 能同步把已生成的部分读出来,端到端的实时语音对话才算真正成立。LLM 写出第一个词,用户那边就能听到声音,等待感基本消失。
双向流式之外,团队还会继续打磨跨语言的发音鲁棒性,并让单次生成时长支持得更长。随着社区反馈和迭代推进,OhanTTS 有希望成为亚美尼亚语乃至多语言语音交互领域的重要基础设施。
对开发者来说,眼下正是试试 OhanTTS 的时候。做多语言有声读物、虚拟助手,或者探索小语种语音技术的空间,它都算一个质量不错、也容易集成的起点。