OhanTTS:亚美尼亚语流式TTS与克隆怎么解决?

资讯 AI 应用前沿 全文 3507 字 · 约 9 分钟读完 分类开源语音

Metric-AI团队推出了专注于亚美尼亚语的文本转语音模型OhanTTS。该模型支持8种语言,具备3-10秒声音克隆能力,并采用流式生成技术,首字延迟低至331毫秒。文章介绍了其性能指标、实际听感演示、开源协议及当前版本的技术局限,为多语言语音交互提供了新的开源选择。

所属频道 开源生态

亚美尼亚语的语音合成,为什么需要一套专门的方案

在自然语言处理这块,小语种得到的支持通常比英语、中文这些大语种慢一拍。亚美尼亚语用户想找一款发音自然、反应又快的文本转语音(TTS)工具,并不容易。市面上多数通用 TTS 模型碰到亚美尼亚语,不是口音听着别扭,就是要等整段音频全部生成完才能播放,延迟很明显。

Metric-AI 团队拿出的 OhanTTS,针对的正是这两个问题。它能读亚美尼亚语,但定位不止于此——这是一套面向实时交互场景做过优化的流式语音生成系统。靠着增量生成机制,OhanTTS 收到文本后大约三分之一秒就能开始往外送音频,人机对话的顺畅度因此提升不少。

OhanTTS 有哪些核心特性

OhanTTS-v0.1 是这个项目第一个公开版本。它主打亚美尼亚语,底层架构却来自多语言语音模型,所以英语、西班牙语、阿拉伯语、俄语、普通话、日语和法语也能支持。八种语言的训练数据合计约 160 小时参考录音,其中亚美尼亚语占 61 小时。这样的配比,既让亚美尼亚语达到母语级别,也留住了多语言切换的能力。

声音克隆和定制能力

参考声音克隆是 OhanTTS 最抓眼球的功能之一。用户给出一段 3 到 10 秒的清晰音频样本,再附上对应的文本转录,模型就能学着这个声音的特征生成新语音。开发者可以借此为应用定制独有的品牌声音,普通用户也能用自己的声音做内容创作。

克隆之外,OhanTTS 还提供“声音设计”。手头没有参考音频也没关系,用文本描述就能生成特定音色。比如输入“male, moderate pitch”(男性,中等音高),模型就会输出符合描述的男声。碰上缺少特定角色录音素材的情况,这个功能相当好用。

流式生成,不用干等

传统 TTS 模型一般要收下完整文本,全部算完再一次性返回音频文件。文本一长,用户可能得等上好几秒甚至更久,才听到第一个字。OhanTTS 换成了流式架构:完整文本仍然要一次性发送,但音频是边生成边输出的。

这么做带来的直接好处,是“首字延迟”(Time to First Audio)压得很低。单客户端测试里,从发出请求到听见第一个声音只要 331 毫秒。对实时对话机器人或者辅助阅读应用来说,这种近乎即时的反馈能明显缩短用户感知到的等待,交互也更自然。

性能表现和技术指标

为检验 OhanTTS 的实际效果,开发团队在测试集上做了评估,测试集包含没见过的说话人和文本。评估看的主要指标有词错误率(WER)、字符错误率(CER)和说话人相似度(SIM-o)。

结果是这样的:OhanTTS 合成亚美尼亚语时 WER 为 14.70%,CER 为 6.15%。这两项指标衡量的是生成语音交给自动转录系统识别时有多准,数值越低,说明发音越清晰、越标准。声音克隆这边,SIM-o 得分 0.693,意味着生成语音在音色特征上和参考说话人相似度较高。

并发处理能力如何

硬件上,测试跑在单块共享的 NVIDIA GB10 GPU 上,通过本地 HTTP 服务输出流式 PCM 音频。不同并发客户端数量下的性能数据如下:

  • 1 个客户端:首字延迟 331 毫秒,实时因子(Real-time factor)0.178,每秒处理 0.69 个请求,生成 5.59 秒音频/秒。
  • 2 个客户端:首字延迟 464 毫秒,实时因子 0.236,每秒处理 0.90 个请求,生成 7.30 秒音频/秒。
  • 4 个客户端:首字延迟 651 毫秒,实时因子 0.302,每秒处理 1.36 个请求,生成 11.02 秒音频/秒。
  • 8 个客户端:首字延迟 1,142 毫秒,实时因子 0.505,每秒处理 1.88 个请求,生成 15.33 秒音频/秒。
  • 16 个客户端:首字延迟 2,169 毫秒,实时因子 0.841,每秒处理 2.52 个请求,生成 20.52 秒音频/秒。

从数据看,哪怕 16 个客户端同时并发,OhanTTS 的生成速度依然快过实时播放速度(实时因子小于 1),也就是说服务器有能力持续输出音频而不卡顿。当然,实际部署时的表现还会受硬件配置、请求长度和服务器负载影响。

实际听感演示

纸面数据之外,实际听感更能说明模型质量。处理亚美尼亚语时,OhanTTS 对语言的韵律和情感捕捉得比较好。

演示片段里,模型读了一段关于“Dzenov Ohan”的传说:“They say when Dzenov Ohan shouted, all of Sasun could hear. His voice reached beyond the mountains.”(据说当Dzenov Ohan大喊时,整个Sasun都能听到。他的声音传到了山的那一边。)发音准确之外,语调起伏也把故事的氛围带了出来。

另一段日常对话演示中,模型用亚美尼亚语说:“Hello, I'm Dzenov Ohan, from Sasun. I'm glad I can talk with you today.”(你好,我是来自Sasun的Dzenov Ohan。很高兴今天能和你交谈。)男声女声都试过,停顿和呼吸感都还在,机器音那种平铺直叙的毛病没有出现。

英语合成同样不弱。自我介绍片段里,它用流利的英语讲:“Hi, I'm Ohan. I was built for Armenian, but I speak English too, and I'd be happy to read anything you'd like.”可见模型在多语言环境下泛化能力不错,并没有因为主攻亚美尼亚语就把其他语言的质量丢掉。

开源协议与使用方式

OhanTTS-v0.1 采用 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 许可证发布。研究人员、教育工作者和非商业项目可以免费使用,商业用途则被禁止。这套许可策略想的是推动社区协作和技术积累,同时也保住开发团队的权益。

技术实现上,OhanTTS 通过 SGLang-Omni 框架对外提供服务,并兼容 OpenAI 的/v1/audio/speech接口。有了这层兼容,开发者接入的门槛低了不少——凡是熟悉 OpenAI API 的工具链,都能直接调用 OhanTTS。官方 Cookbook 里放了完整的声音克隆和流式传输代码示例,上手会快很多。

当前版本的局限性

作为早期版本,OhanTTS 还有几个已知问题,用的时候得留意:

  1. 单次生成时长有限制:每个请求最多产出约 20 秒音频。文本更长的话,建议在前端或后端拆成多段,依次发送。
  2. 标点符号的处理也不够理想。亚美尼亚语特有的标点(如«՝», «՛», «՜», «՞»)本该用来控制停顿、重音和语调,模型有时没法完全照着这些符号调整朗读节奏,听感就偏平淡。
  3. 生僻词同样容易读错,罕见人名或外来词汇都可能中招。这其实是所有 TTS 系统都绕不开的难题,一般靠优化训练数据或者引入发音字典来解决。
  4. 代码切换是另一个坑:同一段落里混用多种语言(比如亚美尼亚语里夹英语单词),偶尔会发音出错甚至生成中断。纯语言环境下,模型的表现要稳得多。
  5. 声音克隆的效果还高度依赖参考音频——清晰度和转录文本的准确性都得跟上。背景噪音、回声或者转录错误,都会让克隆出来的声音质量明显下滑。

开发团队还特别提醒,用声音克隆功能必须拿到说话人的明确许可,个人隐私和肖像权都得尊重。

未来规划:双向流式传输

OhanTTS 下一步的重点是“双向流式”(bistreaming)。现在的流式只做到了音频输出这一头,输入仍然要等完整文本。双向流式则不同:模型可以接收分块的文本输入,文本还没全部到齐就开始生成语音。

这个特性对和大语言模型(LLM)搭配的应用很关键。LLM 逐字往外吐回复时,OhanTTS 能同步把已生成的部分读出来,端到端的实时语音对话才算真正成立。LLM 写出第一个词,用户那边就能听到声音,等待感基本消失。

双向流式之外,团队还会继续打磨跨语言的发音鲁棒性,并让单次生成时长支持得更长。随着社区反馈和迭代推进,OhanTTS 有希望成为亚美尼亚语乃至多语言语音交互领域的重要基础设施。

对开发者来说,眼下正是试试 OhanTTS 的时候。做多语言有声读物、虚拟助手,或者探索小语种语音技术的空间,它都算一个质量不错、也容易集成的起点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
  2. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  3. NVIDIA 开源连续扩散语言模型,14 个检查点同步放出

    2026年11月21日AI资讯:NVIDIA发布Nemotron-Labs-Sigma连续扩散语言模型并开源14个检查点;腾讯混元团队回应Hy4后训练空间及更大模型计划;Inkling 2 Mini上架Ollama降低本地智能体门槛;OpenAI反蒸馏防护将思考链提取成功率压至0.2%;Dragos揭露AI服务链隐私泄

    来源 AI 应用前沿
  4. AI编码效率被评审吃掉:哈佛718家企业数据与2026工具链新变量

    哈佛研究证实AI生成代码并未提升实际交付量,瓶颈已转移至评审环节。Code Mode与Harness架构演进将安全边界移入沙箱,开源工具正拆解工程硬墙。具身智能方面,南京智造大会与北京人形中心论文显示,行业焦点从表演转向落地成本与分层协同。整体趋势表明,AI行业已从技术叙事进入商业化验证、可审计性与稳定交付的深水区。

    来源 AI 应用前沿
  5. PostgreSQL 19 发布:并发 REPACK 与查询计划稳定性控制上线

    IT之家 11 月 21 日消息,当地时间 11 月 19 日,开源关系型数据库 PostgreSQL 19 正式发布。这一最新主版本带来在线表维护、查询计划稳定性、逻辑复制、异步 I/O 和 SQL 功能等多方面更新。官方同时提供适用于 Windows、Linux、macOS 等平台的安装程序、工具和源代码。 Pos

    来源 AI 行业观察
  6. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  7. 张博开源Linger本地版Muse:个人电脑跑Agent,准确率95%

    智东西(公众号:zhidxcom)作者 | 黄菲编辑 | 江宇智东西11月20日报道,昨夜,前DeepSeek研究员、Simplex AI创始人张博(Tony Zhang)宣布开源个人Agent Linger,号称要让Agent摆脱对云端数据中心的依赖,直接运行在用户自己的电脑上。项目发布后迅速引发关注,GitHub星

    来源 腾讯网
  8. 亚马逊披露中国背景AI代理11分钟自主攻破东亚医疗影像服务器零日漏洞

    亚马逊威胁情报披露,中国背景黑客利用开源AI渗透框架Cairn,指挥AI代理在9月对东亚大学医疗影像服务器发起攻击。代理在MONAI Label中发现路径遍历零日漏洞,11分钟内完成从API测绘到root权限获取的全流程。这是云厂商首次正式归因AI代理独立完成漏洞发现与利用的事件,MONAI Label补丁已于11月1

    来源 AI 行业观察
  9. ChatGPT语音听写升级:边说边出字,10分钟限制取消

    语音交互正在变得越来越即时、自然。OpenAI 宣布为 ChatGPT 正式引入全新的“实时听写”功能,让用户在对着麦克风说话的同时就能同步看到转写文字,进一步提升日常语音输入的效率。该功能将陆续面向全球 ChatGPT 用户开放,覆盖网页版、桌面客户端以及 iOS 和 Android 应用。 操作

    来源 AI 开发者社区
  10. ChatGPT语音听写上线:边说话边出字,10分钟限制取消

    语音交互正变得更即时自然。OpenAI宣布为ChatGPT正式引入“实时听写”功能,用户对麦克风说话时可同步看到转写文字,提升语音输入效率。该功能将陆续面向全球ChatGPT用户开放,覆盖网页版、桌面客户端及iOS、Android应用。操作更直观:边说边出字,说完还能直接修改,并大幅减少以往语音输入的等待时间。

    来源 AI 产业速递
  11. 火山引擎上线 SeedRealtime 1.0 API:端到端打通音视频通话

    实时多模态交互正在向更自然、更流畅的方向迈进。火山引擎近日正式上线了豆包实时音视频通话模型 SeedRealtime1.0的 API 服务,为开发者和相关应用提供了全新的实时音视频交互能力。 端到端统一建模:打破传统级联链路瓶颈 在过去的语音与多模态交互架构中,系统往往需要将语音识别(ASR)、视觉

    来源 AI 开发者社区
  12. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  13. DeepSeek-VL前负责人张博创业,Simplex AI开源个人智能体Linger

    一位DeepSeek早期核心成员,创业了。 11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。 为了降低普通电脑运行大模型的门

    来源 AI 行业观察
  14. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  15. 华为云开源CloudRobo-WM1.2:两项评测第一,11月30日开放权重

    11 月 16 日,华为云发布了昇腾原生具身世界模型 CloudRobo-WM1.2,并表示将在 11 月 30 日开放该模型权重、推理代码和后训练代码。该模型采用共享世界模型骨干网络,通过预测增强世界表征,并基于世界模型原生 DualAct 架构实现动作生成。据华为云介绍,CloudRobo-WM1.2 在 Robo

    来源 AI 行业观察
向下滚动自动加载更多