十亿参数模型
部署一个 10 亿参数的自回归 Transformer,先把原始文本转换成离散语音码,再交给卷积解码器生成波形。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
亚马逊十亿参数级语音合成模型,用十万小时公开语音数据训练
BASE TTS 是亚马逊推出的文本转语音模型,全称 Big Adaptive Streamable TTS with Emergent abilities。它部署了一个 10 亿参数的自回归 Transformer,把原始文本转换成离散语音码,再由卷积解码器以可流式的方式逐步合成波形。模型在 100K 小时公共领域语音数据上训练,在语音自然度上取得新的最优结果。它采用带说话人 ID 解耦和字节对编码压缩的新型语音分词技术,10K 小时以上数据、5 亿参数以上的版本在复杂句式上开始表现出自然韵律。
它面向需要高自然度语音输出的场景,研究者也在论文中共享了专门数据集来衡量语音合成中的涌现能力。
模型由两部分组成:一个 10 亿参数的自回归 Transformer 负责把原始文本转换为离散码(speechcodes),一个基于卷积的解码器负责把这些语音码以增量、可流式的方式转换成波形。语音码使用新型语音分词技术构建,具备说话人 ID 解耦与字节对编码压缩特性。训练数据规模为 100K 小时公共领域语音。
从展示的样本看,模型能覆盖英语与西班牙语,并用多个说话人声线演绎不同情绪与语气,包括疑问、惊呼、讽刺、悲伤和兴奋等。样本输入文本没有标注,音频也没有做后处理。
部署一个 10 亿参数的自回归 Transformer,先把原始文本转换成离散语音码,再交给卷积解码器生成波形。
卷积解码器以增量、可流式的方式把语音码转换成波形,适合需要边生成边播放的语音场景。
语音码采用新型语音分词技术,具备说话人 ID 解耦与字节对编码压缩特性,可分离说话人身份与语音内容。
在 100K 小时公共领域语音数据上训练,是迄今规模最大的文本转语音模型,语音自然度达到新的最优结果。
用 10K 小时以上数据和 5 亿以上参数构建的版本,在文本复杂的句子上开始展现自然韵律这一涌现能力。
公开样本覆盖 Speaker A 到 Speaker D 等多个声线,演绎疑问、惊呼、讽刺、悲伤与兴奋等不同情绪。
展示样本包含英语与西班牙语段落,可用同一声线朗读同一段情绪化台词,展示跨语言合成能力。
可对照论文与公开样本,研究百亿级数据与十亿参数下文本转语音的涌现能力与分词方案。
若关注流式合成与说话人解耦,可参考其卷积解码器架构,评估能否用于实时语音输出场景。
公开样本含英语与西班牙语,若目标语言正是这两种,可先听样本判断语气与情绪还原度。
官网未说明商用授权与使用限制,接入前需先确认授权范围再决定是否落地。
这是研究模型与样本展示页,没有面向普通用户的开箱即用编辑器,不适合直接拿来做日常配音。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 模型参数量 | 1-billion-parameter | 官网样本页对模型架构的说明 |
| 训练数据规模 | 100K hours | 官网样本页对训练数据的说明 |
| 涌现能力起始规模 | 10K+ hours and 500M+ parameters | 官网样本页对涌现能力的说明 |
它是亚马逊科学团队提出的文本转语音模型,全称 Big Adaptive Streamable TTS with Emergent abilities,相关论文题为《BASE TTS: Lessons from building a billion-parameter text-to-speech model on 100K hours of data》。模型把原始文本转换成离散语音码,再由卷积解码器生成波形,目标是高自然度的语音合成。
部署了一个 10 亿参数的自回归 Transformer,训练数据为 100K 小时公共领域语音。用 10K 小时以上数据、5 亿以上参数构建的版本,在文本复杂的句子上开始表现出自然韵律。
公开展示的样本包含 English 与 Spanish 两部分,英语样本用 Speaker A 到 Speaker D 多个声线,西班牙语样本用 Speaker E 声线,覆盖疑问、惊呼、悲伤等不同语气的台词。
论文中用包括 YourTTS、Bark、TortoiseTTS 在内的公开大规模文本转语音系统作为基线来评估自然度,并以这一对比展示 BASE TTS 的最优自然度表现。若关注的是自然度指标,可以直接参考论文中的这组基线对比。
样本页写明所展示的是模型产出的节选样本,输入文本没有标注,音频也没有做任何后处理。也就是说听到的效果就是模型直接生成的原始输出。