零样本音色克隆
只需一段 3 秒的陌生说话人录音作为声学提示，无需针对该说话人做额外微调，即可合成该音色的个性化语音。
VALL-E
AI TOOL PROFILE工具资料微软的神经编解码语言模型，3 秒录音即可零样本克隆音色合成语音
官网地址 https://www.microsoft.com/en-us/research/project/vall-e-x/vall-e
价格官网未标价
平台—
归类大模型与开发平台
收录2026-10-11
复核2026-10-11
编辑评分
4.2 / 5
★★★★☆
VALL-E编辑总结
VALL-E 是微软研究院提出的文本到语音合成方法，把 TTS 当作条件语言建模任务，用神经音频编解码器派生的离散 code 训练语言模型，而不是传统的连续信号回归。预训练阶段把英语语音数据扩展到 60K 小时，是既有系统的数百倍。它因此具备上下文学习能力：只需一段 3 秒的陌生说话人录音作为声学提示，就能合成高质量的个性化语音，并能保留提示音里的情绪与声学环境。在同页展示的样例中，VALL-E 与零样本 TTS 基线系统 YourTTS 做了对比。目前该页仅用于研究演示，微软未公开任何价格、订阅档位或商用授权方案，也没有给出可直接调用的产品入口。
VALL-E是什么？
VALL-E 是微软研究院（Microsoft Research）推出的语音合成研究方向，全称是 Neural Codec Language Models for Speech Synthesis。它面向的是文本到语音合成（TTS）任务，定位为研究演示项目，而非面向普通消费者的成型产品。
与以往「音素 → 梅尔频谱 → 波形」的三段式流水线不同，VALL-E 的流水线是「音素 → 离散 code → 波形」。它用现成的神经音频编解码器模型派生出的离散 code 训练一个神经编解码语言模型，把 TTS 视为条件语言建模任务，而不是连续信号回归。预训练数据扩展到 60K 小时的英语语音，是既有系统的数百倍，这让模型具备了上下文学习能力。
实际能力上，VALL-E 只需 3 秒的陌生说话人录音作为声学提示，就能合成高质量的个性化语音，并可在合成中保留提示音的情绪与声学环境。除零样本 TTS 外，它还能直接支撑语音编辑，以及与 GPT 等生成式 AI 模型结合的内容创作场景。开发者与研究者可以从官方项目页获取模型原理与样例，普通用户目前只能通过演示样例感受效果，尚没有直接可用的产品化入口。
VALL-E核心功能
离散 code 语言建模
把 TTS 当作条件语言建模任务，用神经音频编解码器派生的离散 code 表示音频，替代此前连续信号回归的做法，流水线为音素 → 离散 code → 波形。
60K 小时预训练
预训练阶段把英语 TTS 训练数据扩展到 60K 小时，是既有系统的数百倍，为模型的上下文学习能力提供了数据基础。
情绪与声学环境保留
合成语音时可保留声学提示中的说话人情绪与录音环境特征，而不只是复刻音色本身。
多样化采样合成
得益于基于采样的离散 token 生成方式，给定同一对文本与说话人提示，用不同随机种子可合成出不同风格的个性化语音样本。
语音编辑与内容创作
除零样本 TTS 外，还可直接支撑语音编辑，以及与 GPT 等其他生成式 AI 模型结合的内容创作应用。
VALL-E值不值得用？
把它当研究方向看值得，把它当现成产品用则要谨慎。VALL-E 的硬指标很明确：流水线从「音素 → 梅尔频谱 → 波形」改成「音素 → 离散 code → 波形」，预训练用了 60K 小时英语语音，克隆音色只需要 3 秒录音，同页样例中还给出了与 YourTTS 的对照。这些让它在零样本 TTS 的语音自然度与说话人相似度上值得关注。但该页明确写着仅用于研究演示，没有公开价格、订阅档位与商用授权，也没有可直接调用的产品入口。想在业务里落地配音的用户，现阶段拿不到可付费使用的稳定服务。
建议选它的情况
- 研究者想了解离散 code 语言建模在 TTS 上的实现路线
- 需要评估 3 秒极短提示下的零样本音色克隆效果
- 想对照 YourTTS 等零样本 TTS 系统看语音自然度与说话人相似度
- 关注情绪与录音环境在合成中能否被保留的场景
不建议选它的情况
- 需要现成可付费、可商用授权的配音服务
- 要求官方给出 SLA 或稳定 API 的生产环境
- 只想做普通配音、不关心建模路线的日常使用者
VALL-E使用建议
入门先把路子走对
- 先看 Model Overview官方项目页的 Model Overview 一节用几行讲清了「音素 → 离散 code → 波形」，对比以往的「音素 → 梅尔频谱 → 波形」流水线，先读这里能省下大量翻论文的时间。
- 从对照样例切入页面按 LibriSpeech 与 VCTK 两个数据集分别给出 Ground Truth、Encodec / Vocos 重建、YourTTS 基线、VALL-E 样本的并列音频，先听这组对照最容易建立对效果的直观判断。
- 注意提示音频长度VCTK 样例把提示分成 3s_5s_10s 三档，对照听不同长度提示下的合成结果，能直接看出 3 秒提示与更长提示的差距。
进阶省时间也省钱
- 关注 Encodec 与 Vocos 差异同一段 VALL-E 输出同时给了 Encodec 与 Vocos 两个版本，跳过只看一个容易低估编解码器选择对最终音质的影响，建议成对对比。
- 用随机种子看多样性Synthesis of diversity 一节给同一对文本与提示配了 Sample1、Sample2 两个不同随机种子的输出，想评估合成稳定性时，这里是成本最低的观察窗口。
- 留意声学环境的影响Acoustic environment maintenance 一节的素材取自 Fisher 数据集，专门展示合成能否延续提示音里的录音环境，做有声书、播客场景时这一节比音色对比更相关。
VALL-E适合谁用？
语音合成研究者
推荐想复现或对比离散 code 语言建模路线，页面给出了从流水线设计到 60K 小时预训练规模的完整描述，适合做路线评估的起点。
做零样本 TTS 评估的团队
推荐页面并排给出 YourTTS 基线与 VALL-E 样本，并分 Encodec / Vocos 两种重建版本，可直接用于横向听测。
关注情绪与实录环境的创作者
推荐需要合成语音保留原始录音的情绪和空间感，页面的 Acoustic environment maintenance 一节正对这个需求。
需要可商用配音服务的团队
不推荐该页明确标注仅用于研究演示，官网未公开价格、商用授权与产品化入口，接商业项目前拿不到可落地的服务承诺。
只想快速配一段旁白的普通用户
不推荐没有面向普通用户的产品界面，官方只提供研究演示与样例音频，日常配音需求在这里得不到直接满足。
VALL-E优点和缺点
优点
- 预训练使用 60K 小时英语语音，是既有系统的数百倍
- 仅需 3 秒陌生说话人录音即可合成个性化语音
- 流水线改为音素 → 离散 code → 波形，区别于连续信号回归
- 合成时可保留提示音中的情绪与声学环境
- 同页给出与 YourTTS 基线的对照样例
- 支持语音编辑，可与 GPT 等生成式模型结合
缺点
- 页面明确标注仅用于研究演示，未提供产品化入口
- 订阅档位与商用授权方案
- 官网未说明可用地区与支持语言范围
- 公开信息以英语语音为主，其他语种未见说明
- 无官方 API 文档与调用配额说明
VALL-E关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 预训练英语语音规模 | 60K hours | VALL-E Family |
| 音色克隆所需录音长度 | 3-second | VALL-E Family |
VALL-E常见问题
VALL-E 需要多长的录音才能克隆音色？＋
3 秒。是用一段 3 秒的陌生说话人录音作为声学提示，就能合成高质量的个性化语音。页面的 VCTK 样例还把提示分成 3s_5s_10s 三档，可以对照听不同提示长度下的差异。
它和以前的 TTS 系统在做法上有什么不同？＋
以往流水线是音素 → 梅尔频谱 → 波形，属连续信号回归；VALL-E 改为音素 → 离散 code → 波形，用神经音频编解码器派生的离散 code 训练语言模型，把 TTS 当成条件语言建模任务，因此具备上下文学习能力。
合成出来的语音能保留原来的情绪和录音环境吗？＋
可以。中提到 VALL-E 能在合成时保留声学提示里的说话人情绪与声学环境。页面专门有一节 Acoustic environment maintenance，用取自 Fisher 数据集的音频和转写做展示。
同一段文本能合成出不同风格的语音吗？＋
可以。由于采用基于采样的离散 token 生成方式，给定同一对文本与说话人提示，用不同随机种子会得到不同的个性化语音样本。页面的 Synthesis of diversity 一节用 Sample1 与 Sample2 展示了这种差异。
VALL-E 现在能直接拿来商用配音吗？＋
不能。该页面明确写着仅用于研究演示目的，商用授权与产品化调用方式，现阶段拿不到可直接落地的商用配音服务。
除了文本转语音，它还能做什么？＋
里，VALL-E 可直接支撑零样本 TTS、语音编辑，以及与 GPT 等其他生成式 AI 模型结合的内容创作。也就是说它不局限于把文字读出来，还能用于对已有语音做编辑和与其他模型串联的创作流程。
VALL-E竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| VALL-E本工具 | 4.2 | 未标价 | 零样本音色克隆；离散 code 语言建模；60K 小时预训练；情绪与声学环境保留 | — |
| YourTTS本工具 | — | 未标价 | 在 LibriSpeech、VCTK、Fisher 三组样例中均作为基线样本与 VALL-E 并列展示，用于对照语音自然度与说话人相似度 | — |
官方页面把 YourTTS 作为零样本 TTS 的基线系统直接并排展示，覆盖 LibriSpeech、VCTK 与 Fisher 三组数据。若目标是了解当前零样本 TTS 的效果水位，两组样例可以对照着听；若关注离散 code 语言建模这条路线本身的实现与预训练规模，页面信息集中在 VALL-E 一侧。
