开源可自部署
代码与模型全部开源，可以用 Docker 在自己的电脑上运行，不必依赖云端服务，适合对数据流向有要求的团队。
Whisper Speech
AI TOOL PROFILE工具资料把 Whisper 反转为语音合成的开源文本转语音系统
价格约 $0.061 一次，每 $1 约 16 次
平台Web / API / Docker
归类配音与音频
收录2026-02-14
复核2026-02-14
编辑评分
4.5 / 5
★★★★☆
Whisper Speech编辑总结
Whisper Speech 是一套开源文本转语音系统，由 Collabora 开发、LAION 等机构提供数据与算力支持，核心思路是反过来使用 OpenAI 的 Whisper 来生成语义 token。它目前基于英文 LibreLight 数据集训练，可在 Replicate 云端运行，也可用 Docker 部署到自己的电脑上；说明后续版本会针对多语言。云端单次运行约 $0.061，也就是每 $1 约可跑 16 次，使用 Nvidia L40S GPU，预测一般在 63 秒内完成。明显的短板在于语音克隆目前只支持 ogg 文件，而且预测耗时受输入影响波动较大。
Whisper Speech是什么？
Whisper Speech 是一套开源的文本转语音系统，由 Collabora 负责代码开发与模型训练，LAION 参与社区建设与数据集，训练算力来自 Jülich 超级计算中心的 JUWELS Booster。它的前身叫 spear-tts-pytorch，团队希望把它做成语音领域的 Stable Diffusion——既强大又容易定制，并且只使用授权清晰的语音录音，代码全部开源，可安全用于商业应用。
它的架构借鉴了 AudioLM、Google 的 SPEAR TTS 与 Meta 的 MusicGen，并直接搭建在多个开源模型之上：用 OpenAI 的 Whisper 生成语义 token 并完成转写，用 Meta 的 EnCodec 做声学建模，再用 Charactr Inc 的 Vocos 作为高质量声码器。EnCodec 本身在 1.5kbps 下就能提供可接受的质量，配合 Vocos 可以进一步提升。目前模型在英文 LibreLight 数据集上训练，下一个版本会面向多语言，因为 Whisper 与 EnCodec 本身都支持多语言。
在 Replicate 上，普通用户可以直接在 Playground 里输入文本试听；开发者可以走 API，也可以自己用 Docker 在本地运行；团队用户则可以把这套开源模型接进自己的应用，或关注 LAION Discord 的 #audio-generation 频道参与社区。
Whisper Speech核心功能
云端直接试听
在 Replicate 的 Playground 页面输入文本即可生成语音，无需安装环境，适合先快速判断音色与效果是否合适。
API 调用
Replicate 提供 API 页面与示例，开发者可以把语音合成接进自己的程序里，按次计费，不需自己维护 GPU。
官方说明 ↗Whisper 语义建模
使用 OpenAI Whisper 的编码器模块生成嵌入并量化成语义 token；如果目标语言已被 Whisper 支持，这一步只需要音频文件，无需人工转写文本。
EnCodec 声学建模
用 Meta 的 EnCodec 对音频波形建模，默认状态下在 1.5kbps 就能给出合理音质，便于在带宽与质量之间取舍。
Vocos 高音质声码器
搭配 Charactr Inc 的 Vocos 声码器，把 EnCodec token 还原成质量更高的语音，是提升最终听感的关键一环。
语音克隆
支持语音克隆，但目前只接受 ogg 格式的音频文件，使用前需要先把素材转成 ogg，否则无法走通这条流程。
商用授权清晰
团队强调只使用授权规范的语音录音，代码全部开源，因此生成结果可以放心用于商业应用，这是它相对许多同类方案的核心卖点。
Whisper Speech适合谁用？
想快速试听的个人
推荐在 Replicate 的 Playground 输入文本就能听到结果，单次约 $0.061，不需要装任何环境。
需要商用授权的团队
推荐只使用授权清晰的录音训练，代码全开源，官方明确表示可安全用于商业应用。
要接进产品的开发者
推荐可以用 Replicate 的 API，也可以自己用 Docker 部署，两条路都通。
需要中文等多语言的用户
有条件当前模型只在英文 LibreLight 数据集上训练，多语言被官方列为下一个版本的目标。
需要稳定高速出音的用户
有条件官方说明预测时间受输入影响波动很大，云端预测通常在 63 秒内完成，不适合对延迟极度敏感的场景。
Whisper Speech优点和缺点
优点
- 完全开源，可用 Docker 在本地运行
- 代码可用于商业应用
- 云端单次约 $0.061，每 $1 约 16 次
- 在 Nvidia L40S GPU 上预测通常 63 秒内完成
- 搭建在 Whisper、EnCodec、Vocos 之上
缺点
- 目前仅在英文 LibreLight 数据集上训练
- 语音克隆只支持 ogg 格式文件
- 官方说明预测时间随输入波动较大
- 多语言版本尚未发布
Whisper Speech常见问题
用一次要多少钱？＋
在 Replicate 上运行约 $0.061 一次，也就是每 $1 大约可以跑 16 次。这个数字会随输入内容变化，官方也提示费用因输入而异，实际以官方页面为准。
可以免费用吗？＋
它是开源项目，代码公开，你可以用 Docker 在自己的电脑上运行，成本只来自你自己的硬件与电费，不需要按次付费。如果不想折腾环境，再考虑用云端按次计费。
现在的模型是什么水平、支持哪些语言？＋
当前模型训练在英文的 LibreLight 数据集上，所以主力场景是英文语音合成。官方计划在下个版本面向多语言，理由是 Whisper 与 EnCodec 本身就支持多语言。
语音克隆怎么用？＋
可以用，但官网明确说明目前语音克隆只支持 ogg 格式的文件。使用前请先把素材转成 ogg，其他格式无法走通这条流程，具体以官方页面为准。
生成多久能出来？＋
在 Replicate 上它跑在 Nvidia L40S GPU 上，预测一般在 63 秒内完成。不过官方也说明预测时长会随输入显著变化，长文本或复杂输入会更久。
生成的语音能商用吗？＋
团队只使用授权规范的语音录音，代码全部开源，因此模型可以安全用于商业应用。如果有具体合规要求，仍建议自行核对素材与输出内容。
国内能不能用？＋
官网未说明国内访问情况。开源部分可以自行用 Docker 在本地部署，不依赖海外服务；云端部分是否可访问需要。
Whisper Speech竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Whisper Speech本工具 | 4.5 | 约 $0.061 一次，每 $1 约 16 次 | 开源可自部署；云端直接试听；API 调用；Whisper 语义建模 | Web / API / Docker |
| F5-TTS | — | 未标价 | 人工智能驱动的文本转语音系统，具有自然语音、语音克隆和多语言支持 | — |
| Deepgram Aura | — | 未标价 | 人工智能助手的实时文本转语音 | API |
| Zonos-v0.1-hybrid | — | 未标价 | Zonos-v0.1-hybrid 是一款领先的开源文本转语音模型，能够提供高质量的语音 | — |
| Speakify | — | 未标价 | 免费的文本转语音转换器，支持多种语言的 AI 语音 | — |
| VoiSpark | — | 免费试用，Freemium 与付费并存，套餐细节未公开 | 用于文本转语音、语音克隆和自定义语音的 AI 语音生成器 | Web |
