少样本克隆音色
只用一段 15 秒的音频样本，加上文字输入，就能生成与原说话人高度相似的自然语音，其能做出带情感、逼真的声音。
Voice Engine
AI TOOL PROFILE工具资料用一段 15 秒语音样本生成逼真定制人声的模型
官网地址 https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthe…
价格官网未公开具体价格
平台API
归类配音与音频
收录2024-03-29
复核2024-03-29
编辑评分
4.5 / 5
★★★★☆
Voice Engine编辑总结
Voice Engine 是 OpenAI 开发的一款语音生成模型，用一段 15 秒的音频样本和文字输入，就能生成与原说话人高度相似、自然且带情感的人声。它早在 2022 年底就已开发，并已用于文字转语音 API 的预设音色、ChatGPT Voice 和 Read Aloud。OpenAI 目前只与少量合作方进行小范围测试，尚未大范围开放，主要顾虑是合成语音可能被滥用。它已在阅读辅助、内容翻译、社区服务和辅助沟通设备等场景中试用。
Voice Engine是什么？
Voice Engine 是 OpenAI 开发的一款语音生成模型，核心能力是用文字输入加一段 15 秒的音频样本，生成听起来自然、贴近原说话人的语音。它面向的是需要定制人声的开发者和机构，而不是普通消费者的自助工具。
据 OpenAI 介绍，Voice Engine 最早在 2022 年底开发完成，已经被用来驱动文字转语音 API 里的预设音色，以及 ChatGPT Voice 和 Read Aloud 功能。目前 OpenAI 只对一小批可信合作方进行私下测试，尚未大范围发布，原因是担心合成语音被滥用。具体的开放时间与使用方式，官网未公开。
对不同用户来说，用法差别很大：普通用户能接触到的是 ChatGPT 里由它驱动的语音功能；开发者可以通过文字转语音 API 使用它的预设音色；企业和机构则可能通过合作测试，把它用于阅读辅助、视频与播客翻译、社区健康服务、辅助沟通设备等场景。
Voice Engine核心功能
保留母语口音
用于翻译场景时，会保留原说话人的口音特点。例如用一位法语使用者的样本生成英语，输出会带有法语口音，而不是标准美式发音。
预设音色驱动
已经被用来驱动文字转语音 API 中的预设音色，以及 ChatGPT Voice 和 Read Aloud，说明它已经进入实际产品链路。
实时个性化回应
合作方 Age of Learning 把 Voice Engine 与 GPT-4 结合，用来生成实时的个性化回应，与学生进行互动，并批量制作预写脚本的旁白内容。
视频与播客翻译
合作方 HeyGen 将其用于视频翻译，把说话人的声音翻译成多种语言，让创作者和企业触达全球受众，同时保持原声特征。
多语言健康服务
合作方 Dimagi 用它配合 GPT-4，为社区健康工作者提供互动反馈，覆盖斯瓦希里语以及肯尼亚流行的混合语 Sheng 等非正式语言。
辅助沟通发声
合作方 Livox 把它用在增强与替代沟通（AAC）设备上，为无法言语的人提供独特、不机械的声音，用于残障人士的沟通与治疗场景。
小规模合作测试
OpenAI 与一小批可信合作方进行私下测试，用这些部署结果来判断技术能否被安全、有益地使用，并据此决定是否大范围发布。
Voice Engine适合谁用？
内容创作者
推荐用于视频、播客的多语言翻译，能在翻译后保留自己的口音，适合想触达海外受众的创作者。
教育科技团队
推荐可生成预写脚本的旁白，并配合大模型做实时互动回应，适合要为儿童或非阅读者提供语音内容的产品。
无障碍与辅助沟通
推荐能为无法言语的人提供非机械感的声音，适合 AAC 设备与语言治疗相关的应用场景。
普通个人用户
有条件目前只能通过 ChatGPT 里的语音与朗读功能间接用到它，无法自行上传样本定制音色。
想直接试用克隆的个人
不推荐模型尚未公开开放，官方只与少量合作方私下测试，个人无法自助注册或调用。
Voice Engine优点和缺点
优点
- 单段 15 秒音频样本即可生成贴近原说话人的语音
- 生成的人声带有情感、听起来自然，不机械
- 翻译场景下会保留原说话人的母语口音
- 已在文字转语音 API 和 ChatGPT 语音功能中实际使用
- 有教育、翻译、健康服务、辅助沟通等真实合作案例
缺点
- 尚未大范围开放，只与少量可信合作方私下测试
- 额度与开放时间
- 出于滥用风险，OpenAI 对发布持谨慎态度
- 个人用户无法自行上传样本定制声音
Voice Engine关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 生成所需音频样本长度 | 15-second | OpenAI 官方博客 |
| 首次开发时间 | late 2022 | OpenAI 官方博客 |
Voice Engine常见问题
Voice Engine 收费吗？＋
官网没有公开价格信息。目前它只在 OpenAI 与少量可信合作方之间进行小规模私下测试，没有面向公众的购买或订阅入口。具体是否收费、如何收费，需要以官方页面后续公布为准。
它现在是什么状态，能用了吗？＋
还处于小规模预览阶段。OpenAI 在 2024 年 3 月 29 日分享了这次预览的经验与结果，并说明会基于与合作方的对话和测试结果，再决定是否以及如何大范围部署。个人目前无法直接申请使用。
它和普通的语音合成有什么不一样？＋
主要的差别在样本量。官网指出，一个较小的模型只需一段 15 秒的样本，就能生成带情感、逼真且贴近原说话人的声音。用于翻译时，它还会保留原说话人的母语口音。
国内可以直接用吗？＋
官网未说明国内可用性。目前 Voice Engine 只对一小批合作方私下开放，并未公开发布，因此也没有面向普通用户的访问入口。文字转语音 API 和 ChatGPT 语音功能的可用范围，需以各自官方页面为准。
它已经用在哪些地方？＋
OpenAI 表示它被用来驱动文字转语音 API 的预设音色，以及 ChatGPT Voice 和 Read Aloud。合作方方面，Age of Learning 用于儿童阅读辅助，HeyGen 用于视频翻译，Dimagi 用于社区健康工作者的多语言反馈，Livox 用于辅助沟通设备。
为什么还不全面开放？＋
OpenAI 提到，合成语音存在被滥用的可能，因此采取谨慎且知情的推进方式。他们希望通过对话和小规模测试结果，更稳妥地决定这项技术是否以及如何大规模部署。
Voice Engine竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Voice Engine本工具 | 4.5 | 官网未公开具体价格 | 少样本克隆音色；保留母语口音；预设音色驱动；实时个性化回应 | API |
| AI Clone Voice Free | — | 免费 $0 起，付费 $4.95 – $19.90 /月 | 提供免费的 AI 语音克隆服务，轻松复制和生成逼真的语音 | Web / API |
| OpenAI TTS | — | 未标价 | 将文本转换为逼真的语音 | API |
| Carteisa Sonic | — | 未标价 | 低延迟语音模型，生成逼真语音 | — |
| RESEMBLE.AI | — | 免费开始，Flex 无订阅费，Team/Business 订阅制 | RESEMBLE.AI 是基于人工智能技术生成逼真和个性化语音的平台 | Web / API |
| 免费语音克隆 | — | 未标价 | 这是一个提供免费语音克隆服务的平台，用户只需上传或录制一段 5 秒以上的清晰语音样本，平 | — |
Voice Engine最新动态
-
分享 Voice Engine 小规模预览结果
OpenAI 公开了 Voice Engine 小范围预览的经验与成果，说明该模型用一段 15 秒音频样本和文字输入即可生成贴近原说话人的语音，并介绍了教育、翻译、社区健康与辅助沟通等早期应用。
