多语言语音转写
基于 680,000 小时多语言监督数据训练，可对多种语言进行语音转写；数据集约三分之一为非英语音频，模型交替学习原语言转写与译英翻译。
Whisper
AI TOOL PROFILE工具资料OpenAI 开源的语音识别系统，用 680,000 小时多语言数据训练，多语言转写并支持译成英语。
价格开源，未提供价格信息
平台API
归类语音识别与转写
收录—
复核2026-10-10
编辑评分
4.2 / 5
★★★★☆
Whisper编辑总结
Whisper 是 OpenAI 训练并开源的自动语音识别（ASR）系统，基于从网络收集的 680,000 小时多语言、多任务监督数据训练。其在英语语音识别上接近人类水平的稳健性与准确率；由于训练数据庞大且多样，它对口音、背景噪音和技术性语言更稳健，跨多种数据集的 zero-shot 表现比其他模型少 50% 的错误，并在 CoVoST2 英语翻译任务上 zero-shot 超过监督 SOTA。短板是未针对任何单一数据集微调，在 LibriSpeech 这类专业基准上不及专门优化的模型。架构为编码器-解码器 Transformer，模型与推理代码均已开源。
Whisper是什么？
Whisper 是 OpenAI 训练并开源的自动语音识别（ASR）系统，训练数据为从网络收集的 680,000 小时多语言、多任务监督数据。它面向开发者与研究者，可作为构建语音应用和研究稳健语音处理的基础。
架构上是简单的端到端方案，实现为编码器-解码器 Transformer：输入音频被切分为 30 秒的片段，转成 log-Mel 频谱图后送入编码器；解码器预测对应的文本，穿插特殊 token，让单一模型完成语言识别、短语级时间戳、多语言语音转写和译成英语的语音翻译等任务。
开发者可以下载开源的模型与推理代码，把语音接口加入更广泛的应用；研究者可以基于它做稳健语音处理的进一步研究。数据集中约三分之一为非英语音频，模型交替执行原语言转写与译英翻译两种任务。
Whisper核心功能
译成英语的翻译
支持把其他语言的语音翻译成英语，这种训练方式在语音翻译任务上尤其有效，在 CoVoST2 译英任务上 zero-shot 超过监督 SOTA。
语言识别
通过解码器中穿插的特殊 token，单一模型即可执行语言识别任务，与其他转写、翻译任务共用同一套端到端架构。
短语级时间戳
模型支持输出短语级时间戳（phrase-level timestamps），便于把识别出的文本与音频位置对应起来，用于字幕、检索等场景。
对噪音口音稳健
由于训练数据庞大且多样，模型对口音、背景噪音和技术性语言的稳健性更好；跨多种数据集的 zero-shot 测试中错误数比其他模型少 50%。
开源模型与代码
OpenAI 开源了模型与推理代码，并提供论文和模型卡片，开发者可直接下载部署，作为构建应用或继续研究的基础。
Whisper适合谁用？
应用开发者
推荐官方希望 Whisper 的高准确率与易用性能帮助开发者把语音接口加入更广泛的应用，开源模型与推理代码可直接拿来自建转写能力。
语音处理研究者
推荐OpenAI 明确将其开源作为稳健语音处理进一步研究的基础，论文与模型卡片提供了完整的细节，适合作为研究起点。
多语言内容创作者
推荐需要把多种语言的音频转成文字或翻译成英语的用户，可用它做多语言转写与译英翻译，非英语音频约占训练数据的三分之一。
追求数据集专精成绩者
有条件Whisper 没有针对任何单一数据集微调，在 LibriSpeech 这类竞争激烈的基准上不及专门优化的模型，追求单项基准极限成绩的人要留意。
希望官方托管服务的人
有条件页面未提供托管服务的价格或使用条款，需要托管式付费服务的用户应先查阅 OpenAI 当前的产品页面。
Whisper优点和缺点
优点
- 训练数据达 680,000 小时且多语言
- zero-shot 错误数比对比模型少 50%
- 单一模型支持转写、翻译、时间戳、语言识别
- 模型与推理代码开源
- 对口音、背景噪音和技术性语言更稳健
缺点
- 未针对单一数据集微调
- LibriSpeech 基准上不及专门模型
- 官方页面未提供托管价格信息
- 英语识别之外的语种效果未逐一公布
Whisper关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 训练数据量 | 680,000 hours | OpenAI Introducing Whisper 官方博客 |
| zero-shot 错误减少幅度 | 50% fewer errors | OpenAI Introducing Whisper 官方博客 |
| 音频切片长度 | 30-second chunks | OpenAI Introducing Whisper 官方博客 |
| 非英语音频占比 | About a third | OpenAI Introducing Whisper 官方博客 |
Whisper常见问题
Whisper 免费吗？＋
Whisper 的模型与推理代码由 OpenAI 开源，论文和模型卡片也公开可查，自行部署不涉及模型授权费用。但官方博客页面没有公布任何托管服务的价格信息，如果想用 OpenAI 官方的付费接口，需要到 OpenAI 当前产品页面确认最新价格。
Whisper 的主力能力是什么？＋
它是一个自动语音识别（ASR）系统，用 680,000 小时多语言、多任务监督数据训练，架构为编码器-解码器 Transformer，输入音频按 30 秒切片转成 log-Mel 频谱图。单一模型通过特殊 token 完成语言识别、短语级时间戳、多语言语音转写和译成英语的语音翻译。其英语语音识别接近人类水平的稳健性与准确率。
Whisper 和其他语音识别模型怎么选？＋
现有方案通常用更小、配对更紧密的音频-文本数据集，或用广泛但无监督的音频预训练。Whisper 因为训练数据大而多样、且未对单一数据集微调，在 LibriSpeech 这类基准上打不过专门优化的模型；但跨多种数据集的 zero-shot 表现更稳健，错误数少 50%，并在 CoVoST2 译英翻译上 zero-shot 超过监督 SOTA。要单项基准极限成绩选专门模型，要跨场景稳健选 Whisper。
Whisper 支持哪些语言？＋
可做多语言语音转写并把其他语言翻译成英语；数据集约三分之一为非英语音频，并包含 CoVoST2 等翻译评测涉及的语种。但博客没有列出完整的支持语言清单，具体语种覆盖需要查看论文或模型卡片确认。
在中国能不能用 Whisper？＋
Whisper 的模型与推理代码是开源的，来看可以自行下载部署，不依赖 OpenAI 的在线服务，因此在国内网络环境下自部署使用不受托管服务可用性限制。官方页面未说明任何地区限制条款；若想调用 OpenAI 官方的托管接口，可用性与合规性需要自行确认。
Whisper竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Whisper本工具 | 4.2 | 开源，未提供价格信息 | 多语言语音转写；译成英语的翻译；语言识别；短语级时间戳 | API |
| Whisper large-v3-turbo | — | 未标价 | 高效自动语音识别模型 | — |
| Whisper Turbo.online | — | 未标价 | Whisper Turbo 是一款免费在线快速准确的语音识别工具 | — |
| FireRedASR | — | 未标价 | 开源的工业级普通话自动语音识别模型，支持多种应用场景 | — |
| WhisperKit | — | 未标价 | 自动语音识别模型压缩与优化工具 | — |
| FireRedASR-AED-L | — | 未标价 | 开源工业级自动语音识别模型，支持普通话、方言和英语，性能卓越 | — |
Whisper最新动态
-
Introducing Whisper
OpenAI 发布 Whisper，宣布开源这一用 680,000 小时数据训练的语音识别神经网络，附论文、模型卡片与代码。
