OpenAI 的 Whisper Large-v3 Turbo 将解码器从 32 层裁剪到 4 层,参数量从 15.5 亿降至 8.09 亿。在我们的 Apple Silicon 测试中,它处理同一段音频约快 5 倍,词错率几乎不变。Whisper Notes 已在 Mac 和 iPhone 上搭载此模型。
V3 Turbo vs V3:改了什么
Turbo 不是新架构。它就是 Whisper Large-v3,解码器从 32 层剪枝到 4 层,然后微调恢复精度。编码器完全不变。
| Large-v3 Turbo | Large-v3 | |
|---|---|---|
| 参数量 | 809M | 1,550M |
| 解码器层数 | 4 | 32 |
| 语言数 | 100+ | 100+ |
| 翻译任务 | 不支持 | 支持 |
| 开源协议 | MIT | Apache 2.0 |
Turbo 的训练数据明确排除了翻译任务。完整版 Large-v3 支持翻译,但 Whisper Notes 只搭载 Turbo——翻译功能通过 Apple Intelligence 单独实现。
基础模型:Whisper Large V3 是什么?
Whisper Large V3 是 OpenAI 在 2023 年发布的开源语音识别模型,参数量 15.5 亿,使用 128 个 mel 频带,并在约 500 万小时音频上训练。官方模型卡列出 100+ 种语言,并把模型许可标为 Apache 2.0。想把它和其他设备端模型一起比较,可查看本地语音模型对比。
速度基准:Whisper Notes 在 Apple Silicon 上的表现
在 Mac 版 Whisper Notes 中,Turbo 通过 CoreML 在 Neural Engine 上运行。处理 10 分钟音频:
| 设备 | Whisper V3 | V3 Turbo | 提速 |
|---|---|---|---|
| iPhone 15 Pro | 425 秒 | 82 秒 | 5.2× |
| iPad Pro M2 | 380 秒 | 71 秒 | 5.4× |
| MacBook Pro M2 | 316 秒 | 63 秒 | 5.0× |
测试方法:在每台表中设备上,用同一版 Whisper Notes 转写同一个 10 分钟音频文件。从点击开始到最终文本完成计墙钟时间;V3 与 Turbo 之间只更换模型。
5 倍提速是 Whisper Notes 在 Apple Silicon 上的实测结果,较小的解码器在 Neural Engine 上优化效果更好。在 GPU 上使用 faster-whisper 等框架时,差距缩小到约 2.7 倍(见下方社区基准测试)。
精度对比:WER 词错率
Hugging Face Open ASR 排行榜在相同的英文数据集上测试了两个模型。Turbo 的词错率在每个基准上都与 V3 相差不到 0.5 个百分点:
| 数据集 | V3 Turbo WER | V3 WER |
|---|---|---|
| LibriSpeech Clean | 2.10% | 2.01% |
| LibriSpeech Other | 4.24% | 3.91% |
| GigaSpeech | 10.14% | 10.02% |
| Earnings22 | 11.63% | 11.29% |
| AMI | 16.13% | 15.95% |
| 平均 WER | 7.83% | 7.44% |
V3 在每个数据集上都略微更准,但差距很小——平均仅 0.39 个百分点。在实际使用中,基本感受不到区别。
在 YouTube-commons 长音频评估(最大的开源 ASR 基准之一)上,Turbo 的 WER 为 13.40%,V3 为 13.20%——但 Turbo 的实时因子达到 129.5×,而 V3 仅 55.3×。速度快 2.3 倍,精度几乎相同。
Turbo 在韩语、俄语等语言上的准确率如何?
上面的基准都是英语。据 OpenAI 的模型卡,Turbo 裁剪到 4 层的解码器在非英语语言上牺牲的准确率比英语略多,低资源语言的退化最明显。对于俄语和大多数欧洲语言,Turbo 与完整版 Large-v3 差距不大——而且如果你用的是 Whisper Notes,Parakeet V3 以 Whisper 10 倍的速度覆盖俄语和另外 24 种欧洲语言。
至于韩语、日语、中文和粤语,专门的模型更快、标点也更好:SenseVoice 以 52 倍实时速度转录 CJK。Whisper Notes 在 Mac 和 iOS 上同时提供 SenseVoice 和 Turbo,你可以按语言选对模型,而不是所有语言都硬塞给同一个。
社区基准测试:GPU 与 CPU
来自 faster-whisper 和 whisper.cpp 社区的独立基准测试在不同硬件上显示了一致的结果。在 GPU 上使用 faster-whisper 转录 13 分钟音频:
| 模型 | 数值精度 | 耗时 | GPU 显存 | WER |
|---|---|---|---|---|
| Large-v3 Turbo | fp16 | 19.2 秒 | 2,537 MB | 1.92% |
| Large-v3 | fp16 | 52.0 秒 | 4,521 MB | 2.88% |
| Large-v3 Turbo | int8 | 19.6 秒 | 1,545 MB | 1.92% |
| Distil-Large-v3 | fp16 | 26.1 秒 | 2,409 MB | 2.39% |
数据来源:faster-whisper 在 NVIDIA GPU 上的基准测试,LibriSpeech clean 验证集。Turbo int8 仅需 1.5 GB 显存——2 GB 显卡也能跑。
在 RTX 3060 笔记本(6 GB 显存,int8 精度)上进行批量推理,优势更加明显:
| 模型 | 顺序推理 | 批量 (10) | 批量 WER |
|---|---|---|---|
| Large-v3 Turbo | 46.1 秒 | 18.7 秒 | 7.7% |
| Large-v3 | 230.8 秒 | 43.0 秒 | 7.9% |
| Large-v2 | 178.3 秒 | 43.2 秒 | 8.8% |
| Medium | 113.3 秒 | 26.3 秒 | 8.9% |
数据来源:NilaierMusic 基准测试,Intel i7-12650H + RTX 3060 笔记本 6 GB 显存,法语音频,int8 精度。
批量推理下,Turbo 在所有测试模型中 WER 最低(7.7%),同时速度最快。是生产环境的最佳选择。
Turbo、Medium 与其他 Whisper 型号
Turbo 出现之前,Medium 通常是速度和准确率之间的折中。Turbo 只有 8.09 亿参数,和 Medium 的 7.69 亿很接近,却能提供接近 Large V3 的准确率,并在 Apple Silicon 上约快 5 倍。
| 模型 | 参数量 | 磁盘大小 | 相对速度 | 准确率层级 |
|---|---|---|---|---|
| tiny | 39M | 约 75 MB | 约 10× | 最低 |
| base | 74M | 约 142 MB | 约 7× | 较低 |
| small | 244M | 约 466 MB | 约 4× | 中等 |
| medium | 769M | 约 1.5 GB | 约 2× | 高 |
| large-v3 | 1,550M | 约 2.9 GB | 1× | 最高 |
| large-v3-turbo | 809M | 约 1.6 GB | Apple Silicon 上约 5× | 接近最高 |
官方模型卡给出的 Turbo 参数量为 809M。它在与 Medium 接近的体积下,提供更高准确率和更快转写速度。
已知局限(以及 Whisper Notes 的应对方案)
不支持翻译
Turbo 的训练数据不包含翻译任务,只能用源语言转录——不像 Large-v3 支持音频→英文翻译。
Whisper Notes — Mac 版通过 Apple Intelligence 自动将转录结果翻译为指定语言,实现双语对照显示,不依赖模型自身的翻译能力。
噪音环境下幻觉更多
社区反馈表明 Turbo 在极短音频片段或高噪音录音中,比 V3 更容易产生幻觉。这与解码器缩减(4 层 vs 32 层)有关。
Whisper Notes — 转录前运行 VAD 语音活动检测,找出可能有人声的片段并跳过静音,减少静音诱发的重复文字。
该选哪个模型?
| 英语 / 欧洲语言 | Parakeet V3 — 比 Whisper 快 10 倍,精度更高 |
| 中文 / 日语 / 韩语 | SenseVoice — CJK 专用,52 倍速 |
| 其他语言 | Whisper Large V3 Turbo — 100+ 种语言,准确率高,速度慢 |
Whisper Large V3 Turbo 常见问题
Whisper Large V3 和 Turbo 有什么区别?
Turbo 保留 Large V3 的编码器,但把解码器从 32 层减到 4 层,因此转写更快,词错率只小幅上升。代价是 Turbo 不支持 Whisper 内置的音频转英文任务。
faster-whisper 支持 Large V3 Turbo 吗?
支持。faster-whisper 可通过 CTranslate2 转换运行 Turbo;上面的社区测试中,int8 版本约使用 1.5 GB 显存。
whisper.cpp 支持 Large V3 Turbo 吗?
支持。whisper.cpp 可以运行转换后的 GGML/GGUF Turbo 模型,比完整 Large V3 更容易放进消费级硬件。
在哪里下载 openai/whisper-large-v3-turbo?
OpenAI 的官方权重在 Hugging Face。Whisper Notes 用户不需要手动下载,应用会在模型选择界面完成设置。
想横向比较 Whisper、Parakeet V3、SenseVoice 和 Voxtral,可查看设备端语音模型对比;第一次接触 Whisper,可以从Whisper 转录指南开始。