Whisper Large V3 Turbo vs V3:Mac 上快 5 倍(基准测试)

2024年11月6日
·
6 min read
·Whisper Notes Team

OpenAI 的 Whisper Large-v3 Turbo 将解码器从 32 层裁剪到 4 层,参数量从 15.5 亿降至 8.09 亿。在我们的 Apple Silicon 测试中,它处理同一段音频约快 5 倍,词错率几乎不变。Whisper Notes 已在 Mac 和 iPhone 上搭载此模型。

Whisper Large V3 Turbo 与 V3 架构对比

V3 Turbo vs V3:改了什么

Turbo 不是新架构。它就是 Whisper Large-v3,解码器从 32 层剪枝到 4 层,然后微调恢复精度。编码器完全不变。

Large-v3 Turbo Large-v3
参数量 809M 1,550M
解码器层数 4 32
语言数 100+ 100+
翻译任务 不支持 支持
开源协议 MIT Apache 2.0

Turbo 的训练数据明确排除了翻译任务。完整版 Large-v3 支持翻译,但 Whisper Notes 只搭载 Turbo——翻译功能通过 Apple Intelligence 单独实现。

基础模型:Whisper Large V3 是什么?

Whisper Large V3 是 OpenAI 在 2023 年发布的开源语音识别模型,参数量 15.5 亿,使用 128 个 mel 频带,并在约 500 万小时音频上训练。官方模型卡列出 100+ 种语言,并把模型许可标为 Apache 2.0。想把它和其他设备端模型一起比较,可查看本地语音模型对比

速度基准:Whisper Notes 在 Apple Silicon 上的表现

Mac 版 Whisper Notes 中,Turbo 通过 CoreML 在 Neural Engine 上运行。处理 10 分钟音频:

设备 Whisper V3 V3 Turbo 提速
iPhone 15 Pro 425 秒 82 秒 5.2×
iPad Pro M2 380 秒 71 秒 5.4×
MacBook Pro M2 316 秒 63 秒 5.0×

测试方法:在每台表中设备上,用同一版 Whisper Notes 转写同一个 10 分钟音频文件。从点击开始到最终文本完成计墙钟时间;V3 与 Turbo 之间只更换模型。

5 倍提速是 Whisper Notes 在 Apple Silicon 上的实测结果,较小的解码器在 Neural Engine 上优化效果更好。在 GPU 上使用 faster-whisper 等框架时,差距缩小到约 2.7 倍(见下方社区基准测试)。

精度对比:WER 词错率

Hugging Face Open ASR 排行榜在相同的英文数据集上测试了两个模型。Turbo 的词错率在每个基准上都与 V3 相差不到 0.5 个百分点:

数据集 V3 Turbo WER V3 WER
LibriSpeech Clean 2.10% 2.01%
LibriSpeech Other 4.24% 3.91%
GigaSpeech 10.14% 10.02%
Earnings22 11.63% 11.29%
AMI 16.13% 15.95%
平均 WER 7.83% 7.44%

V3 在每个数据集上都略微更准,但差距很小——平均仅 0.39 个百分点。在实际使用中,基本感受不到区别。

在 YouTube-commons 长音频评估(最大的开源 ASR 基准之一)上,Turbo 的 WER 为 13.40%,V3 为 13.20%——但 Turbo 的实时因子达到 129.5×,而 V3 仅 55.3×。速度快 2.3 倍,精度几乎相同。

Turbo 在韩语、俄语等语言上的准确率如何?

上面的基准都是英语。据 OpenAI 的模型卡,Turbo 裁剪到 4 层的解码器在非英语语言上牺牲的准确率比英语略多,低资源语言的退化最明显。对于俄语和大多数欧洲语言,Turbo 与完整版 Large-v3 差距不大——而且如果你用的是 Whisper Notes,Parakeet V3 以 Whisper 10 倍的速度覆盖俄语和另外 24 种欧洲语言。

至于韩语、日语、中文和粤语,专门的模型更快、标点也更好:SenseVoice 以 52 倍实时速度转录 CJK。Whisper Notes 在 Mac 和 iOS 上同时提供 SenseVoice 和 Turbo,你可以按语言选对模型,而不是所有语言都硬塞给同一个。

社区基准测试:GPU 与 CPU

来自 faster-whisper 和 whisper.cpp 社区的独立基准测试在不同硬件上显示了一致的结果。在 GPU 上使用 faster-whisper 转录 13 分钟音频:

模型 数值精度 耗时 GPU 显存 WER
Large-v3 Turbo fp16 19.2 秒 2,537 MB 1.92%
Large-v3 fp16 52.0 秒 4,521 MB 2.88%
Large-v3 Turbo int8 19.6 秒 1,545 MB 1.92%
Distil-Large-v3 fp16 26.1 秒 2,409 MB 2.39%

数据来源:faster-whisper 在 NVIDIA GPU 上的基准测试,LibriSpeech clean 验证集。Turbo int8 仅需 1.5 GB 显存——2 GB 显卡也能跑。

在 RTX 3060 笔记本(6 GB 显存,int8 精度)上进行批量推理,优势更加明显:

模型 顺序推理 批量 (10) 批量 WER
Large-v3 Turbo 46.1 秒 18.7 秒 7.7%
Large-v3 230.8 秒 43.0 秒 7.9%
Large-v2 178.3 秒 43.2 秒 8.8%
Medium 113.3 秒 26.3 秒 8.9%

数据来源:NilaierMusic 基准测试,Intel i7-12650H + RTX 3060 笔记本 6 GB 显存,法语音频,int8 精度。

批量推理下,Turbo 在所有测试模型中 WER 最低(7.7%),同时速度最快。是生产环境的最佳选择。

Turbo、Medium 与其他 Whisper 型号

Turbo 出现之前,Medium 通常是速度和准确率之间的折中。Turbo 只有 8.09 亿参数,和 Medium 的 7.69 亿很接近,却能提供接近 Large V3 的准确率,并在 Apple Silicon 上约快 5 倍。

模型 参数量 磁盘大小 相对速度 准确率层级
tiny39M约 75 MB约 10×最低
base74M约 142 MB约 7×较低
small244M约 466 MB约 4×中等
medium769M约 1.5 GB约 2×
large-v31,550M约 2.9 GB最高
large-v3-turbo809M约 1.6 GBApple Silicon 上约 5×接近最高

官方模型卡给出的 Turbo 参数量为 809M。它在与 Medium 接近的体积下,提供更高准确率和更快转写速度。

已知局限(以及 Whisper Notes 的应对方案)

不支持翻译

Turbo 的训练数据不包含翻译任务,只能用源语言转录——不像 Large-v3 支持音频→英文翻译。

Whisper Notes — Mac 版通过 Apple Intelligence 自动将转录结果翻译为指定语言,实现双语对照显示,不依赖模型自身的翻译能力。

噪音环境下幻觉更多

社区反馈表明 Turbo 在极短音频片段或高噪音录音中,比 V3 更容易产生幻觉。这与解码器缩减(4 层 vs 32 层)有关。

Whisper Notes — 转录前运行 VAD 语音活动检测,找出可能有人声的片段并跳过静音,减少静音诱发的重复文字。

该选哪个模型?

英语 / 欧洲语言 Parakeet V3 — 比 Whisper 快 10 倍,精度更高
中文 / 日语 / 韩语 SenseVoice — CJK 专用,52 倍速
其他语言 Whisper Large V3 Turbo — 100+ 种语言,准确率高,速度慢

Whisper Large V3 Turbo 常见问题

Whisper Large V3 和 Turbo 有什么区别?

Turbo 保留 Large V3 的编码器,但把解码器从 32 层减到 4 层,因此转写更快,词错率只小幅上升。代价是 Turbo 不支持 Whisper 内置的音频转英文任务。

faster-whisper 支持 Large V3 Turbo 吗?

支持。faster-whisper 可通过 CTranslate2 转换运行 Turbo;上面的社区测试中,int8 版本约使用 1.5 GB 显存。

whisper.cpp 支持 Large V3 Turbo 吗?

支持。whisper.cpp 可以运行转换后的 GGML/GGUF Turbo 模型,比完整 Large V3 更容易放进消费级硬件。

在哪里下载 openai/whisper-large-v3-turbo?

OpenAI 的官方权重在 Hugging Face。Whisper Notes 用户不需要手动下载,应用会在模型选择界面完成设置。

想横向比较 Whisper、Parakeet V3、SenseVoice 和 Voxtral,可查看设备端语音模型对比;第一次接触 Whisper,可以从Whisper 转录指南开始。