OpenAIのWhisper Large-v3 Turboは、デコーダーを32層から4層に減らし、パラメータ数を15.5億から8.09億に抑えたモデルです。Apple Siliconを使った私たちのテストでは、同じ音声をLarge-v3とほぼ同じ精度で約5倍速く文字起こしできました。Whisper NotesではMacとiPhoneの両方で利用できます。
V3 Turbo vs V3:何が変わったか
Turboは新しいアーキテクチャではありません。Whisper Large-v3と全く同じモデルで、デコーダーを32層から4層に剪定し、精度を回復するためにファインチューニングしたものです。エンコーダーは変更されていません。
| Large-v3 Turbo | Large-v3 | |
|---|---|---|
| パラメータ数 | 809M | 1,550M |
| デコーダー層数 | 4 | 32 |
| 対応言語数 | 100+ | 100+ |
| 翻訳タスク | 非対応 | 対応 |
| ライセンス | MIT | Apache 2.0 |
測定方法:同じ10分間の音声ファイルを、各端末上の同じWhisper Notesビルドで文字起こししました。開始から最終テキストが表示されるまでの実時間を測り、V3とTurboの比較ではモデルだけを変更しています。
翻訳タスクはTurboの学習データから明示的に除外されました。フル版のLarge-v3は翻訳をサポートしていますが、Whisper NotesはTurboのみを搭載しており、翻訳はApple Intelligenceを通じて別途処理されます。
ベースモデル:Whisper Large-v3とは
Whisper Large-v3は、OpenAIが2023年11月に公開した音声認識モデルです。15.5億のパラメータと128帯域のメルスペクトログラム入力を採用し、500万時間の音声(弱いラベル付き100万時間と疑似ラベル付き400万時間)で学習されています。広東語を含む100以上の言語に対応し、Hugging Face Open ASR Leaderboardでの平均単語誤り率は約7.4%です。本記事では、このLarge-v3をTurboの精度基準として比較します。ほかのオンデバイスモデルとの違いは、Whisperモデル比較で確認できます。
速度ベンチマーク:Apple Silicon上のWhisper Notes
Mac版Whisper Notesでは、TurboはCoreMLを通じてNeural Engine上で動作します。10分の音声を処理した場合:
| デバイス | Whisper V3 | V3 Turbo | 高速化 |
|---|---|---|---|
| iPhone 15 Pro | 425 s | 82 s | 5.2× |
| iPad Pro M2 | 380 s | 71 s | 5.4× |
| MacBook Pro M2 | 316 s | 63 s | 5.0× |
5倍の高速化はApple Silicon上のWhisper Notesに固有の結果で、小型化されたデコーダーがNeural Engineの最適化の恩恵を受けています。GPU上でfaster-whisperなどのフレームワークを使用した場合、差は約2.7倍に縮まります(下記のコミュニティベンチマーク参照)。
精度:WER比較
Hugging Face Open ASRリーダーボードでは、同じ英語データセットで両モデルをテストしています。Turboの単語誤り率は、すべてのベンチマークでV3と0.5ポイント以内の差です:
| データセット | V3 Turbo WER | V3 WER |
|---|---|---|
| LibriSpeech Clean | 2.10% | 2.01% |
| LibriSpeech Other | 4.24% | 3.91% |
| GigaSpeech | 10.14% | 10.02% |
| Earnings22 | 11.63% | 11.29% |
| AMI | 16.13% | 15.95% |
| 平均WER | 7.83% | 7.44% |
V3はすべてのデータセットでわずかに精度が高いですが、差はごくわずかで、平均0.39ポイントです。実際の文字起こしではほとんど違いを感じません。
YouTube-commonsの長時間音声評価(最大級のオープンソースASRベンチマークの一つ)では、TurboのWERは13.40%、V3は13.20%ですが、リアルタイムファクターはTurboが129.5倍、V3が55.3倍。実際の音声で2.3倍高速かつほぼ同等の精度です。
ただし、英語以外ではTurboの精度低下がやや大きくなる場合があります。ロシア語やヨーロッパ言語をMacで処理するなら、私たちのテストで英語WERがWhisperより低かったParakeet V3も候補になります。
日本語・中国語・韓国語が中心なら、CJK音声向けのSenseVoiceも比較してください。速度だけでなく、音声の言語や端末を基準に選ぶのが現実的です。
コミュニティベンチマーク:GPU & CPU
faster-whisperおよびwhisper.cppコミュニティによる独立ベンチマークでは、様々なハードウェアで一貫した結果が得られています。GPU上でfaster-whisperを使用し13分の音声を文字起こし:
| モデル | 精度 | 所要時間 | GPUメモリ | WER |
|---|---|---|---|---|
| Large-v3 Turbo | fp16 | 19.2 s | 2,537 MB | 1.92% |
| Large-v3 | fp16 | 52.0 s | 4,521 MB | 2.88% |
| Large-v3 Turbo | int8 | 19.6 s | 1,545 MB | 1.92% |
| Distil-Large-v3 | fp16 | 26.1 s | 2,409 MB | 2.39% |
出典:faster-whisperによるNVIDIA GPUベンチマーク、LibriSpeech cleanバリデーション分割。Turbo int8はVRAMわずか1.5 GBで動作し、2 GB GPUでも実行可能です。
RTX 3060 Laptop(6 GB VRAM、int8精度)でのバッチ推論では、さらに優位性が際立ちます:
| モデル | 逐次処理 | バッチ処理 (10) | バッチWER |
|---|---|---|---|
| Large-v3 Turbo | 46.1 s | 18.7 s | 7.7% |
| Large-v3 | 230.8 s | 43.0 s | 7.9% |
| Large-v2 | 178.3 s | 43.2 s | 8.8% |
| Medium | 113.3 s | 26.3 s | 8.9% |
出典:NilaierMusicベンチマーク、Intel i7-12650H + RTX 3060 Laptop 6 GB、フランス語音声、int8精度。
このバッチ処理テストでは、Turboが比較したモデルの中で最も低いWER(7.7%)と最短の処理時間を記録しました。特定のフランス語音声とRTX 3060 Laptopを使った結果なので、別の音声や端末でも同じ順位になるとは限りません。
Turbo・MediumとWhisper各モデルの比較
Turbo登場前は、速度と精度のバランスを取るためにMediumがよく選ばれていました。Turboは8.09億パラメータでMedium(7.69億)に近い規模ですが、Large系に近い精度と高い処理速度を両立します。各モデルのおおよその違いは次のとおりです。
| モデル | パラメータ数 | 容量の目安 | 相対速度 | 精度の目安 |
|---|---|---|---|---|
| tiny | 39M | 約75 MB | 約10倍 | 低い |
| base | 74M | 約142 MB | 約7倍 | やや低い |
| small | 244M | 約466 MB | 約4倍 | 中程度 |
| medium | 769M | 約1.5 GB | 約2倍 | 高い |
| large-v3 | 1,550M | 約2.9 GB | 1倍(基準) | 最も高い |
| large-v3-turbo | 809M | 約1.6 GB | Apple Siliconで約5倍 | large-v3に近い |
Turboは2024年9月30日に公開されました。Mediumとほぼ同じ保存容量で、より高い精度と速度が必要な場合に検討しやすいモデルです。相対速度は実行環境で変わり、表のTurboの値は上記Apple Siliconテストに基づきます。
既知の制限事項(とWhisper Notesの対応策)
翻訳機能なし
Turboは翻訳データなしで学習されました。ソース言語での文字起こしのみ対応しています。Large-v3は音声から英語への翻訳をサポートしていますが、Turboにはありません。
Whisper Notes -- Apple Intelligenceが文字起こし結果を指定した言語に自動翻訳し、使用モデルに関係なくバイリンガル出力を提供します。
ノイズの多い音声でのハルシネーション増加
コミュニティの報告によると、Turboは非常に短いクリップやノイズの多い録音でV3よりハルシネーションが増える傾向があります。デコーダーの削減(4層 vs 32層)を考慮すると想定内です。
Whisper Notes -- 文字起こし前にPyannote VADを実行し、音声区間を検出して無音やノイズを除去することで、モデルは実際の音声のみを処理します。
どのモデルを使うべき?
| 英語 / ヨーロッパ言語 | Parakeet V3 -- 私たちの35分テストではWhisperより高速で、英語WERも低い |
| 中国語 / 日本語 / 韓国語 | SenseVoice -- CJK音声向け。M4 Proで27分の音声を13.83秒で処理 |
| その他の言語 | Whisper Large V3 Turbo -- 100以上の言語対応、高精度、低速 |
Whisper Large-v3 Turboのよくある質問
Whisper Large-v3とLarge-v3 Turboの違いは?
Large-v3 TurboはLarge-v3のエンコーダーを維持したまま、デコーダーを32層から4層に減らしています。そのため文字起こし精度をLarge-v3に近く保ちながら、処理時間を短縮できます。一方、Whisperに組み込まれた翻訳タスクには対応しません。
faster-whisperはLarge-v3 Turboに対応していますか?
はい。CTranslate2変換を通じてLarge-v3 Turboを実行できます。上記のコミュニティベンチマークでは、Turboのint8実行時のGPUメモリ使用量は約1.5 GBでした。
whisper.cppはLarge-v3 Turboに対応していますか?
はい。GGMLまたはGGUF形式に変換されたLarge-v3 Turboを実行できます。フル版Large-v3より小さいため、個人向けハードウェアでローカル文字起こし環境を組む場合にも選択肢になります。
openai/whisper-large-v3-turboはどこから入手できますか?
公式モデルはOpenAIのHugging Faceページで公開されています。Whisper Notesでは手動でダウンロードする必要はなく、Macアプリ内からローカルモデルを設定できます。
オンデバイスで動くWhisper各種、Parakeet V3、SenseVoice、Voxtralをまとめて比べるなら、Whisperモデル比較をご覧ください。Whisper自体の仕組みや実行方法から知りたい場合は、Whisper文字起こしガイドから始められます。