Whisper Large V3 Turbo vs V3:Mac で 5 倍高速(ベンチマーク)

2024年11月6日
·
6 min read
·Whisper Notes Team

OpenAIのWhisper Large-v3 Turboは、デコーダーを32層から4層に減らし、パラメータ数を15.5億から8.09億に抑えたモデルです。Apple Siliconを使った私たちのテストでは、同じ音声をLarge-v3とほぼ同じ精度で約5倍速く文字起こしできました。Whisper NotesではMacとiPhoneの両方で利用できます。

Whisper Large V3 TurboとV3のアーキテクチャ比較

V3 Turbo vs V3:何が変わったか

Turboは新しいアーキテクチャではありません。Whisper Large-v3と全く同じモデルで、デコーダーを32層から4層に剪定し、精度を回復するためにファインチューニングしたものです。エンコーダーは変更されていません。

Large-v3 Turbo Large-v3
パラメータ数 809M 1,550M
デコーダー層数 4 32
対応言語数 100+ 100+
翻訳タスク 非対応 対応
ライセンス MIT Apache 2.0

測定方法:同じ10分間の音声ファイルを、各端末上の同じWhisper Notesビルドで文字起こししました。開始から最終テキストが表示されるまでの実時間を測り、V3とTurboの比較ではモデルだけを変更しています。

翻訳タスクはTurboの学習データから明示的に除外されました。フル版のLarge-v3は翻訳をサポートしていますが、Whisper NotesはTurboのみを搭載しており、翻訳はApple Intelligenceを通じて別途処理されます。

ベースモデル:Whisper Large-v3とは

Whisper Large-v3は、OpenAIが2023年11月に公開した音声認識モデルです。15.5億のパラメータと128帯域のメルスペクトログラム入力を採用し、500万時間の音声(弱いラベル付き100万時間と疑似ラベル付き400万時間)で学習されています。広東語を含む100以上の言語に対応し、Hugging Face Open ASR Leaderboardでの平均単語誤り率は約7.4%です。本記事では、このLarge-v3をTurboの精度基準として比較します。ほかのオンデバイスモデルとの違いは、Whisperモデル比較で確認できます。

速度ベンチマーク:Apple Silicon上のWhisper Notes

Mac版Whisper Notesでは、TurboはCoreMLを通じてNeural Engine上で動作します。10分の音声を処理した場合:

デバイス Whisper V3 V3 Turbo 高速化
iPhone 15 Pro 425 s 82 s 5.2×
iPad Pro M2 380 s 71 s 5.4×
MacBook Pro M2 316 s 63 s 5.0×

5倍の高速化はApple Silicon上のWhisper Notesに固有の結果で、小型化されたデコーダーがNeural Engineの最適化の恩恵を受けています。GPU上でfaster-whisperなどのフレームワークを使用した場合、差は約2.7倍に縮まります(下記のコミュニティベンチマーク参照)。

精度:WER比較

Hugging Face Open ASRリーダーボードでは、同じ英語データセットで両モデルをテストしています。Turboの単語誤り率は、すべてのベンチマークでV3と0.5ポイント以内の差です:

データセット V3 Turbo WER V3 WER
LibriSpeech Clean 2.10% 2.01%
LibriSpeech Other 4.24% 3.91%
GigaSpeech 10.14% 10.02%
Earnings22 11.63% 11.29%
AMI 16.13% 15.95%
平均WER 7.83% 7.44%

V3はすべてのデータセットでわずかに精度が高いですが、差はごくわずかで、平均0.39ポイントです。実際の文字起こしではほとんど違いを感じません。

YouTube-commonsの長時間音声評価(最大級のオープンソースASRベンチマークの一つ)では、TurboのWERは13.40%、V3は13.20%ですが、リアルタイムファクターはTurboが129.5倍、V3が55.3倍。実際の音声で2.3倍高速かつほぼ同等の精度です。

ただし、英語以外ではTurboの精度低下がやや大きくなる場合があります。ロシア語やヨーロッパ言語をMacで処理するなら、私たちのテストで英語WERがWhisperより低かったParakeet V3も候補になります。

日本語・中国語・韓国語が中心なら、CJK音声向けのSenseVoiceも比較してください。速度だけでなく、音声の言語や端末を基準に選ぶのが現実的です。

コミュニティベンチマーク:GPU & CPU

faster-whisperおよびwhisper.cppコミュニティによる独立ベンチマークでは、様々なハードウェアで一貫した結果が得られています。GPU上でfaster-whisperを使用し13分の音声を文字起こし:

モデル 精度 所要時間 GPUメモリ WER
Large-v3 Turbo fp16 19.2 s 2,537 MB 1.92%
Large-v3 fp16 52.0 s 4,521 MB 2.88%
Large-v3 Turbo int8 19.6 s 1,545 MB 1.92%
Distil-Large-v3 fp16 26.1 s 2,409 MB 2.39%

出典:faster-whisperによるNVIDIA GPUベンチマーク、LibriSpeech cleanバリデーション分割。Turbo int8はVRAMわずか1.5 GBで動作し、2 GB GPUでも実行可能です。

RTX 3060 Laptop(6 GB VRAM、int8精度)でのバッチ推論では、さらに優位性が際立ちます:

モデル 逐次処理 バッチ処理 (10) バッチWER
Large-v3 Turbo 46.1 s 18.7 s 7.7%
Large-v3 230.8 s 43.0 s 7.9%
Large-v2 178.3 s 43.2 s 8.8%
Medium 113.3 s 26.3 s 8.9%

出典:NilaierMusicベンチマーク、Intel i7-12650H + RTX 3060 Laptop 6 GB、フランス語音声、int8精度。

このバッチ処理テストでは、Turboが比較したモデルの中で最も低いWER(7.7%)と最短の処理時間を記録しました。特定のフランス語音声とRTX 3060 Laptopを使った結果なので、別の音声や端末でも同じ順位になるとは限りません。

Turbo・MediumとWhisper各モデルの比較

Turbo登場前は、速度と精度のバランスを取るためにMediumがよく選ばれていました。Turboは8.09億パラメータでMedium(7.69億)に近い規模ですが、Large系に近い精度と高い処理速度を両立します。各モデルのおおよその違いは次のとおりです。

モデル パラメータ数 容量の目安 相対速度 精度の目安
tiny 39M 約75 MB 約10倍 低い
base 74M 約142 MB 約7倍 やや低い
small 244M 約466 MB 約4倍 中程度
medium 769M 約1.5 GB 約2倍 高い
large-v3 1,550M 約2.9 GB 1倍(基準) 最も高い
large-v3-turbo 809M 約1.6 GB Apple Siliconで約5倍 large-v3に近い

Turboは2024年9月30日に公開されました。Mediumとほぼ同じ保存容量で、より高い精度と速度が必要な場合に検討しやすいモデルです。相対速度は実行環境で変わり、表のTurboの値は上記Apple Siliconテストに基づきます。

既知の制限事項(とWhisper Notesの対応策)

翻訳機能なし

Turboは翻訳データなしで学習されました。ソース言語での文字起こしのみ対応しています。Large-v3は音声から英語への翻訳をサポートしていますが、Turboにはありません。

Whisper Notes -- Apple Intelligenceが文字起こし結果を指定した言語に自動翻訳し、使用モデルに関係なくバイリンガル出力を提供します。

ノイズの多い音声でのハルシネーション増加

コミュニティの報告によると、Turboは非常に短いクリップやノイズの多い録音でV3よりハルシネーションが増える傾向があります。デコーダーの削減(4層 vs 32層)を考慮すると想定内です。

Whisper Notes -- 文字起こし前にPyannote VADを実行し、音声区間を検出して無音やノイズを除去することで、モデルは実際の音声のみを処理します。

どのモデルを使うべき?

英語 / ヨーロッパ言語 Parakeet V3 -- 私たちの35分テストではWhisperより高速で、英語WERも低い
中国語 / 日本語 / 韓国語 SenseVoice -- CJK音声向け。M4 Proで27分の音声を13.83秒で処理
その他の言語 Whisper Large V3 Turbo -- 100以上の言語対応、高精度、低速

Whisper Large-v3 Turboのよくある質問

Whisper Large-v3とLarge-v3 Turboの違いは?

Large-v3 TurboはLarge-v3のエンコーダーを維持したまま、デコーダーを32層から4層に減らしています。そのため文字起こし精度をLarge-v3に近く保ちながら、処理時間を短縮できます。一方、Whisperに組み込まれた翻訳タスクには対応しません。

faster-whisperはLarge-v3 Turboに対応していますか?

はい。CTranslate2変換を通じてLarge-v3 Turboを実行できます。上記のコミュニティベンチマークでは、Turboのint8実行時のGPUメモリ使用量は約1.5 GBでした。

whisper.cppはLarge-v3 Turboに対応していますか?

はい。GGMLまたはGGUF形式に変換されたLarge-v3 Turboを実行できます。フル版Large-v3より小さいため、個人向けハードウェアでローカル文字起こし環境を組む場合にも選択肢になります。

openai/whisper-large-v3-turboはどこから入手できますか?

公式モデルはOpenAIのHugging Faceページで公開されています。Whisper Notesでは手動でダウンロードする必要はなく、Macアプリ内からローカルモデルを設定できます。

オンデバイスで動くWhisper各種、Parakeet V3、SenseVoice、Voxtralをまとめて比べるなら、Whisperモデル比較をご覧ください。Whisper自体の仕組みや実行方法から知りたい場合は、Whisper文字起こしガイドから始められます。