Whisper Large V3 Turbo vs V3: 5× Lebih Pantas di Mac (Benchmark)

V3 Turbo vs V3: Apa yang Berubah

Turbo bukan seni bina baharu. Ia adalah model Whisper Large-v3 yang sama dengan dekoder dipangkas daripada 32 lapisan kepada 4, kemudian ditala halus untuk memulihkan ketepatan. Pengekod tidak disentuh.

Kaedah: fail audio 10 minit yang sama ditranskripsi dengan binaan Whisper Notes yang sama pada setiap peranti yang dinamakan. Masa ialah saat mengikut jam sebenar dari mula transkripsi hingga teks akhir; hanya model yang berubah antara V3 dan Turbo.

Tugas terjemahan telah dikecualikan secara eksplisit daripada data latihan Turbo. Model penuh Large-v3 menyokongnya, tetapi Whisper Notes hanya menyediakan Turbo — terjemahan dikendalikan secara berasingan melalui Apple Intelligence.

Model Asas: Apakah Whisper Large-v3?

Whisper Large-v3 ialah model pengecaman pertuturan sumber terbuka perdana OpenAI, dikeluarkan pada November 2023. Ia mempunyai 1.55B parameter, menggunakan input spektrogram 128 mel-bin, dilatih dengan 5 juta jam audio (1 juta jam weakly labeled + 4 juta jam pseudo-labeled), dan menyokong lebih 100 bahasa termasuk Kantonis. Pada papan pendahulu Hugging Face Open ASR, purata kadar ralat perkataannya sekitar ~7.4% — siling ketepatan yang digunakan untuk mengukur Turbo sepanjang artikel ini. Untuk melihat bagaimana Large-v3 berbanding setiap model pada peranti yang lain, lihat halaman perbandingan model Whisper kami.

Penanda aras kelajuan: Whisper Notes di Apple Silicon

Dalam Whisper Notes untuk Mac, Turbo berjalan melalui CoreML pada Neural Engine. Memproses 10 minit audio:

Peningkatan 5× adalah khusus untuk Whisper Notes di Apple Silicon, di mana dekoder yang lebih kecil mendapat manfaat daripada pengoptimuman Neural Engine. Pada GPU dengan rangka kerja seperti faster-whisper, perbezaannya mengecil kepada ~2.7× (lihat penanda aras komuniti di bawah).

Ketepatan: Perbandingan WER

Papan pendahulu Hugging Face Open ASR menguji kedua-dua model pada set data bahasa Inggeris yang sama. Kadar ralat perkataan Turbo berada dalam setengah mata daripada V3 merentas setiap penanda aras:

V3 sedikit lebih tepat pada setiap set data, tetapi perbezaannya kecil — 0.39 mata peratusan secara purata. Untuk kebanyakan transkripsi dunia sebenar, anda tidak akan merasakan perbezaannya.

Pada penilaian format panjang YouTube-commons (salah satu penanda aras ASR sumber terbuka terbesar), Turbo mencatat WER 13.40% berbanding 13.20% V3 — sambil berjalan pada faktor masa nyata 129.5× berbanding 55.3×. Itu 2.3× lebih pantas dengan ketepatan hampir sama pada audio dunia sebenar.

Sejauh Mana Ketepatan Turbo dalam Bahasa Korea, Rusia dan Bahasa Lain?

Penanda aras di atas adalah dalam bahasa Inggeris. Menurut model card OpenAI, dekoder 4 lapisan Turbo yang dipangkas mengorbankan sedikit lebih banyak ketepatan dalam bahasa bukan Inggeris berbanding bahasa Inggeris, dengan penurunan paling ketara pada bahasa bersumber rendah. Untuk bahasa Rusia dan kebanyakan bahasa Eropah, Turbo kekal hampir dengan Large-v3 penuh — dan jika anda menggunakan Whisper Notes, Parakeet V3 merangkumi bahasa Rusia dan 24 bahasa Eropah lain pada kelajuan 10× Whisper.

Untuk bahasa Korea, Jepun, Cina dan Kantonis, model yang dibina khusus adalah lebih pantas dan lebih kemas tanda bacanya: SenseVoice mentranskripsi CJK pada 52× masa nyata. Whisper Notes menyediakan SenseVoice bersama Turbo di Mac dan iOS, jadi anda boleh memilih model yang sesuai untuk setiap bahasa dan bukannya memaksa semuanya melalui satu model.

Penanda aras komuniti: GPU & CPU

Penanda aras bebas daripada komuniti faster-whisper dan whisper.cpp menunjukkan keputusan yang konsisten merentas perkakasan. Transkripsi 13 minit audio dengan faster-whisper pada GPU:

Sumber: penanda aras faster-whisper pada GPU NVIDIA, split pengesahan bersih LibriSpeech. Turbo int8 hanya menggunakan 1.5 GB VRAM — muat pada GPU 2 GB.

Inferens berkelompok pada RTX 3060 Laptop (6 GB VRAM, ketepatan int8) meningkatkan lagi kelebihan:

Sumber: penanda aras NilaierMusic, Intel i7-12650H + RTX 3060 Laptop 6 GB, audio Perancis, ketepatan int8.

Dengan pemprosesan berkelompok, Turbo mencapai WER terbaik antara semua model yang diuji (7.7%) sambil menjadi yang terpantas. Ia adalah pilihan paling sesuai untuk kegunaan pengeluaran.

Turbo vs Medium vs Setiap Saiz Model Whisper

Sebelum Turbo, Medium ialah kompromi biasa: ketepatan yang boleh diterima pada kelajuan yang masih tertanggung. Turbo menjadikan pertukaran itu lapuk — pada 809M parameter, ia hampir tidak lebih besar daripada Medium (769M), namun memberikan ketepatan kelas large pada kelajuan beberapa kali ganda. Berikut ialah keseluruhan keluarga model secara bersebelahan:

Dikeluarkan pada 30 September 2024, Turbo mempunyai 809M parameter. Jika dahulu anda memilih Medium untuk menjimatkan ruang cakera atau mengejar kelajuan, Turbo kini mengatasinya dari segi ketepatan dan kelajuan pada saiz yang lebih kurang sama.

Had yang diketahui (dan cara Whisper Notes mengendalikannya)

Soalan Lazim Whisper Large-v3 Turbo

Sedang membandingkan semua pilihan tempatan? Setiap model pertuturan-ke-teks pada peranti — varian Whisper, Parakeet V3, SenseVoice dan Voxtral — dibandingkan secara bersebelahan di halaman perbandingan model Whisper kami. Baru mengenali Whisper? Mulakan dengan Panduan Transkripsi Whisper — apakah model itu, setiap cara untuk menjalankannya, dan berapa kosnya.

Muat Turun untuk iOS Muat Turun untuk macOS