SenseVoice: Transkripsi Mandarin, Jepang & Korea 52× Lebih Cepat di Mac

Mengapa Kami Mengganti Qwen3-ASR

Qwen3-ASR adalah model yang bagus. Mendukung 30 bahasa plus 22 dialek Mandarin, dan akurasi Mandarinnya mendekati state-of-the-art. Tapi ada masalah yang semakin parah seiring audio semakin panjang: kecepatan.

Qwen3 menggunakan arsitektur autoregressive — pendekatan yang sama dengan Whisper, memproses audio frame demi frame, tidak pernah melompat ke depan. Untuk podcast Mandarin 27 menit, butuh 73 detik. Bisa digunakan, tapi bukan pengalaman hasil instan yang Parakeet V3 berikan untuk bahasa Inggris.

Masalah yang lebih dalam ada di infrastruktur kami. Integrasi Qwen3 menggunakan sherpa-onnx, library C dengan Swift wrapper 2.249 baris yang merutekan semua melalui CPU. GPU Mac menganggur.

SenseVoice memperbaiki kedua masalah tersebut. Arsitektur non-autoregressive untuk kecepatan. Apple MLX untuk akselerasi GPU. Hasilnya: peningkatan kecepatan 16.2× pada hardware yang sama, dengan codebase berkurang dari 2.249 baris menjadi 288.

Benchmark

Ketiga model berjalan pada Apple M4 Pro yang sama, file audio yang sama, kondisi yang sama. Tanpa cloud. Tanpa internet. Hanya silicon.

SenseVoice kira-kira setengah kecepatan Parakeet V3 — tapi tetap luar biasa cepat. Podcast 27 menit selesai dalam kurang dari 14 detik. Anda tekan transkripsi, tarik napas sekali, dan teksnya sudah ada.

Bandingkan dengan Whisper yang butuh 2 menit 4 detik, atau Qwen3 lama yang butuh 73 detik. Arsitektur lebih penting daripada jumlah parameter.

Benchmark inferensi resmi dari paper FunAudioLLM: SenseVoice-Small memproses 10s audio dalam 70ms (A800 GPU). Whisper-Large-V3 butuh 1.281ms. Perbedaan 18× dalam latensi inferensi mentah.

* Waktu muat dan memori diukur pada Apple M4 Pro, 32 GB.

SenseVoice dimuat dalam kurang dari satu detik dan menggunakan memori lebih sedikit daripada Parakeet. Di Mac 8 GB, berjalan nyaman bersama aplikasi lainnya.

Mengapa SenseVoice Lebih Cepat: Arsitektur + Runtime

Perbedaan kecepatan antara Qwen3-ASR dan SenseVoice berasal dari dua faktor independen.

Faktor 1: Arsitektur model. Qwen3-ASR bersifat autoregressive — menghasilkan token satu per satu, masing-masing bergantung pada yang sebelumnya. SenseVoice menggunakan encoder non-autoregressive (NAR) yang memproses seluruh audio secara paralel. Perbedaan arsitektur ini saja membuat SenseVoice secara fundamental lebih cepat, terlepas dari hardware yang digunakan.

Faktor 2: Runtime. Integrasi Qwen3-ASR kami menggunakan sherpa-onnx, yang berjalan di CPU. SenseVoice berjalan melalui Apple MLX, merutekan komputasi ke GPU. Bisakah Qwen3 juga berjalan di MLX? Ya — tapi tetap akan lebih lambat dari SenseVoice karena bottleneck autoregressive ada di arsitektur, bukan runtime.

Kodenya juga lebih sederhana. Implementasi SenseVoice baru adalah satu Swift Actor 288 baris yang berkomunikasi langsung dengan MLX, menggantikan framework C 168 MB. Lebih sedikit kode, lebih sedikit bug, aplikasi lebih kecil.

Lima Bahasa, Dikerjakan dengan Baik

SenseVoice tidak mencoba melakukan semuanya. Ia menangani lima bahasa:

Benchmark CommonVoice: SenseVoice-Small (kuning) vs Whisper-Small (biru) vs Whisper-Large-V3 (oranye). Lebih rendah lebih baik. Sumber: paper FunAudioLLM

Angka-angka bercerita jujur. SenseVoice mengalahkan Whisper dalam akurasi Mandarin dan Kanton dengan margin signifikan, sementara Whisper lebih akurat untuk Jepang, Korea, dan Inggris. Tapi SenseVoice lebih dari 15× lebih cepat dari Whisper-Large-V3. Untuk penggunaan nyata, perbedaan kecepatan lebih penting dari beberapa persen akurasi.

Hasil Kanton layak disorot tersendiri. Whisper-Small mendapat 38.97% CER untuk Kanton — nyaris tidak bisa digunakan. Bahkan Whisper-Large-V3 hanya mencapai 10.41%. SenseVoice mencapai 7.09%. Sebelum SenseVoice, tidak ada cara yang baik untuk mentranskripsi Kanton secara lokal di Mac. Jika Anda berbicara Kanton, model ini ada untuk Anda.

Transkripsi Korea dengan SenseVoice: impor video dengan subtitle bertimestamp

Tes Dunia Nyata: Podcast Mandarin 27 Menit

Kami mentranskripsi episode 27 menit Thirteen Invitations (十三邀), podcast wawancara Mandarin, dengan SenseVoice dan Whisper Large V3 Turbo di M4 Pro yang sama. ElevenLabs Scribe (cloud) sebagai referensi. Kedua model on-device membuat jumlah kesalahan yang kurang lebih sama, tapi jenis yang berbeda:

Akurasi sebanding. 9× lebih cepat. Untuk transkripsi Mandarin dunia nyata, SenseVoice memberi Anda transkrip yang bisa digunakan sebelum Whisper selesai loading.

Kapan Menggunakan Model Mana

Whisper Notes untuk Mac kini menyertakan empat model suara. Masing-masing dioptimalkan untuk skenario berbeda:

Pengaturan → Model Transkripsi: pilih engine yang tepat untuk bahasa Anda

Pemilih model di Pengaturan menampilkan keempat opsi dengan ukuran unduhan, jumlah bahasa, dan kebutuhan memori. SenseVoice diunduh pada penggunaan pertama (~827 MB) dan tersimpan di perangkat Anda.

Kompromi

SenseVoice bukan model universal. Berikut yang tidak bisa dilakukannya:

Ini adalah batasan arsitektur, bukan bug. Model yang dilatih pada 5 bahasa melakukan 5 bahasa itu dengan sangat baik. Dukungan 99+ bahasa Whisper datang dengan kecepatan lebih lambat dan error rate lebih tinggi pada setiap bahasa individual.

Coba Sekarang

SenseVoice tersedia di Whisper Notes untuk Mac v1.4.8 dan yang lebih baru. Unduh dari Pengaturan → Model Transkripsi → SenseVoice Small (~827 MB). Membutuhkan Mac Apple Silicon (M1 atau lebih baru).

Jika Anda menggunakan Parakeet V3 dan kebanyakan mendikte dalam bahasa Inggris, tidak perlu beralih. SenseVoice untuk ketika Anda butuh Mandarin, Jepang, Korea, atau Kanton — dan Anda ingin cepat.

Unduh untuk Mac

Changelog lengkap: whispernotes.app/changelog

Pertanyaan atau masukan: mac@whispernotes.app