SenseVoice: Transkripsi Cina, Jepun & Korea 52× Lebih Pantas di Mac

Mengapa Kami Menggantikan Qwen3-ASR

Qwen3-ASR adalah model yang baik. Ia menyokong 30 bahasa serta 22 dialek Mandarin, dan ketepatan Mandarinnya hampir setanding yang terbaik. Tetapi ia mempunyai masalah yang semakin teruk apabila audio semakin panjang: kelajuan.

Qwen3 menggunakan seni bina autoregressive — pendekatan yang sama seperti Whisper, memproses audio bingkai demi bingkai, tidak pernah melompat ke hadapan. Untuk podcast Mandarin 27 minit, ia mengambil masa 73 saat. Boleh digunakan, tetapi bukan pengalaman keputusan serta-merta yang Parakeet V3 berikan untuk bahasa Inggeris.

Isu yang lebih mendalam terletak pada infrastruktur kami. Integrasi Qwen3 menggunakan sherpa-onnx, perpustakaan C dengan Swift wrapper 2,249 baris yang menghalakan semuanya melalui CPU. GPU Mac tidak digunakan langsung.

SenseVoice menyelesaikan kedua-dua masalah. Seni bina non-autoregressive untuk kelajuan. Apple MLX untuk pecutan GPU. Hasilnya: peningkatan kelajuan 16.2× pada perkakasan yang sama, dengan kod sumber dikurangkan dari 2,249 baris kepada 288.

Penanda Aras

Ketiga-tiga model berjalan pada Apple M4 Pro yang sama, fail audio yang sama, keadaan yang sama. Tiada awan. Tiada internet. Hanya silikon.

SenseVoice lebih kurang separuh kelajuan Parakeet V3 — tetapi masih sangat pantas. Podcast 27 minit selesai dalam kurang dari 14 saat. Anda tekan transkripsi, tarik nafas sekali, dan teks sudah ada.

Bandingkan dengan Whisper pada 2 minit 4 saat, atau Qwen3 lama pada 73 saat. Seni bina lebih penting daripada bilangan parameter.

Penanda aras inferens rasmi daripada kertas FunAudioLLM: SenseVoice-Small memproses 10s audio dalam 70ms (A800 GPU). Whisper-Large-V3 mengambil 1,281ms. Perbezaan 18× dalam kependaman inferens mentah.

* Masa muat dan memori diukur pada Apple M4 Pro, 32 GB.

SenseVoice dimuat dalam kurang dari satu saat dan menggunakan memori lebih sedikit daripada Parakeet. Pada Mac 8 GB, ia berjalan selesa bersama aplikasi lain anda.

Mengapa SenseVoice Lebih Pantas: Seni Bina + Runtime

Jurang kelajuan antara Qwen3-ASR dan SenseVoice datang dari dua faktor yang bebas.

Faktor 1: Seni bina model. Qwen3-ASR adalah autoregressive — ia menjana token satu per satu, setiap satu bergantung pada yang sebelumnya. SenseVoice menggunakan pengekod non-autoregressive (NAR) yang memproses seluruh audio secara selari. Perbezaan seni bina ini sahaja menjadikan SenseVoice secara asasnya lebih pantas, tanpa mengira perkakasan.

Faktor 2: Runtime. Integrasi Qwen3-ASR kami menggunakan sherpa-onnx, yang berjalan pada CPU. SenseVoice berjalan melalui Apple MLX, menghalakan pengiraan ke GPU. Bolehkah Qwen3 juga berjalan pada MLX? Ya — tetapi ia masih akan lebih perlahan daripada SenseVoice kerana kesesakan autoregressive terletak pada seni bina, bukan runtime.

Kod juga menjadi lebih ringkas. Pelaksanaan SenseVoice baharu adalah satu Swift Actor 288 baris yang berkomunikasi terus dengan MLX, menggantikan rangka kerja C 168 MB. Kurang kod, kurang pepijat, aplikasi lebih kecil.

Lima Bahasa, Dilakukan dengan Baik

SenseVoice tidak cuba melakukan semuanya. Ia mengendalikan lima bahasa:

Penanda aras CommonVoice: SenseVoice-Small (kuning) vs Whisper-Small (biru) vs Whisper-Large-V3 (oren). Lebih rendah lebih baik. Sumber: kertas FunAudioLLM

Nombor bercerita dengan jujur. SenseVoice mengatasi Whisper dalam ketepatan Mandarin dan Kantonis dengan margin yang ketara, manakala Whisper lebih tepat untuk Jepun, Korea, dan Inggeris. Tetapi SenseVoice lebih 15× lebih pantas daripada Whisper-Large-V3. Untuk kebanyakan penggunaan sebenar, perbezaan kelajuan lebih penting daripada beberapa peratus ketepatan.

Keputusan Kantonis patut diketengahkan secara berasingan. Whisper-Small mendapat 38.97% CER untuk Kantonis — hampir tidak boleh digunakan. Malah Whisper-Large-V3 hanya mencapai 10.41%. SenseVoice mencapai 7.09%. Sebelum SenseVoice, tiada cara yang baik untuk mentranskrip Kantonis secara tempatan di Mac. Jika anda bertutur Kantonis, model ini wujud untuk anda.

Transkripsi Korea dengan SenseVoice: import video dengan sari kata bertanda masa

Ujian Dunia Sebenar: Podcast Mandarin 27 Minit

Kami mentranskrip episod 27 minit Thirteen Invitations (十三邀), podcast temu bual Mandarin, dengan kedua-dua SenseVoice dan Whisper Large V3 Turbo pada M4 Pro yang sama. ElevenLabs Scribe (awan) sebagai rujukan. Kedua-dua model pada peranti membuat jumlah ralat yang hampir sama, tetapi jenis yang berbeza:

Ketepatan setanding. 9× lebih pantas. Untuk transkripsi Mandarin dunia sebenar, SenseVoice memberi anda transkrip yang boleh digunakan sebelum Whisper selesai memuatkan.

Bila Menggunakan Model Mana

Whisper Notes untuk Mac kini memuatkan empat model suara. Setiap satu dioptimumkan untuk senario berbeza:

Tetapan → Model Transkripsi: pilih enjin yang sesuai untuk bahasa anda

Pemilih model dalam Tetapan menunjukkan keempat-empat pilihan dengan saiz muat turun, bilangan bahasa, dan keperluan memori. SenseVoice dimuat turun pada penggunaan pertama (~827 MB) dan kekal pada peranti anda.

Kompromi

SenseVoice bukan model universal. Berikut yang tidak boleh dilakukannya:

Ini adalah kekangan seni bina, bukan pepijat. Model yang dilatih pada 5 bahasa melakukan 5 bahasa itu dengan sangat baik. Sokongan 99+ bahasa Whisper datang dengan kelajuan lebih perlahan dan kadar ralat lebih tinggi pada setiap bahasa individu.

Cuba Sekarang

SenseVoice tersedia dalam Whisper Notes untuk Mac v1.4.8 dan kemudian. Muat turun dari Tetapan → Model Transkripsi → SenseVoice Small (~827 MB). Memerlukan Mac Apple Silicon (M1 atau kemudian).

Jika anda menggunakan Parakeet V3 dan kebanyakannya mendiktekan dalam bahasa Inggeris, tidak perlu bertukar. SenseVoice untuk apabila anda perlukan Mandarin, Jepun, Korea, atau Kantonis — dan anda mahukannya pantas.

Muat Turun untuk Mac

Log perubahan penuh: whispernotes.app/changelog

Soalan atau maklum balas: mac@whispernotes.app