SenseVoice: Transcripció 52× més ràpida per a xinès, japonès i coreà a Mac

Per què hem substituït Qwen3-ASR

Qwen3-ASR era un model sòlid. Suportava 30 llengües més 22 dialectes xinesos, i la seva precisió per al xinès era propera a l'estat de l'art. Però tenia un problema que empitjorava com més llarg era l'àudio: la velocitat.

Qwen3 utilitzava una arquitectura autoregressiva — el mateix enfocament que Whisper, processant l'àudio fotograma a fotograma, sense saltar mai endavant. En un podcast xinès de 27 minuts trigava 224 segons. Utilitzable, però no l'experiència de resultat instantani que Parakeet V3 ofereix per a l'anglès.

El problema més profund era la nostra infraestructura. La nostra integració de Qwen3 utilitzava sherpa-onnx, una biblioteca en C amb un wrapper de Swift de 2.249 línies que ho dirigia tot a través dels nuclis de la CPU. La GPU restava ociosa mentre la CPU del teu Mac feia tota la feina.

SenseVoice va resoldre tots dos problemes. Arquitectura no autoregressiva per a la velocitat. Apple MLX per a l'acceleració per GPU. El resultat: una millora de velocitat de 16,2× amb el mateix maquinari, amb una base de codi reduïda de 2.249 línies a 288.

El benchmark

Els tres models executant-se al mateix Apple M4 Pro, els mateixos fitxers d'àudio, les mateixes condicions. Sense núvol. Sense internet. Només silici.

SenseVoice va aproximadament a la meitat de la velocitat de Parakeet V3 — i tot i així és extraordinàriament ràpid. Un podcast de 27 minuts s'enllesteix en menys de 14 segons. Prems transcriure, esperes un alè i el text ja hi és.

Compara-ho amb els 2 minuts i 4 segons de Whisper, o amb els 3 minuts i 44 segons de l'antic Qwen3. L'arquitectura importa més que el nombre de paràmetres.

Benchmark oficial d'inferència de l'article FunAudioLLM: SenseVoice-Small processa 10s d'àudio en 70ms (GPU A800). Whisper-Large-V3 triga 1.281ms. Això és una diferència de 18× en latència bruta d'inferència.

* Temps de càrrega i memòria mesurats en un Apple M4 Pro, 32 GB.

SenseVoice es carrega en menys d'un segon i fa servir menys memòria que Parakeet. En un Mac de 8 GB funciona còmodament al costat de les teves altres aplicacions.

Per què SenseVoice és més ràpid: arquitectura + entorn d'execució

La diferència de velocitat entre Qwen3-ASR i SenseVoice prové de dos factors independents.

Factor 1: Arquitectura del model. Qwen3-ASR és autoregressiu — genera el text token a token, cadascun dependent de l'anterior. SenseVoice utilitza un codificador no autoregressiu (NAR) que processa tot l'àudio en paral·lel. Aquesta diferència arquitectònica per si sola fa que SenseVoice sigui fonamentalment més ràpid, independentment del maquinari on l'executis.

Factor 2: Entorn d'execució. La nostra integració de Qwen3-ASR utilitzava sherpa-onnx, que funcionava a la CPU. SenseVoice s'executa a través d'Apple MLX, dirigint els càlculs a la GPU. Podria Qwen3 executar-se també amb MLX? Sí — però continuaria sent més lent que SenseVoice, perquè el coll d'ampolla autoregressiu és a l'arquitectura, no a l'entorn d'execució.

El codi també es va simplificar. La nova implementació de SenseVoice és un únic Swift Actor de 288 línies que es comunica directament amb MLX, substituint un framework C de 168 MB. Menys codi, menys errors, una app més petita.

Cinc llengües, ben fetes

SenseVoice no intenta fer-ho tot. Gestiona cinc llengües:

Benchmark CommonVoice: SenseVoice-Small (groc) vs Whisper-Small (blau) vs Whisper-Large-V3 (taronja). Com més baix, millor. Font: article FunAudioLLM

Els números expliquen una història honesta. SenseVoice supera Whisper en precisió per al xinès i el cantonès amb un marge significatiu, mentre que Whisper és més precís per al japonès, el coreà i l'anglès. Però SenseVoice és més de 15× més ràpid que Whisper-Large-V3. Per a la majoria d'usos reals, la diferència de velocitat importa més que uns quants punts percentuals de precisió.

El resultat del cantonès mereix ser destacat a part. Whisper-Small obté un 38,97% de CER en cantonès — gairebé inutilitzable. Fins i tot Whisper-Large-V3 només arriba al 10,41%. SenseVoice assoleix el 7,09%. Abans de SenseVoice no hi havia cap bona manera de transcriure cantonès localment en un Mac. Si parles cantonès, aquest model existeix per a tu.

Transcripció de coreà amb SenseVoice: importació de vídeo amb subtítols amb marques de temps

Prova al món real: podcast xinès de 27 minuts

Vam transcriure un episodi de 27 minuts de Thirteen Invitations (十三邀), un podcast d'entrevistes xinès, amb SenseVoice i Whisper Large V3 Turbo al mateix M4 Pro. ElevenLabs Scribe (núvol) va servir de referència. Tots dos models al dispositiu cometen aproximadament el mateix nombre d'errors, però de tipus diferents:

Precisió comparable. 9× més ràpid. Per a la transcripció de xinès al món real, SenseVoice et dona una transcripció utilitzable abans que Whisper acabi de carregar-se.

Quan utilitzar cada model

Whisper Notes per a Mac ara inclou quatre models de veu. Cadascun està optimitzat per a escenaris diferents:

Configuració → Model de transcripció: tria el motor adequat per a la teva llengua

El selector de models a Configuració mostra les quatre opcions amb mides de descàrrega, nombre de llengües i requisits de memòria. SenseVoice es descarrega al primer ús (~827 MB) i es queda al teu dispositiu.

Les contrapartides

SenseVoice no és un model universal. Això és el que no pot fer:

Són restriccions arquitectòniques, no errors. Un model entrenat en 5 llengües fa aquestes 5 llengües extremadament bé. La cobertura de més de 100 llengües de Whisper té el preu d'una velocitat més lenta i una precisió desigual entre llengües.

Vols comparar totes les opcions locals? Tots els models de veu a text al dispositiu — les variants de Whisper, Parakeet V3, SenseVoice i Voxtral — es comparen costat per costat a la nostra pàgina de comparació de models Whisper. Encara no coneixes Whisper? Comença per la guia de transcripció amb Whisper — què és el model, totes les maneres d'executar-lo i quant costa.

Preguntes freqüents

Prova'l

SenseVoice està disponible a Whisper Notes per a Mac a partir de la v1.5.0 (Direct Download / DMG) i a l'app actual per a iPhone. Al Mac, descarrega'l des de Configuració → Model de transcripció → SenseVoice Small (~827 MB). La versió per a Mac requereix Apple Silicon (M1 o posterior).

Si fas servir Parakeet V3 i dictes principalment en anglès, no cal que canviïs. SenseVoice és per a quan necessites xinès, japonès, coreà o cantonès — i el vols ràpid.

Descarrega per a Mac

Registre de canvis complet: whispernotes.app/changelog

Preguntes o comentaris: mac@whispernotes.app