Nemotron 3 vs pyannote: taxa d’error de diarització 16,0% → 9,9%

Nemotron 3 rebaixa la taxa d’error de diarització del 16,0% al 9,9%

La taxa d’error de diarització (DER) suma tres tipus d’error, mesurats en temps de parla: parla assignada a la persona equivocada, parla que el model no ha detectat i soroll pres per parla. És la mesura estàndard de la diarització. La taula la posa al costat dels problemes que més noten els usuaris, i de la velocitat i la memòria dels dos models en un Mac i en un iPhone.

Aquí i a totes les taules i gràfics següents, el verd marca el millor valor quan la diferència supera el marge d’error: en precisió, un interval del 95% que exclou el zero; en velocitat i memòria, una diferència molt més gran que la variació entre execucions. Taxes d’error: com més baixes, millor. Les files de precisió surten de 122 gravacions públiques (25 hores, en anglès i xinès). La velocitat i la memòria corresponen als dos models executats amb Core ML, amb Nemotron 3 al Neural Engine; els temps del Mac són només de processament, i els de l’iPhone van de l’inici de la detecció fins al resultat.

La baixada no es deu a unes quantes gravacions. El gràfic següent mostra el canvi en cadascuna de les 122 gravacions, de la baixada més gran a la pujada més gran:

Cada barra és una gravació i mostra quants punts ha canviat la seva taxa d’error amb Nemotron 3: per sota del zero ha baixat, per sobre ha pujat.

Nemotron 3 ho fa pitjor en tres casos: gravacions amb més de vuit parlants, gravacions amb un sol parlant i salts de paràgraf a mitja frase.

La confusió de parlants gairebé desapareix: 4,5% → 1,0%

Dels tres tipus d’error, la parla assignada a la persona equivocada és el que el lector nota primer: les paraules són correctes, però el nom no. Amb Nemotron 3 gairebé desapareix, i la parla no detectada també baixa.

Mitjana de les 122 gravacions, en percentatge del temps de parla; a cada fila, les dues barres comencen a zero. Les baixades de parlant equivocat i de parla no detectada superen el marge d’error. La diferència en soroll pres per parla hi queda dins, i per això aquella barra és gris clar. Els valors són arrodonits, així que la suma pot no coincidir exactament amb el total.

Nombre de parlants encertat en el 80% de les gravacions, abans en el 52%

Trobar massa pocs parlants vol dir que s’han fusionat dues veus en una, de manera que les intervencions de dues persones surten sota una sola etiqueta. Era l’error més habitual de pyannote community-1, i Nemotron 3 el comet molt menys sovint.

Nombre de parlants que ha trobat cada model, comparat amb el nombre real, a les 122 gravacions. pyannote community-1 en trobava massa pocs la majoria de vegades. Nemotron 3 l’encerta més sovint i, quan falla, en troba de més tan sovint com de menys.

Millor en reunions, emissions i gravacions de dos a vuit parlants

La dificultat varia molt d’una gravació a una altra: les reunions gravades amb un micròfon llunyà són les més difícils, i les emissions, les més fàcils. Si es divideixen per tipus de gravació, idioma i nombre de parlants, tots els grups amb almenys deu gravacions tenen una taxa d’error més baixa; al grup d’un sol parlant, la diferència queda dins del marge d’error. Les tres gravacions de nou a dotze parlants han empitjorat, però són massa poques per fer-ne una prova estadística.

A cada grup, les dues barres comencen a zero: en gris pyannote community-1, en verd Nemotron 3, i el número al final de cada barra és la taxa d’error mitjana. El verd marca una baixada més gran que el marge d’error, el gris clar una diferència dins del marge, i l’ambre una pujada. Les 6 presentacions de resultats compten als totals, però són massa poques per formar un grup propi.

Polir una transcripció: les correccions manuals per cada 10 minuts baixen de 28,9 a 18,9

Al final, la taxa d’error es converteix en feina: el nombre de fusions, separacions i canvis de parlant que cal fer perquè la vista de parlants quedi bé. Vam comptar el nombre mínim d’aquestes correccions en 4 gravacions de dues persones que tenen una referència paraula per paraula (2 en neerlandès, 1 en xinès i 1 en finès). Un altre error que el lector nota és la frase d’una persona partida entre dos parlants. En 12 reunions en anglès gravades amb un micròfon llunyà, cap dels dos models ho fa gaire, i la diferència queda dins del marge d’error.

El recompte de correccions manuals surt de només 4 gravacions, massa poques per a una prova estadística o una conclusió general. Una frase partida és la frase d’una sola persona que ha quedat repartida entre els paràgrafs de dos parlants.

Nemotron 3 és més ràpid i necessita menys d’una setena part de la memòria

En un dispositiu, la velocitat i la memòria compten tant com la precisió. La taula mostra el temps de processament i la memòria dels dos models executats amb Core ML, amb Nemotron 3 al Neural Engine. En tots els dispositius que hem provat, Nemotron 3 és més ràpid i fa servir molta menys memòria, cosa que compta sobretot als iPhone més antics amb 4 GB de memòria.

Mediana de diverses execucions (pyannote community-1 es va executar una sola vegada a l’iPhone 15), totes amb la mateixa presentació de resultats de 55 minuts amb 10 parlants. Els dos models s’executen amb Core ML, Nemotron 3 al Neural Engine. Els temps del Mac són només de processament, sense descodificar l’àudio ni carregar el model. Els temps de l’iPhone van de l’inici de la detecció fins al resultat i inclouen la càrrega del model i, en el cas de pyannote community-1, el postprocessament que l’acompanyava. Els telèfons estaven connectats per USB, i cada execució començava amb el telèfon fred.

La primera vegada que Core ML executa un model al Neural Engine, el compila per a aquell dispositiu: uns 7 segons en un Mac i aproximadament un minut en un iPhone 15. Després, carregar el model triga una fracció de segon.

On pyannote community-1 encara és millor

• Més de vuit parlants. Nemotron 3 etiqueta com a màxim vuit persones; en les nostres 3 gravacions de nou a dotze parlants, ho va fer pitjor que pyannote community-1 en 2.
• Un sol parlant. En 14 gravacions d’un sol parlant, Nemotron 3 va trobar parlants de més en 5, i pyannote community-1 en 1.
• Salts a mitja frase. En 12 reunions en anglès, el 25,8% dels salts de paràgraf queien a mitja frase, davant del 14,6% amb pyannote community-1.

Consells per treure el màxim partit de Nemotron 3 a Whisper Notes

• Indica el nombre de parlants quan el sàpigues. En les 108 gravacions amb dos parlants o més, dir-li el nombre a Nemotron 3 va corregir el recompte de parlants en 15 i no el va fer equivocar en cap, sense cap canvi clar en la taxa d’error (+0,16 punts, dins del marge).
• Si només parla una persona, no facis servir la detecció de parlants. Així evites que de tant en tant aparegui un segon «parlant».
• Amb més de vuit parlants, considera les etiquetes un primer esborrany. Fusiona i canvia el nom dels parlants a la vista de parlants quan calgui.

Com indicar el nombre de parlants des de Not right? a la vista de parlants del Mac

La detecció de parlants funciona igual a l’iPhone i al Mac, completament al teu dispositiu. Per saber com fer-la servir a l’app, consulta Whisper Notes ara identifica els parlants.

Com funcionen: pyannote talla i agrupa, Nemotron 3 numera els parlants en l’ordre en què parlen per primer cop

pyannote community-1 és una cadena de tres passos. Talla l’àudio en finestres de 10 segons i troba qui parla en cadascuna (fins a 3 persones per finestra, fins a 2 al mateix moment). Després extreu una empremta de veu, o embedding, de cada segment de parla. Finalment, l’agrupament VBx reuneix les empremtes semblants en parlants. Els números de parlant d’una finestra només valen per a aquella finestra, així que el nombre total de parlants no es fixa fins a l’últim pas.

Nemotron 3 Diarization és un sol model: un codificador Transformer de 31 capes que avalua vuit pistes de parlant a cada moment. Cada pista s’avalua per separat, de manera que quan diverses persones parlen alhora hi ha diverses pistes actives. Segueix l’enfocament Sortformer de NVIDIA i numera les pistes segons quan parla cada persona per primer cop. La primera persona que parla sempre és a la pista 1, així que el model mai no ha d’endevinar a quina posició pertany una veu. En la configuració en streaming que descriu la fitxa del model, una memòria cau de parlants, en ordre d’arribada, recorda els parlants anteriors, de manera que un segment posterior es pot associar al mateix número.

Cada disseny té el seu límit. pyannote community-1 no té cap límit fix de parlants, però separa com a màxim dues persones al mateix moment. Nemotron 3 pot etiquetar diverses persones que parlen alhora, però té vuit pistes, així que troba com a màxim vuit parlants.

Els esquemes són simplificats. pyannote community-1: uns 21 MB a Whisper Notes, CC BY 4.0 (fitxa del model); model de segmentació de Plaquet i Bredin (Interspeech 2023), embeddings de WeSpeaker, clustering amb VBx (Landini et al., 2022). Nemotron 3 Diarization: 97 MB (conversió Core ML de 8 bits de Fluid Inference), uns 100 milions de paràmetres, OpenMDW 1.1 (fitxa del model); el mètode es descriu als articles Sortformer i Streaming Sortformer.

Com ho vam provar

• Gravacions. 122 gravacions públiques, 25 hores, en anglès i xinès, d’1 a 12 parlants cadascuna: reunions gravades amb un micròfon llunyà, emissions, presentacions de resultats i gravacions d’un sol parlant fetes unint clips separats. A més, 5 gravacions de dues persones en anglès, neerlandès, xinès i finès, 4 d’elles amb una referència paraula per paraula.
• Conjunts de dades. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV i SKN, a més de gravacions pròpies. Només conjunts de dades amb llicències que permeten publicar-ne resultats; cap gravació dels nostres usuaris.
• Mètrica. Taxa d’error de diarització, calculada en trames de 10 ms sense collar, amb la parla superposada inclosa, i feta la mitjana per gravació.
• Estadística. Intervals del 95% a partir de 10.000 remostrejos bootstrap de gravacions senceres; sense intervals per als grups de menys de deu gravacions.
• Dispositius. Un Mac amb xip M5, un iPhone 15 i un iPhone 12 mini; la precisió es va calcular al Mac.
• Preregistre. El pla de proves es va tancar el 2 de novembre de 2026, i el de les gravacions de dues persones, el 4 de novembre, abans que cap model s’executés amb aquests clips.

Prova-ho

Whisper Notes a l’iPhone i al Mac ara fa servir Nemotron 3 per detectar els parlants. Si tens cap pregunta, escriu a support@whispernotes.app.

Descarregar per a iOS Descarregar per a macOS