Nemotron 3 vs pyannote : taux d'erreur de diarisation 16,0 % → 9,9 %

Nemotron 3 ramène le taux d'erreur de diarisation de 16,0 % à 9,9 %

Le taux d'erreur de diarisation (DER) additionne trois types d'erreurs, mesurés en temps de parole : la parole attribuée à la mauvaise personne, la parole que le modèle a manquée et le bruit pris pour de la parole. C'est la mesure de référence de la diarisation. Le tableau la met en regard des problèmes que les utilisateurs remarquent le plus, ainsi que de la vitesse et de la mémoire des deux modèles sur Mac et sur iPhone.

Ici comme dans tous les tableaux et graphiques suivants, le vert signale la meilleure valeur lorsque l'écart dépasse la marge d'erreur : pour la précision, un intervalle à 95 % qui exclut zéro ; pour la vitesse et la mémoire, un écart bien plus grand que la dispersion entre les exécutions. Taux d'erreur : plus c'est bas, mieux c'est. Les lignes de précision portent sur 122 enregistrements publics (25 heures, en anglais et en chinois). La vitesse et la mémoire correspondent aux deux modèles exécutés via Core ML, Nemotron 3 sur le Neural Engine ; sur Mac, les temps ne couvrent que le traitement, et sur iPhone, ils vont du début de la détection au résultat.

La baisse ne provient pas de quelques enregistrements. Le graphique ci-dessous montre la variation sur chacun des 122 enregistrements, de la plus forte baisse à la plus forte hausse :

Chaque barre correspond à un enregistrement et indique de combien de points son taux d'erreur a varié avec Nemotron 3 : sous zéro, il a baissé ; au-dessus, il a augmenté.

Nemotron 3 fait moins bien dans trois cas : les enregistrements de plus de huit locuteurs, ceux à un seul locuteur, et les changements de paragraphe en milieu de phrase.

Les confusions de locuteurs disparaissent presque : 4,5 % → 1,0 %

Des trois types d'erreurs, la parole attribuée à la mauvaise personne est celle que le lecteur remarque en premier : les mots sont justes, mais le nom est faux. Avec Nemotron 3, elle a presque disparu, et la parole manquée diminue également.

Moyenne sur les 122 enregistrements, en pourcentage du temps de parole ; dans chaque ligne, les deux barres partent de zéro. Les baisses pour le mauvais locuteur et la parole manquée dépassent la marge d'erreur. L'écart sur le bruit pris pour de la parole reste dans cette marge, d'où la barre gris clair. Les valeurs sont arrondies : leur somme peut différer légèrement du total.

Le bon nombre de locuteurs dans 80 % des enregistrements, contre 52 %

Trouver trop peu de locuteurs signifie que deux voix ont été fusionnées : les interventions de deux personnes se retrouvent sous une seule étiquette. C'était l'erreur la plus courante de pyannote community-1, et Nemotron 3 la commet bien moins souvent.

Nombre de locuteurs trouvé par chaque modèle, comparé au nombre réel, sur les 122 enregistrements. pyannote community-1 en trouvait le plus souvent trop peu. Nemotron 3 tombe juste plus souvent et, quand il se trompe, il en trouve trop aussi souvent que trop peu.

Meilleur sur les réunions, les émissions et les enregistrements de deux à huit locuteurs

Le niveau de difficulté varie fortement d'un enregistrement à l'autre : les réunions captées par un micro éloigné sont les plus difficiles, les émissions les plus faciles. Si l'on découpe par type d'enregistrement, par langue et par nombre de locuteurs, chaque groupe d'au moins dix enregistrements affiche un taux d'erreur plus bas ; pour le groupe à un seul locuteur, l'écart reste dans la marge d'erreur. Les trois enregistrements de neuf à douze locuteurs se sont dégradés, mais ils sont trop peu nombreux pour un test statistique.

Dans chaque groupe, les deux barres partent de zéro : en gris pyannote community-1, en vert Nemotron 3 ; le nombre au bout de chaque barre est le taux d'erreur moyen. Le vert signale une baisse supérieure à la marge d'erreur, le gris clair un écart compris dans cette marge, l'ambre une hausse. Les 6 conférences de résultats financiers comptent dans les totaux, mais sont trop peu nombreuses pour former un groupe.

Corriger une transcription : de 28,9 à 18,9 retouches manuelles par tranche de 10 minutes

En fin de compte, le taux d'erreur se traduit en travail : le nombre de fusions, de scissions et de changements de locuteur nécessaires pour que la vue des intervenants soit correcte. Nous avons compté le nombre minimal de ces retouches sur 4 enregistrements à deux personnes disposant d'une référence mot à mot (2 en néerlandais, 1 en chinois, 1 en finnois). Autre erreur que le lecteur remarque : la phrase d'une même personne coupée entre deux locuteurs. Sur 12 réunions en anglais captées par un micro éloigné, les deux modèles commettent rarement cette erreur, et l'écart reste dans la marge d'erreur.

Le nombre de retouches manuelles ne repose que sur 4 enregistrements, trop peu pour un test statistique ou une conclusion générale. Une phrase coupée est une phrase prononcée par une seule personne dont le texte se retrouve dans les paragraphes de deux locuteurs.

Nemotron 3 est plus rapide et utilise moins d'un septième de la mémoire

Quand tout tourne sur l'appareil, la vitesse et la mémoire comptent autant que la précision. Le tableau donne le temps de traitement et la mémoire des deux modèles exécutés via Core ML, Nemotron 3 sur le Neural Engine. Sur chacun des appareils testés, Nemotron 3 est plus rapide et consomme beaucoup moins de mémoire, ce qui compte surtout sur les anciens iPhone dotés de 4 Go de mémoire.

Médiane de plusieurs exécutions (pyannote community-1 n'a tourné qu'une fois sur l'iPhone 15), toutes sur la même conférence de résultats financiers de 55 minutes avec 10 locuteurs. Les deux modèles tournent via Core ML, Nemotron 3 sur le Neural Engine. Sur Mac, les temps ne couvrent que le traitement, sans décodage audio ni chargement du modèle. Sur iPhone, ils vont du début de la détection au résultat et comprennent le chargement du modèle et, pour pyannote community-1, le post-traitement fourni avec lui. Les téléphones étaient branchés en USB, et chaque exécution démarrait avec un téléphone froid.

La première fois que Core ML exécute un modèle sur le Neural Engine, il le compile pour l'appareil : environ 7 secondes sur un Mac et environ une minute sur un iPhone 15. Ensuite, le modèle se charge en une fraction de seconde.

Là où pyannote community-1 reste meilleur

• Plus de huit locuteurs. Nemotron 3 étiquette au plus huit personnes ; sur nos 3 enregistrements de neuf à douze locuteurs, il a fait moins bien que pyannote community-1 sur 2 d'entre eux.
• Un seul locuteur. Sur 14 enregistrements à un seul locuteur, Nemotron 3 a trouvé des locuteurs en trop dans 5 cas, pyannote community-1 dans 1.
• Coupures en milieu de phrase. Dans 12 réunions en anglais, 25,8 % des changements de paragraphe tombaient au milieu d'une phrase, contre 14,6 % avec pyannote community-1.

Conseils pour exploiter au mieux Nemotron 3 dans Whisper Notes

• Indiquez le nombre de locuteurs quand vous le connaissez. Sur les 108 enregistrements à deux locuteurs ou plus, indiquer ce nombre à Nemotron 3 a corrigé le décompte des locuteurs dans 15 cas et ne l'a faussé dans aucun, sans changement net du taux d'erreur (+0,16 point, dans la marge).
• Si une seule personne parle, ne lancez pas la détection des locuteurs. Cela évite qu'un second « locuteur » apparaisse de temps à autre.
• Au-delà de huit locuteurs, considérez les étiquettes comme un premier jet. Fusionnez et renommez les locuteurs dans la vue des intervenants au besoin.

Indiquer le nombre de locuteurs via « Not right? » dans la vue des intervenants sur Mac

La détection des locuteurs fonctionne de la même manière sur iPhone et sur Mac, avec un traitement entièrement local sur votre appareil. Pour savoir comment l'utiliser dans l'app, consultez Whisper Notes reconnaît désormais les locuteurs.

Comment ils fonctionnent : pyannote découpe et regroupe, Nemotron 3 numérote les locuteurs dans l'ordre de leur première prise de parole

pyannote community-1 est une chaîne en trois étapes. Il découpe l'audio en fenêtres de 10 secondes et détermine qui parle dans chacune (jusqu'à 3 personnes par fenêtre, jusqu'à 2 au même instant). Il extrait ensuite une empreinte vocale, ou embedding, pour chaque segment de parole. Enfin, le clustering VBx regroupe les empreintes semblables en locuteurs. Les numéros de locuteur d'une fenêtre ne valent que pour cette fenêtre : le nombre total de locuteurs n'est donc fixé qu'à la dernière étape.

Nemotron 3 Diarization est un modèle unique : un encodeur Transformer à 31 couches qui évalue huit pistes de locuteur à chaque instant. Chaque piste est évaluée séparément : quand plusieurs personnes parlent en même temps, plusieurs pistes sont actives. Il suit l'approche Sortformer de NVIDIA et numérote les pistes selon le moment où chaque personne parle pour la première fois. La première personne à parler est toujours sur la piste 1, si bien que le modèle n'a jamais à deviner à quelle piste appartient une voix. Dans le mode streaming décrit sur sa fiche de modèle, un cache de locuteurs tenu par ordre d'arrivée garde en mémoire les locuteurs précédents, ce qui permet de rattacher un segment ultérieur au même numéro.

Chaque conception a ses limites. pyannote community-1 n'a pas de limite fixe de locuteurs, mais sépare au plus deux personnes au même instant. Nemotron 3 peut étiqueter plusieurs personnes qui parlent en même temps, mais n'a que huit pistes : il trouve au plus huit locuteurs.

Schémas simplifiés. pyannote community-1 : environ 21 Mo dans Whisper Notes, CC BY 4.0 (fiche du modèle) ; modèle de segmentation de Plaquet et Bredin (Interspeech 2023), embeddings de WeSpeaker, clustering avec VBx (Landini et al., 2022). Nemotron 3 Diarization : 97 Mo (conversion Core ML 8 bits par Fluid Inference), environ 100 millions de paramètres, OpenMDW 1.1 (fiche du modèle) ; méthode décrite dans les articles Sortformer et Streaming Sortformer.

Comment nous avons testé

• Enregistrements. 122 enregistrements publics, 25 heures, en anglais et en chinois, de 1 à 12 locuteurs chacun : réunions captées par un micro éloigné, émissions, conférences de résultats financiers et enregistrements à un seul locuteur assemblés à partir d'extraits séparés. S'y ajoutent 5 enregistrements à deux personnes en anglais, néerlandais, chinois et finnois, dont 4 avec une référence mot à mot.
• Jeux de données. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV et SKN, plus nos propres enregistrements. Uniquement des jeux de données dont la licence permet de publier des résultats ; aucun enregistrement de nos utilisateurs.
• Mesure. Taux d'erreur de diarisation, calculé par trames de 10 ms sans collar, parole superposée comprise, moyenné par enregistrement.
• Statistiques. Intervalles à 95 % issus de 10 000 rééchantillonnages bootstrap d'enregistrements entiers ; pas d'intervalle pour les groupes de moins de dix enregistrements.
• Appareils. Un Mac équipé d'une puce M5, un iPhone 15 et un iPhone 12 mini ; la précision a été calculée sur le Mac.
• Protocole figé d'avance. Le plan de test a été figé le 2 novembre 2026, et le volet à deux personnes le 4 novembre, avant qu'aucun modèle n'ait tourné sur ces extraits.

Faites l'essai

Whisper Notes sur iPhone et Mac utilise désormais Nemotron 3 pour la détection des locuteurs. Pour toute question, écrivez-nous à support@whispernotes.app.

Télécharger pour iOS Télécharger pour macOS