Nemotron 3 vs. pyannote: Diarisierungsfehlerrate 16,0 % → 9,9 %

Nemotron 3 senkt die Diarisierungsfehlerrate von 16,0 % auf 9,9 %

Die Diarisierungsfehlerrate (DER) zählt drei Arten von Fehlern zusammen, gemessen an der Sprechzeit: Sprache, die der falschen Person zugeordnet wird, Sprache, die das Modell übersieht, und Geräusche, die es für Sprache hält. Sie ist das übliche Maß für die Sprechererkennung. Die Tabelle zeigt sie zusammen mit den Fehlern, die Nutzern am meisten auffallen, sowie Tempo und Speicherbedarf beider Modelle auf Mac und iPhone.

Grün markiert hier und in allen folgenden Tabellen und Diagrammen den besseren Wert, wenn der Abstand über der Fehlermarge liegt: bei der Genauigkeit, wenn das 95-%-Intervall die Null nicht enthält; bei Tempo und Speicher, wenn der Abstand weit größer ist als die Streuung zwischen den Durchläufen. Bei Fehlerraten ist niedriger besser. Die Genauigkeitszeilen stammen aus 122 öffentlichen Aufnahmen (25 Stunden, Englisch und Chinesisch). Tempo und Speicher wurden für beide Modelle über Core ML gemessen, Nemotron 3 auf der Neural Engine. Die Mac-Zeiten umfassen nur die Verarbeitung, die iPhone-Zeiten reichen vom Start der Erkennung bis zum Ergebnis.

Der Rückgang geht nicht auf einige wenige Aufnahmen zurück. Das Diagramm zeigt die Veränderung für jede der 122 Aufnahmen, vom stärksten Rückgang bis zum stärksten Anstieg:

Jeder Balken steht für eine Aufnahme und zeigt, um wie viele Prozentpunkte sich ihre Fehlerrate mit Nemotron 3 verändert hat: Unter null ist sie gesunken, über null gestiegen.

In drei Fällen schneidet Nemotron 3 schlechter ab: bei Aufnahmen mit mehr als acht Sprechern, bei Aufnahmen mit nur einem Sprecher und bei Absatzumbrüchen mitten im Satz.

Kaum noch vertauschte Sprecher: 4,5 % → 1,0 %

Von den drei Fehlerarten fällt beim Lesen die falsche Zuordnung zuerst auf: Die Wörter stimmen, aber der Name ist falsch. Mit Nemotron 3 verschwindet dieser Fehler fast, und auch übersehene Sprache geht zurück.

Durchschnitt über die 122 Aufnahmen, in Prozent der Sprechzeit; beide Balken jeder Zeile beginnen bei null. Die Rückgänge bei falschem Sprecher und übersehener Sprache liegen über der Fehlermarge. Der Unterschied bei Geräuschen, die für Sprache gehalten werden, liegt innerhalb der Fehlermarge, deshalb ist dieser Balken hellgrau. Die Werte sind gerundet und ergeben daher nicht unbedingt genau die Summe.

Richtige Sprecherzahl in 80 % der Aufnahmen statt in 52 %

Findet ein Modell zu wenige Sprecher, hat es zwei Stimmen zu einer zusammengelegt: Die Beiträge zweier Personen landen unter einem einzigen Label. Das war der häufigste Fehler von pyannote community-1, und Nemotron 3 macht ihn deutlich seltener.

Von beiden Modellen gefundene Sprecherzahl im Vergleich zur tatsächlichen Zahl in den 122 Aufnahmen. pyannote community-1 fand meist zu wenige. Nemotron 3 liegt öfter richtig, und wenn es danebenliegt, findet es genauso oft zu viele wie zu wenige.

Besser bei Meetings, Sendungen und Aufnahmen mit zwei bis acht Sprechern

Aufnahmen sind sehr unterschiedlich schwierig: Meetings, die über ein Raummikrofon aufgenommen wurden, sind am schwierigsten, Sendungen am einfachsten. Teilt man die Aufnahmen nach Art, Sprache und Sprecherzahl auf, hat jede Gruppe mit mindestens zehn Aufnahmen eine niedrigere Fehlerrate; bei der Gruppe mit einem Sprecher liegt der Unterschied innerhalb der Fehlermarge. Die drei Aufnahmen mit neun bis zwölf Sprechern schnitten schlechter ab, sind aber zu wenige für einen Test.

Beide Balken jeder Gruppe beginnen bei null: Grau ist pyannote community-1, Grün ist Nemotron 3, und die Zahl am Ende jedes Balkens ist die durchschnittliche Fehlerrate. Grün markiert einen Rückgang über der Fehlermarge, Hellgrau einen Unterschied innerhalb der Fehlermarge, Gelb einen Anstieg. Die 6 Telefonkonferenzen zu Quartalszahlen fließen in die Gesamtwerte ein, sind aber zu wenige für eine eigene Gruppe.

Transkript nachbearbeiten: Korrekturen pro 10 Minuten sinken von 28,9 auf 18,9

Am Ende bedeutet die Fehlerrate Nacharbeit: Du musst Absätze zusammenführen, aufteilen oder einem anderen Sprecher zuweisen, bis die Sprecheransicht stimmt. Wir haben die kleinstmögliche Zahl solcher Korrekturen an 4 Aufnahmen mit zwei Personen gezählt, für die eine Wort-für-Wort-Referenz vorliegt (2 auf Niederländisch, 1 auf Chinesisch, 1 auf Finnisch). Ein weiterer Fehler fällt beim Lesen auf: Der Satz einer Person wird auf zwei Sprecher aufgeteilt. In 12 englischen Meetings mit Raummikrofon passiert das bei beiden Modellen selten, und der Unterschied liegt innerhalb der Fehlermarge.

Die Zahl der Korrekturen stammt aus nur 4 Aufnahmen, zu wenige für einen statistischen Test oder eine allgemeine Aussage. Ein aufgeteilter Satz ist der Satz einer einzigen Person, dessen Text in den Absätzen zweier Sprecher gelandet ist.

Nemotron 3 ist schneller und braucht weniger als ein Siebtel des Arbeitsspeichers

Wenn alles auf dem Gerät läuft, zählen Tempo und Speicherbedarf genauso viel wie die Genauigkeit. Die Tabelle zeigt Verarbeitungszeit und Arbeitsspeicher beider Modelle, die über Core ML laufen, Nemotron 3 auf der Neural Engine. Auf jedem getesteten Gerät ist Nemotron 3 schneller und braucht weit weniger Arbeitsspeicher. Das ist vor allem auf älteren iPhones mit 4 GB Arbeitsspeicher wichtig.

Median mehrerer Durchläufe (pyannote community-1 lief auf dem iPhone 15 einmal), alle mit derselben 55-minütigen Telefonkonferenz zu Quartalszahlen mit 10 Sprechern. Beide Modelle laufen über Core ML, Nemotron 3 auf der Neural Engine. Die Mac-Zeiten umfassen nur die Verarbeitung, ohne Audio-Dekodierung und ohne Laden des Modells. Die iPhone-Zeiten reichen vom Start der Erkennung bis zum Ergebnis und enthalten das Laden des Modells sowie bei pyannote community-1 die damals mitgelieferte Nachbearbeitung. Die iPhones hingen per USB am Strom, und jeder Durchlauf begann mit abgekühltem Gerät.

Wenn Core ML ein Modell zum ersten Mal auf der Neural Engine ausführt, kompiliert es das Modell für dieses Gerät: etwa 7 Sekunden auf einem Mac und etwa eine Minute auf einem iPhone 15. Danach ist das Modell in Sekundenbruchteilen geladen.

Wo pyannote community-1 noch besser ist

• Mehr als acht Sprecher. Nemotron 3 erkennt höchstens acht Personen; bei unseren 3 Aufnahmen mit neun bis zwölf Sprechern schnitt es bei 2 schlechter ab als pyannote community-1.
• Nur ein Sprecher. Bei 14 Aufnahmen mit nur einem Sprecher fand Nemotron 3 in 5 zusätzliche Sprecher, pyannote community-1 in 1.
• Umbrüche mitten im Satz. In 12 englischen Meetings lagen 25,8 % der Absatzumbrüche mitten im Satz, bei pyannote community-1 waren es 14,6 %.

So holst du in Whisper Notes das Beste aus Nemotron 3 heraus

• Gib die Sprecherzahl vor, wenn du sie kennst. Bei den 108 Aufnahmen mit zwei oder mehr Sprechern korrigierte die Vorgabe die Sprecherzahl von Nemotron 3 in 15 Fällen und verschlechterte sie in keinem. Die Fehlerrate änderte sich dabei nicht spürbar (+0,16 Prozentpunkte, innerhalb der Fehlermarge).
• Spricht nur eine Person, lass die Sprechererkennung weg. Dann taucht auch nicht ab und zu ein zweiter „Sprecher“ auf.
• Bei mehr als acht Sprechern betrachte die Labels als ersten Entwurf. Führe Sprecher in der Sprecheransicht zusammen und benenne sie um, wo es nötig ist.

Die Sprecherzahl über „Not right?“ in der Sprecheransicht auf dem Mac festlegen

Die Sprechererkennung funktioniert auf iPhone und Mac gleich und läuft vollständig auf deinem Gerät. Wie du sie in der App nutzt, zeigt Whisper Notes unterstützt jetzt Sprechererkennung.

So arbeiten die Modelle: pyannote schneidet und gruppiert, Nemotron 3 nummeriert Sprecher in der Reihenfolge ihres ersten Beitrags

pyannote community-1 ist eine Pipeline aus drei Schritten. Sie schneidet das Audio in Fenster von 10 Sekunden und ermittelt, wer in jedem Fenster spricht (bis zu 3 Personen pro Fenster, bis zu 2 gleichzeitig). Dann berechnet sie für jedes Sprachsegment ein Stimmprofil, ein sogenanntes Embedding. Zum Schluss fasst das VBx-Clustering ähnliche Stimmprofile zu Sprechern zusammen. Die Sprechernummern innerhalb eines Fensters gelten nur für dieses Fenster, deshalb steht die Gesamtzahl der Sprecher erst im letzten Schritt fest.

Nemotron 3 Diarization ist ein einzelnes Modell: ein Transformer-Encoder mit 31 Schichten, der zu jedem Zeitpunkt acht Sprecherspuren bewertet. Jede Spur wird für sich bewertet; sprechen mehrere Personen gleichzeitig, sind also mehrere Spuren aktiv. Das Modell folgt dem Sortformer-Ansatz von NVIDIA und nummeriert die Spuren danach, wann jede Person zum ersten Mal spricht: Wer zuerst spricht, liegt immer auf Spur 1. So muss das Modell nie raten, auf welchen Platz eine Stimme gehört. Im Streaming-Aufbau, den die Model Card beschreibt, merkt sich ein Sprecher-Cache frühere Sprecher in der Reihenfolge ihres Auftretens, damit ein späteres Segment derselben Nummer zugeordnet werden kann.

Jeder Ansatz hat seine Grenze. pyannote community-1 hat keine feste Obergrenze für Sprecher, trennt aber höchstens zwei Personen im selben Moment. Nemotron 3 erkennt auch mehrere Personen, die gleichzeitig sprechen, hat aber acht Spuren und findet daher höchstens acht Sprecher.

Die Diagramme sind vereinfacht. pyannote community-1: etwa 21 MB in Whisper Notes, CC BY 4.0 (Model Card); Segmentierungsmodell von Plaquet und Bredin (Interspeech 2023), Embeddings von WeSpeaker, Clustering mit VBx (Landini et al., 2022). Nemotron 3 Diarization: 97 MB (8-Bit-Konvertierung für Core ML von Fluid Inference), etwa 100 Millionen Parameter, OpenMDW 1.1 (Model Card); Methode in den Papers zu Sortformer und Streaming Sortformer.

So haben wir getestet

• Aufnahmen. 122 öffentliche Aufnahmen, 25 Stunden, auf Englisch und Chinesisch, mit jeweils 1 bis 12 Sprechern: Meetings mit Raummikrofon, Sendungen, Telefonkonferenzen zu Quartalszahlen und Aufnahmen mit einem Sprecher, die aus einzelnen Clips zusammengefügt sind. Dazu 5 Aufnahmen mit zwei Personen auf Englisch, Niederländisch, Chinesisch und Finnisch, 4 davon mit Wort-für-Wort-Referenz.
• Datensätze. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV und SKN sowie eigene Aufnahmen. Nur Datensätze, deren Lizenz die Veröffentlichung von Ergebnissen erlaubt; keine Aufnahmen unserer Nutzer.
• Metrik. Diarisierungsfehlerrate, bewertet in Frames von 10 ms ohne Collar, überlappende Sprache eingeschlossen, gemittelt pro Aufnahme.
• Statistik. 95-%-Intervalle aus 10.000 Bootstrap-Stichproben ganzer Aufnahmen; keine Intervalle für Gruppen mit weniger als zehn Aufnahmen.
• Geräte. Ein Mac mit M5-Chip, ein iPhone 15 und ein iPhone 12 mini; die Genauigkeit wurde auf dem Mac berechnet.
• Präregistrierung. Der Testplan wurde am 2. November 2026 festgeschrieben, die Auswahl der Aufnahmen mit zwei Personen am 4. November, bevor ein Modell diese Clips verarbeitet hatte.

Probier es aus

Whisper Notes nutzt auf iPhone und Mac jetzt Nemotron 3 für die Sprechererkennung. Bei Fragen schreib uns an support@whispernotes.app.

Für iOS herunterladen Für macOS herunterladen