Nemotron 3 vs. pyannote: fejlrate for talergenkendelse 16,0 % → 9,9 %

Nemotron 3 sænker fejlraten for talergenkendelse fra 16,0 % til 9,9 %

Fejlraten for talergenkendelse (DER, diarization error rate) lægger tre slags fejl sammen, målt i taletid: tale givet til den forkerte person, tale som modellen har overset, og støj taget for tale. Det er standardmålet for talergenkendelse. Tabellen viser den sammen med de fejl, brugerne lægger mest mærke til, og med de to modellers hastighed og hukommelsesforbrug på en Mac og en iPhone.

Her og i alle tabeller og diagrammer nedenfor markerer grøn den bedste værdi, når forskellen er større end usikkerhedsmarginen: for præcision et 95 %-interval, der ikke indeholder nul; for hastighed og hukommelse en forskel, der er langt større end spredningen mellem kørslerne. Fejlrater: lavere er bedre. Præcisionsrækkerne bygger på 122 offentlige optagelser (25 timer, engelsk og kinesisk). Hastighed og hukommelse gælder for begge modeller kørt gennem Core ML, med Nemotron 3 på Neural Engine. Tiderne på Mac er ren behandlingstid, og tiderne på iPhone måles fra det øjeblik, talergenkendelsen starter, til resultatet er klar.

Faldet skyldes ikke blot nogle få optagelser. Diagrammet nedenfor viser ændringen for hver af de 122 optagelser, fra det største fald til den største stigning:

Hver søjle er én optagelse og viser, hvor mange point fejlraten ændrede sig med Nemotron 3: Under nul faldt den, over nul steg den.

Nemotron 3 er dårligere i tre tilfælde: optagelser med mere end otte talere, optagelser med kun én taler og afsnitsskift midt i en sætning.

Forveksling af talere forsvinder næsten: 4,5 % → 1,0 %

Af de tre slags fejl er tale givet til den forkerte person den, læseren opdager først: Ordene er rigtige, men navnet er forkert. Med Nemotron 3 forsvinder den fejl næsten, og modellen overser også mindre tale.

Gennemsnit over de 122 optagelser i procent af taletiden; begge søjler i hver række starter ved nul. Faldene for forkert taler og overset tale er større end usikkerhedsmarginen. Forskellen for støj taget for tale ligger inden for den, så den søjle er lysegrå. Værdierne er afrundet, så summen svarer ikke nødvendigvis præcist til totalen.

Rigtigt antal talere i 80 % af optagelserne mod 52 % før

Finder modellen for få talere, er to stemmer smeltet sammen til én, og to personers replikker havner under samme etiket. Det var den hyppigste fejl hos pyannote community-1, og Nemotron 3 laver den langt sjældnere.

Antal talere, som hver model fandt, sammenlignet med det faktiske antal i de 122 optagelser. pyannote community-1 fandt oftest for få. Nemotron 3 rammer oftere rigtigt, og når den tager fejl, finder den lige så ofte for mange som for få.

Bedre på møder, udsendelser og optagelser med to til otte talere

Optagelserne er meget forskellige i sværhedsgrad: Møder optaget på afstand er de sværeste, udsendelser de letteste. Opdelt efter type optagelse, sprog og antal talere har hver gruppe med mindst ti optagelser en lavere fejlrate; for gruppen med én taler ligger forskellen inden for usikkerhedsmarginen. De tre optagelser med ni til tolv talere blev dårligere, men de er for få til en test.

Begge søjler i hver gruppe starter ved nul: Grå er pyannote community-1, grøn er Nemotron 3, og tallet for enden af hver søjle er den gennemsnitlige fejlrate. Grøn markerer et fald større end usikkerhedsmarginen, lysegrå en forskel inden for den og ravgul en stigning. De 6 investoropkald tæller med i totalerne, men er for få til en gruppe for sig.

Oprydning i transskriptionen: manuelle rettelser pr. 10 minutter falder fra 28,9 til 18,9

I sidste ende bliver fejlraten til arbejde: det antal sammenlægninger, opdelinger og skift af taler, du skal lave, før talervisningen er rigtig. Vi talte det mindste antal af den slags rettelser i 4 optagelser med to personer, som har en ord-for-ord-reference (2 på nederlandsk, 1 på kinesisk og 1 på finsk). Læserne lægger også mærke til, når én persons sætning bliver delt mellem to talere. I 12 engelske møder optaget på afstand gør begge modeller det sjældent, og forskellen ligger inden for usikkerhedsmarginen.

Antallet af manuelle rettelser bygger kun på 4 optagelser, hvilket er for få til en statistisk test eller en generel konklusion. En delt sætning er en sætning, som én person har sagt, men hvis tekst er havnet i to taleres afsnit.

Nemotron 3 er hurtigere og bruger under en syvendedel af hukommelsen

På en enhed betyder hastighed og hukommelse lige så meget som præcision. Tabellen viser behandlingstid og hukommelsesforbrug for begge modeller kørt gennem Core ML, med Nemotron 3 på Neural Engine. På alle de enheder, vi testede, er Nemotron 3 hurtigere og bruger langt mindre hukommelse. Det betyder mest på ældre iPhones med 4 GB hukommelse.

Median af flere kørsler (pyannote community-1 kørte én gang på iPhone 15), alle på det samme investoropkald på 55 minutter med 10 talere. Begge modeller kører gennem Core ML, Nemotron 3 på Neural Engine. Tiderne på Mac er ren behandlingstid uden lydafkodning og indlæsning af modellen. Tiderne på iPhone måles fra talergenkendelsen starter, til resultatet er klar, og omfatter indlæsning af modellen og, for pyannote community-1, den efterbehandling, den blev leveret med. Telefonerne var tilsluttet via USB, og hver kørsel startede, mens telefonen var kølig.

Første gang Core ML kører en model på Neural Engine, kompilerer den modellen til den pågældende enhed: ca. 7 sekunder på en Mac og ca. et minut på en iPhone 15. Derefter tager det kun en brøkdel af et sekund at indlæse modellen.

Her er pyannote community-1 stadig bedre

• Mere end otte talere. Nemotron 3 kan højst skelne mellem otte personer; i vores 3 optagelser med ni til tolv talere klarede den sig dårligere end pyannote community-1 i 2.
• Én taler. I 14 optagelser med én taler fandt Nemotron 3 ekstra talere i 5, pyannote community-1 i 1.
• Afsnitsskift midt i en sætning. I 12 engelske møder faldt 25,8 % af afsnitsskiftene midt i en sætning mod 14,6 % med pyannote community-1.

Sådan får du mest ud af Nemotron 3 i Whisper Notes

• Angiv antallet af talere, når du kender det. I de 108 optagelser med to eller flere talere gav det rigtigt antal talere i 15 og forkert antal i ingen, når Nemotron 3 fik antallet oplyst. Fejlraten ændrede sig ikke tydeligt (+0,16 point, inden for usikkerhedsmarginen).
• Taler kun én person, så spring talergenkendelsen over. Så undgår du, at der af og til dukker en ekstra „taler“ op.
• Er der mere end otte talere, så se etiketterne som et første udkast. Slå talere sammen og omdøb dem i talervisningen, hvor det er nødvendigt.

Antallet af talere angives via „Not right?“ i talervisningen på Mac

Talergenkendelsen fungerer ens på iPhone og Mac og kører helt på din enhed. Hvordan du bruger den i appen, kan du læse i Whisper Notes kan nu genkende talere.

Sådan virker de: pyannote deler op og grupperer, Nemotron 3 nummererer talerne i den rækkefølge, de tager ordet

pyannote community-1 er en pipeline i tre trin. Først deler den lyden op i vinduer på 10 sekunder og finder ud af, hvem der taler i hvert vindue (op til 3 personer pr. vindue og op til 2 på samme tid). Derefter udtrækker den et stemmeaftryk, en såkaldt embedding, for hvert talesegment. Til sidst samler VBx-clustering lignende stemmeaftryk til talere. Talernumrene i et vindue gælder kun for det vindue, så det samlede antal talere fastlægges først i sidste trin.

Nemotron 3 Diarization er en enkelt model: en Transformer-encoder med 31 lag, der i hvert øjeblik vurderer otte talerspor. Hvert spor vurderes for sig, så når flere taler samtidig, er flere spor aktive. Modellen bygger på NVIDIAs Sortformer-metode og nummererer sporene efter, hvornår hver person taler første gang: Den, der taler først, ligger altid på spor 1, så modellen skal aldrig gætte, hvilken plads en stemme hører til. I den streamingopsætning, som modelkortet beskriver, husker en talercache ordnet efter ankomst de tidligere talere, så et senere segment kan få det samme nummer.

Hver opbygning har sin begrænsning. pyannote community-1 har ingen fast grænse for antallet af talere, men kan højst skelne mellem to personer, der taler på samme tid. Nemotron 3 kan markere flere personer, der taler samtidig, men har otte spor og finder derfor højst otte talere.

Diagrammerne er forenklede. pyannote community-1: ca. 21 MB i Whisper Notes, CC BY 4.0 (modelkort); segmenteringsmodel af Plaquet og Bredin (Interspeech 2023), embeddings fra WeSpeaker, clustering med VBx (Landini m.fl., 2022). Nemotron 3 Diarization: 97 MB (8-bit Core ML-konvertering af Fluid Inference), ca. 100 millioner parametre, OpenMDW 1.1 (modelkort); metoden er beskrevet i artiklerne om Sortformer og Streaming Sortformer.

Sådan testede vi

• Optagelser. 122 offentlige optagelser, 25 timer, på engelsk og kinesisk, med 1 til 12 talere hver: møder optaget på afstand, udsendelser, investoropkald og optagelser med én taler sat sammen af separate klip. Desuden 5 optagelser med to personer på engelsk, nederlandsk, kinesisk og finsk, heraf 4 med en ord-for-ord-reference.
• Datasæt. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV og SKN samt vores egne optagelser. Kun datasæt, hvis licens tillader, at resultaterne offentliggøres; ingen optagelser fra vores brugere.
• Målemetode. Fejlrate for talergenkendelse, beregnet i rammer på 10 ms uden tolerancezone (collar), med overlappende tale medregnet, som gennemsnit pr. optagelse.
• Statistik. 95 %-intervaller fra 10.000 bootstrap-stikprøver af hele optagelser; ingen intervaller for grupper med under ti optagelser.
• Enheder. En Mac med M5-chip, en iPhone 15 og en iPhone 12 mini; præcisionen blev beregnet på Mac'en.
• Forhåndsregistrering. Testplanen blev låst den 2. november 2026 og opdelingen med to personer den 4. november, før nogen model havde kørt på klippene.

Prøv det selv

Whisper Notes på iPhone og Mac bruger nu Nemotron 3 til talergenkendelse. Har du spørgsmål, så skriv til support@whispernotes.app.

Download til iOS Download til macOS