Nemotron 3 vs pyannote: diariseringsfel 16,0 % → 9,9 %

Nemotron 3 sänker diariseringsfelet från 16,0 % till 9,9 %

Diariseringsfelet (DER) lägger ihop tre sorters fel, mätt i taltid: tal som tillskrivs fel person, tal som modellen missar och brus som tas för tal. Det är standardmåttet för talaridentifiering. Tabellen visar det tillsammans med de fel som användare märker mest och med båda modellernas hastighet och minne på Mac och iPhone.

Här och i alla tabeller och diagram nedan markerar grönt det bättre värdet när skillnaden är större än felmarginalen: för träffsäkerhet ett 95-procentigt intervall som inte innehåller noll, för hastighet och minne en skillnad som är mycket större än spridningen mellan körningar. För felfrekvenser gäller att lägre är bättre. Raderna om träffsäkerhet bygger på 122 offentliga inspelningar (25 timmar, engelska och kinesiska). Hastighet och minne är uppmätta för båda modellerna via Core ML, med Nemotron 3 på Neural Engine. Tiderna på Mac avser bara bearbetningen, och tiderna på iPhone räknas från att identifieringen startar till resultatet.

Minskningen beror inte på några få inspelningar. Diagrammet nedan visar förändringen för var och en av de 122 inspelningarna, från den största minskningen till den största ökningen:

Varje stapel är en inspelning och visar hur många procentenheter felet ändrades med Nemotron 3: under noll minskade det, över noll ökade det.

Nemotron 3 är sämre i tre fall: inspelningar med fler än åtta talare, inspelningar med en enda talare och styckebrytningar mitt i en mening.

Förväxlade talare försvinner nästan: 4,5 % → 1,0 %

Av de tre feltyperna är det tal som tillskrivs fel person som en läsare märker först: orden stämmer, men namnet är fel. Med Nemotron 3 försvinner det felet nästan, och missat tal minskar också.

Genomsnitt över de 122 inspelningarna, i procent av taltiden; båda staplarna i varje rad börjar på noll. Minskningarna för fel talare och missat tal är större än felmarginalen. Skillnaden för brus som tas för tal ligger inom felmarginalen, därför är den stapeln ljusgrå. Värdena är avrundade och summerar därför inte alltid exakt till totalen.

Rätt antal talare i 80 % av inspelningarna, mot 52 % tidigare

Hittar modellen för få talare har två röster slagits ihop till en, så att två personers repliker hamnar under samma etikett. Det var det vanligaste felet hos pyannote community-1, och Nemotron 3 gör det betydligt mer sällan.

Antalet talare som varje modell hittade i de 122 inspelningarna, jämfört med det verkliga antalet. pyannote community-1 hittade oftast för få. Nemotron 3 har rätt oftare, och när den har fel hittar den lika ofta för många som för få.

Bättre på möten, sändningar och inspelningar med två till åtta talare

Inspelningarna är olika svåra: möten som spelats in med en mikrofon på avstånd är svårast, sändningar lättast. Delar man upp dem efter typ av inspelning, språk och antal talare har varje grupp med minst tio inspelningar ett lägre diariseringsfel; för gruppen med en talare ligger skillnaden inom felmarginalen. De tre inspelningarna med nio till tolv talare blev sämre, men de är för få för att testas.

Båda staplarna i varje grupp börjar på noll: grått är pyannote community-1, grönt är Nemotron 3, och talet i slutet av varje stapel är det genomsnittliga felet. Grönt markerar en minskning större än felmarginalen, ljusgrått en skillnad inom felmarginalen och gult en ökning. De 6 telefonkonferenserna om kvartalsrapporter räknas in i totalen men är för få för en egen grupp.

Färre rättningar i transkriptionen: från 28,9 till 18,9 per 10 minuter

I slutändan blir felen till efterarbete: stycken som måste slås ihop, delas eller flyttas till en annan talare innan talarvyn stämmer. Vi räknade det minsta antalet sådana rättningar på 4 inspelningar med två personer där det finns en referens ord för ord (2 på nederländska, 1 på kinesiska, 1 på finska). Ett annat fel som läsare märker är att en persons mening delas mellan två talare. I 12 engelska möten inspelade med en mikrofon på avstånd gör båda modellerna det sällan, och skillnaden ligger inom felmarginalen.

Antalet rättningar bygger på bara 4 inspelningar, för få för ett statistiskt test eller en generell slutsats. En delad mening är en mening som en person sa men vars text hamnade i två talares stycken.

Nemotron 3 är snabbare och behöver mindre än en sjundedel av minnet

När allt körs på enheten spelar hastighet och minne lika stor roll som träffsäkerheten. Tabellen visar bearbetningstid och minne för båda modellerna via Core ML, med Nemotron 3 på Neural Engine. På varje enhet vi testade är Nemotron 3 snabbare och använder mycket mindre minne. Det betyder mest på äldre iPhone-modeller med 4 GB minne.

Median av flera körningar (pyannote community-1 kördes en gång på iPhone 15), alla på samma telefonkonferens om en kvartalsrapport, 55 minuter lång och med 10 talare. Båda modellerna körs via Core ML, Nemotron 3 på Neural Engine. Tiderna på Mac avser bara bearbetningen, utan avkodning av ljud eller inläsning av modellen. Tiderna på iPhone räknas från att identifieringen startar till resultatet och inkluderar inläsning av modellen och, för pyannote community-1, den efterbearbetning som följde med den. Telefonerna var anslutna via USB, och varje körning började med en sval telefon.

Första gången Core ML kör en modell på Neural Engine kompileras modellen för just den enheten: cirka 7 sekunder på en Mac och cirka en minut på en iPhone 15. Därefter tar det en bråkdel av en sekund att läsa in modellen.

Där pyannote community-1 fortfarande är bättre

• Fler än åtta talare. Nemotron 3 kan skilja på högst åtta personer; av våra 3 inspelningar med nio till tolv talare klarade den 2 sämre än pyannote community-1.
• En enda talare. På 14 inspelningar med en talare hittade Nemotron 3 extra talare i 5, pyannote community-1 i 1.
• Styckebrytningar mitt i en mening. På 12 engelska möten hamnade 25,8 % av styckebrytningarna mitt i en mening, mot 14,6 % med pyannote community-1.

Så får du ut mest av Nemotron 3 i Whisper Notes

• Ange antalet talare när du vet det. När vi angav antalet för Nemotron 3 rättades antalet talare i 15 av de 108 inspelningarna med två eller fler talare, och inte i en enda blev det fel. Diariseringsfelet ändrades inte märkbart (+0,16 procentenheter, inom felmarginalen).
• Om bara en person talar, hoppa över talaridentifieringen. Då slipper du att det ibland dyker upp en andra ”talare”.
• Vid fler än åtta talare, se etiketterna som ett första utkast. Slå ihop och byt namn på talare i talarvyn där det behövs.

Ange antalet talare via ”Not right?” i talarvyn på Mac

Talaridentifieringen fungerar likadant på iPhone och Mac och körs helt på din enhet. Hur du använder den i appen läser du i Whisper Notes kan nu identifiera talare.

Så fungerar modellerna: pyannote delar upp och klustrar, Nemotron 3 numrerar talarna i den ordning de börjar tala

pyannote community-1 är en pipeline i tre steg. Den delar upp ljudet i fönster på 10 sekunder och tar reda på vem som talar i varje fönster (upp till 3 personer per fönster, upp till 2 samtidigt). Sedan tar den fram ett röstavtryck, en så kallad embedding, för varje talsegment. Till sist grupperar VBx-klustring liknande röstavtryck till talare. Talarnumren i ett fönster gäller bara i det fönstret, så det totala antalet talare bestäms först i det sista steget.

Nemotron 3 Diarization är en enda modell: en Transformer-encoder med 31 lager som poängsätter åtta talarspår i varje ögonblick. Varje spår poängsätts för sig, så när flera personer talar samtidigt är flera spår aktiva. Modellen följer NVIDIA:s Sortformer-metod och numrerar spåren efter när varje person talar första gången: den som talar först ligger alltid på spår 1, så modellen behöver aldrig gissa vilken plats en röst hör till. I strömningsläget som modellkortet beskriver minns en talarcache tidigare talare i den ordning de dök upp, så att ett senare segment kan kopplas till samma nummer.

Varje upplägg har sin begränsning. pyannote community-1 har ingen fast gräns för antalet talare men skiljer högst två personer åt i samma ögonblick. Nemotron 3 kan känna igen flera personer som talar samtidigt men har åtta spår och hittar därför högst åtta talare.

Diagrammen är förenklade. pyannote community-1: cirka 21 MB i Whisper Notes, CC BY 4.0 (modellkort); segmenteringsmodell av Plaquet och Bredin (Interspeech 2023), embeddings från WeSpeaker, klustring med VBx (Landini et al., 2022). Nemotron 3 Diarization: 97 MB (8-bitars Core ML-konvertering av Fluid Inference), cirka 100 miljoner parametrar, OpenMDW 1.1 (modellkort); metoden beskrivs i artiklarna om Sortformer och Streaming Sortformer.

Så testade vi

• Inspelningar. 122 offentliga inspelningar, 25 timmar, på engelska och kinesiska, med 1 till 12 talare var: möten inspelade med en mikrofon på avstånd, sändningar, telefonkonferenser om kvartalsrapporter och inspelningar med en talare som satts ihop av separata klipp. Dessutom 5 inspelningar med två personer på engelska, nederländska, kinesiska och finska, varav 4 med en referens ord för ord.
• Dataset. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV och SKN, plus egna inspelningar. Bara dataset vars licenser tillåter att resultat publiceras; inga inspelningar från våra användare.
• Mått. Diariseringsfel, beräknat i ramar om 10 ms utan collar, med överlappande tal, i genomsnitt per inspelning.
• Statistik. 95-procentiga intervall från 10 000 bootstrap-omsamplingar av hela inspelningar; inga intervall för grupper med färre än tio inspelningar.
• Enheter. En Mac med M5-chip, en iPhone 15 och en iPhone 12 mini; träffsäkerheten beräknades på Mac.
• Förregistrering. Testplanen låstes den 2 november 2026 och urvalet med två personer den 4 november, innan någon modell hade körts på de klippen.

Prova själv

Whisper Notes på iPhone och Mac använder nu Nemotron 3 för talaridentifiering. Om du har frågor kan du skriva till support@whispernotes.app.

Ladda ner för iOS Ladda ner för macOS