Nemotron 3 vs pyannote: chybovosť diarizácie 16,0 % → 9,9 %

Nemotron 3 znižuje chybovosť diarizácie zo 16,0 % na 9,9 %

Chybovosť diarizácie (DER) sčítava tri druhy chýb, merané časom reči: reč pripísanú nesprávnej osobe, reč, ktorú model vynechal, a šum považovaný za reč. Je to štandardná miera kvality diarizácie. Tabuľka ju uvádza vedľa problémov, ktoré používatelia zbadajú najčastejšie, a vedľa rýchlosti a pamäte oboch modelov na Macu a iPhone.

Zelenou je tu aj vo všetkých tabuľkách a grafoch nižšie označená lepšia hodnota, ak rozdiel presahuje chybu merania: pri presnosti to znamená, že 95-percentný interval neobsahuje nulu; pri rýchlosti a pamäti, že rozdiel je oveľa väčší než rozptyl medzi jednotlivými meraniami. Pri chybovosti platí: nižšia je lepšia. Riadky o presnosti pochádzajú zo 122 verejných nahrávok (25 hodín, angličtina a čínština). Rýchlosť a pamäť platia pre oba modely bežiace cez Core ML, Nemotron 3 na Neural Engine; pri Macu ide len o čas spracovania, pri iPhone o čas od začiatku rozpoznania po výsledok.

Pokles nespôsobuje len niekoľko nahrávok. Graf nižšie ukazuje zmenu na každej zo 122 nahrávok, od najväčšieho poklesu po najväčší nárast:

Každý stĺpec je jedna nahrávka a ukazuje, o koľko bodov sa jej chybovosť s Nemotronom 3 zmenila: pod nulou klesla, nad nulou stúpla.

Nemotron 3 je horší v troch prípadoch: pri nahrávkach s viac než ôsmimi rečníkmi, pri nahrávkach s jedným rečníkom a pri nových odsekoch začatých uprostred vety.

Zámena rečníkov takmer zmizla: 4,5 % → 1,0 %

Z troch druhov chýb si čitateľ ako prvú všimne reč pripísanú nesprávnej osobe: slová sedia, ale meno nie. S Nemotronom 3 takmer zmizne a ubudne aj vynechanej reči.

Priemer zo 122 nahrávok v percentách času reči; oba stĺpce v každom riadku začínajú od nuly. Pokles pri nesprávnom rečníkovi a pri vynechanej reči presahuje chybu merania. Rozdiel pri šume považovanom za reč je v rámci nej, preto je tento stĺpec svetlosivý. Hodnoty sú zaokrúhlené, takže ich súčet nemusí presne zodpovedať celkovej hodnote.

Správny počet rečníkov v 80 % nahrávok namiesto 52 %

Ak model nájde primálo rečníkov, znamená to, že dva hlasy splynuli do jedného a repliky dvoch ľudí skončia pod jedným štítkom. To bola najčastejšia chyba pyannote community-1 a Nemotron 3 ju robí oveľa zriedkavejšie.

Koľko rečníkov každý model našiel v porovnaní so skutočným počtom na 122 nahrávkach. pyannote community-1 väčšinou našiel primálo. Nemotron 3 sa trafí častejšie, a keď sa mýli, nájde priveľa rečníkov rovnako často ako primálo.

Lepší na poradách, vo vysielaní a pri nahrávkach s dvoma až ôsmimi rečníkmi

Nahrávky sa náročnosťou veľmi líšia: porady nahrávané z druhého konca miestnosti sú najťažšie, vysielanie najľahšie. Po rozdelení podľa typu nahrávky, jazyka a počtu rečníkov má každá skupina s aspoň desiatimi nahrávkami nižšiu chybovosť; pri skupine s jedným rečníkom je rozdiel v rámci chyby merania. Tri nahrávky s deviatimi až dvanástimi rečníkmi sa zhoršili, no je ich primálo na test.

Oba stĺpce v každej skupine začínajú od nuly: sivý je pyannote community-1, zelený Nemotron 3 a číslo na konci stĺpca je priemerná chybovosť. Zelená znamená pokles nad rámec chyby merania, svetlosivá rozdiel v jej rámci, jantárová nárast. Do celku sa započítava aj 6 hovorov o hospodárskych výsledkoch, na samostatnú skupinu ich je však primálo.

Úprava prepisu: ručné opravy na 10 minút klesli z 28,9 na 18,9

Chybovosť sa nakoniec premení na prácu: koľko zlúčení, rozdelení a zmien rečníka treba, aby zobrazenie rečníkov sedelo. Najmenší počet takých opráv sme spočítali na 4 nahrávkach dvoch ľudí, ku ktorým existuje doslovný referenčný prepis (2 holandské, 1 čínska, 1 fínska). Ďalšia chyba, ktorú čitateľ zbadá, je veta jedného človeka rozdelená medzi dvoch rečníkov. Na 12 anglických poradách nahrávaných z druhého konca miestnosti ju oba modely robia zriedka a rozdiel je v rámci chyby merania.

Počet ručných opráv pochádza len zo 4 nahrávok, čo je primálo na štatistický test alebo všeobecný záver. Rozdelená veta je veta jedného človeka, ktorej text sa dostal do odsekov dvoch rečníkov.

Nemotron 3 je rýchlejší a potrebuje menej než sedminu pamäte

Pri spracovaní priamo v zariadení záleží na rýchlosti a pamäti rovnako ako na presnosti. Tabuľka ukazuje čas spracovania a pamäť oboch modelov bežiacich cez Core ML, Nemotron 3 na Neural Engine. Na každom zariadení, ktoré sme testovali, je Nemotron 3 rýchlejší a zaberá oveľa menej pamäte. Najviac na tom záleží pri starších iPhonoch so 4 GB pamäte.

Medián z viacerých meraní (pyannote community-1 sme na iPhone 15 merali raz), vždy na tom istom 55-minútovom hovore o hospodárskych výsledkoch s 10 rečníkmi. Oba modely bežia cez Core ML, Nemotron 3 na Neural Engine. Časy na Macu zahŕňajú len spracovanie, bez dekódovania zvuku a načítania modelu. Časy na iPhone sa merajú od začiatku rozpoznania po výsledok a zahŕňajú načítanie modelu a pri pyannote community-1 aj následné spracovanie, ktoré sa s ním dodávalo. Telefóny boli pripojené cez USB a každé meranie sa začalo na vychladnutom telefóne.

Keď Core ML prvýkrát spúšťa model na Neural Engine, skompiluje ho pre dané zariadenie: na Macu asi 7 sekúnd, na iPhone 15 asi minútu. Potom sa model načíta za zlomok sekundy.

Kde je pyannote community-1 stále lepší

• Viac než osem rečníkov. Nemotron 3 označí najviac osem ľudí; na 2 z našich 3 nahrávok s deviatimi až dvanástimi rečníkmi dopadol horšie než pyannote community-1.
• Jeden rečník. Na 14 nahrávkach s jedným rečníkom našiel Nemotron 3 nadbytočných rečníkov v 5 z nich, pyannote community-1 v 1.
• Nový odsek uprostred vety. V 12 anglických poradách sa 25,8 % nových odsekov začalo uprostred vety, pri pyannote community-1 to bolo 14,6 %.

Ako vo Whisper Notes dostať z Nemotronu 3 čo najviac

• Ak poznáte počet rečníkov, zadajte ho. Na 108 nahrávkach s dvoma a viac rečníkmi sme Nemotronu 3 zadali počet rečníkov: v 15 prípadoch to výsledný počet opravilo, v žiadnom ho nepokazilo a chybovosť sa citeľne nezmenila (+0,16 p. b., v rámci chyby merania).
• Ak hovorí len jeden človek, rozpoznanie rečníkov vynechajte. Vyhnete sa tak občasnému druhému „rečníkovi“.
• Pri viac než ôsmich rečníkoch berte štítky ako prvý návrh. Podľa potreby ich v zobrazení rečníkov zlúčte a premenujte.

Nastavenie počtu rečníkov cez „Not right?“ v zobrazení rečníkov na Macu

Rozpoznanie rečníkov funguje na iPhone aj Macu rovnako a celé prebieha priamo v zariadení. Ako ho v aplikácii používať, sa dočítate v článku Whisper Notes teraz rozpozná hovoriacich.

Ako fungujú: pyannote reže a zhlukuje, Nemotron 3 čísluje rečníkov v poradí, v akom prvýkrát prehovoria

pyannote community-1 spracúva zvuk v troch krokoch. Najprv ho rozreže na 10-sekundové okná a v každom zistí, kto hovorí (najviac 3 ľudia na okno, najviac 2 naraz). Potom pre každý úsek reči vytvorí hlasový odtlačok, čiže embedding. Nakoniec zhlukovanie VBx zoskupí podobné odtlačky do rečníkov. Čísla rečníkov v okne platia len pre to okno, preto sa celkový počet rečníkov určí až v poslednom kroku.

Nemotron 3 Diarization je jediný model: 31-vrstvový enkodér typu Transformer, ktorý v každom okamihu vyhodnocuje osem stôp rečníkov. Každá stopa sa hodnotí samostatne, takže keď hovorí naraz viac ľudí, je aktívnych viac stôp. Model vychádza z prístupu Sortformer od spoločnosti NVIDIA a čísluje stopy podľa toho, kedy kto prvýkrát prehovorí: kto prehovorí prvý, je vždy na stope 1, takže model nemusí hádať, na ktorú pozíciu hlas patrí. V streamovacom režime, ktorý opisuje karta modelu, si skorších rečníkov pamätá vyrovnávacia pamäť zoradená v poradí, v akom prišli, takže neskorší úsek možno priradiť k rovnakému číslu.

Každý prístup má svoju hranicu. pyannote community-1 nemá pevný limit rečníkov, ale v jednom okamihu oddelí najviac dvoch ľudí. Nemotron 3 dokáže označiť viacerých ľudí, ktorí hovoria naraz, no má osem stôp, takže nájde najviac ôsmich rečníkov.

Schémy sú zjednodušené. pyannote community-1: vo Whisper Notes asi 21 MB, CC BY 4.0 (karta modelu); segmentačný model: Plaquet a Bredin (Interspeech 2023), embeddingy z WeSpeaker, zhlukovanie VBx (Landini a kol., 2022). Nemotron 3 Diarization: 97 MB (8-bitová konverzia do Core ML od Fluid Inference), asi 100 miliónov parametrov, OpenMDW 1.1 (karta modelu); metóda v článkoch Sortformer a Streaming Sortformer.

Ako sme testovali

• Nahrávky. 122 verejných nahrávok, 25 hodín, v angličtine a čínštine, každá s 1 až 12 rečníkmi: porady nahrávané z druhého konca miestnosti, vysielanie, hovory o hospodárskych výsledkoch a nahrávky jedného rečníka spojené zo samostatných úryvkov. Okrem toho 5 nahrávok dvoch ľudí v angličtine, holandčine, čínštine a fínčine, z toho 4 s doslovným referenčným prepisom.
• Dátové sady. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV a SKN, k tomu naše vlastné nahrávky. Len dátové sady, ktorých licencie dovoľujú zverejniť výsledky; žiadne nahrávky našich používateľov.
• Metrika. Chybovosť diarizácie, hodnotená v rámcoch po 10 ms bez tolerancie na hraniciach (collar), vrátane prekrývajúcej sa reči, spriemerovaná po nahrávkach.
• Štatistika. 95-percentné intervaly z 10 000 bootstrapových prevzorkovaní celých nahrávok; pre skupiny s menej než desiatimi nahrávkami intervaly neuvádzame.
• Zariadenia. Mac s čipom M5, iPhone 15 a iPhone 12 mini; presnosť sme počítali na Macu.
• Predregistrácia. Plán testu sme uzavreli 2. novembra 2026 a časť s nahrávkami dvoch ľudí 4. novembra, skôr než na týchto nahrávkach bežal akýkoľvek model.

Vyskúšajte

Whisper Notes na iPhone aj Macu teraz rozpoznáva rečníkov pomocou Nemotronu 3. Ak máte otázky, napíšte na support@whispernotes.app.

Stiahnuť pre iOS Stiahnuť pre macOS