Nemotron 3 vs pyannote: stopa pogreške dijarizacije 16,0 % → 9,9 %

Nemotron 3 smanjuje stopu pogreške dijarizacije sa 16,0 % na 9,9 %

Stopa pogreške dijarizacije (DER) zbraja tri vrste pogrešaka, a mjeri se trajanjem govora: govor pripisan krivoj osobi, govor koji je model propustio i šum shvaćen kao govor. To je uobičajena mjera za dijarizaciju govornika. U tablici je prikazana uz probleme koje korisnici najčešće primijete te uz brzinu i potrošnju memorije obaju modela na Macu i iPhoneu.

Zeleno ovdje i u svim tablicama i grafikonima u nastavku označava bolju vrijednost kad je razlika veća od pogreške mjerenja: za točnost, kad 95-postotni interval ne uključuje nulu; za brzinu i memoriju, kad je razlika mnogo veća od raspona među pokretanjima. Za stope pogreške vrijedi: niže je bolje. Retci o točnosti izmjereni su na 122 javne snimke (25 sati, engleski i kineski). Brzina i memorija odnose se na oba modela pokrenuta kroz Core ML, Nemotron 3 na Neural Engineu; vremena na Macu obuhvaćaju samo obradu, a na iPhoneu mjere se od početka prepoznavanja do rezultata.

Pad nije zasluga tek nekoliko snimki. Grafikon u nastavku prikazuje promjenu na svakoj od 122 snimke, od najvećeg pada do najvećeg rasta:

Svaki stupac jedna je snimka i pokazuje za koliko se bodova njezina stopa pogreške promijenila s modelom Nemotron 3: ispod nule pala je, iznad nule porasla.

Nemotron 3 lošiji je u tri slučaja: na snimkama s više od osam govornika, na snimkama s jednim govornikom i kod prijeloma odlomka usred rečenice.

Zamjena govornika gotovo je nestala: 4,5 % → 1,0 %

Od triju vrsta pogrešaka čitatelj prvo primijeti govor pripisan krivoj osobi: riječi su točne, ali ime nije. S modelom Nemotron 3 ta pogreška gotovo nestaje, a manje je i propuštenog govora.

Prosjek na 122 snimke, u postotku vremena govora; oba stupca u svakom retku počinju od nule. Padovi kod krivog govornika i propuštenog govora veći su od pogreške mjerenja. Razlika kod šuma shvaćenog kao govor ostaje unutar pogreške mjerenja, pa je taj stupac svijetlosiv. Vrijednosti su zaokružene, pa zbroj ne mora točno odgovarati ukupnom iznosu.

Točan broj govornika u 80 % snimki umjesto 52 %

Premalo pronađenih govornika znači da su se dva glasa stopila u jedan, pa replike dviju osoba završe pod istom oznakom. To je bila najčešća pogreška modela pyannote community-1, a Nemotron 3 radi je mnogo rjeđe.

Broj govornika koji je pronašao svaki model u usporedbi sa stvarnim brojem, na 122 snimke. pyannote community-1 uglavnom je pronašao premalo. Nemotron 3 češće pronađe točan broj, a kad pogriješi, pronađe previše govornika jednako često kao i premalo.

Bolji na sastancima, emisijama i snimkama s dva do osam govornika

Snimke se jako razlikuju po težini: sastanci snimljeni udaljenim mikrofonom najteži su, emisije najlakše. Kad snimke podijelimo po vrsti, jeziku i broju govornika, svaka skupina s barem deset snimki ima nižu stopu pogreške; kod skupine s jednim govornikom razlika je unutar pogreške mjerenja. Tri snimke s devet do dvanaest govornika pogoršale su se, ali ih je premalo za test.

Oba stupca u svakoj skupini počinju od nule: sivo je pyannote community-1, zeleno Nemotron 3, a broj na kraju stupca prosječna je stopa pogreške. Zeleno označava pad veći od pogreške mjerenja, svijetlosivo razliku unutar nje, jantarno rast. Ukupni iznosi uključuju i 6 poziva o financijskim rezultatima, kojih je premalo za zasebnu skupinu.

Uređivanje transkripta: ručni ispravci na 10 minuta padaju s 28,9 na 18,9

Na kraju se stopa pogreške pretvara u posao: broj spajanja, razdvajanja i promjena govornika potrebnih da prikaz govornika bude točan. Najmanji broj takvih ispravaka izbrojili smo na 4 snimke dviju osoba za koje postoji doslovni referentni transkript (2 nizozemske, 1 kineska, 1 finska). Još jedna pogreška koju čitatelji primijete jest rečenica jedne osobe podijeljena između dvaju govornika. Na 12 engleskih sastanaka snimljenih udaljenim mikrofonom oba modela to rijetko rade, a razlika je unutar pogreške mjerenja.

Broj ručnih ispravaka temelji se na samo 4 snimke, što je premalo za statistički test ili opći zaključak. Podijeljena rečenica je rečenica jedne osobe čiji je tekst završio u odlomcima dvaju govornika.

Nemotron 3 brži je i treba manje od sedmine memorije

Na uređaju su brzina i memorija jednako važne kao točnost. Tablica prikazuje vrijeme obrade i memoriju obaju modela pokrenutih kroz Core ML, Nemotron 3 na Neural Engineu. Na svakom uređaju koji smo testirali Nemotron 3 brži je i troši mnogo manje memorije. To je najvažnije na starijim iPhoneima s 4 GB memorije.

Medijan više pokretanja (pyannote community-1 pokrenut je jednom na iPhoneu 15), sve na istom pozivu o financijskim rezultatima od 55 minuta s 10 govornika. Oba modela rade kroz Core ML, Nemotron 3 na Neural Engineu. Vremena na Macu odnose se samo na obradu, bez dekodiranja zvuka i učitavanja modela. Vremena na iPhoneu traju od početka prepoznavanja do rezultata i uključuju učitavanje modela te, za pyannote community-1, naknadnu obradu s kojom je isporučen. Telefoni su bili spojeni USB-om, a svako pokretanje počelo je s ohlađenim telefonom.

Kad Core ML prvi put pokreće model na Neural Engineu, kompilira ga za taj uređaj, što traje oko 7 sekundi na Macu i oko minutu na iPhoneu 15. Nakon toga model se učitava u djeliću sekunde.

Gdje je pyannote community-1 i dalje bolji

• Više od osam govornika. Nemotron 3 označava najviše osam osoba; na 2 od naše 3 snimke s devet do dvanaest govornika bio je lošiji od modela pyannote community-1.
• Jedan govornik. Na 14 snimki s jednim govornikom Nemotron 3 pronašao je dodatne govornike u 5, pyannote community-1 u 1.
• Prijelomi usred rečenice. Na 12 engleskih sastanaka 25,8 % prijeloma odlomka palo je usred rečenice, prema 14,6 % s modelom pyannote community-1.

Kako izvući najviše iz modela Nemotron 3 u Whisper Notesu

• Postavite broj govornika kad ga znate. Na 108 snimki s dva ili više govornika zadavanje broja govornika modelu Nemotron 3 ispravilo je procijenjeni broj na 15 snimki, a ni na jednoj ga nije pokvarilo; stopa pogreške nije se jasno promijenila (+0,16 p. b., unutar pogreške mjerenja).
• Ako govori samo jedna osoba, preskočite prepoznavanje govornika. Tako izbjegavate povremenog drugog „govornika“.
• S više od osam govornika oznake shvatite kao prvi nacrt. Po potrebi spojite i preimenujte govornike u prikazu govornika.

Postavljanje broja govornika iz izbornika Not right? u prikazu govornika na Macu

Prepoznavanje govornika radi jednako na iPhoneu i Macu, u potpunosti na vašem uređaju. Kako ga koristiti u aplikaciji, pročitajte u članku Whisper Notes sada prepoznaje govornike.

Kako rade: pyannote reže i grupira, Nemotron 3 numerira govornike redom kojim prvi put progovore

pyannote community-1 lanac je od tri koraka. Zvuk reže na prozore od 10 sekundi i u svakom pronalazi tko govori (najviše 3 osobe po prozoru, najviše 2 istodobno). Zatim za svaki odsječak govora izvlači glasovni otisak, odnosno embedding. Na kraju grupiranje VBx spaja slične otiske u govornike. Brojevi govornika unutar prozora vrijede samo za taj prozor, pa se ukupan broj govornika određuje tek u posljednjem koraku.

Nemotron 3 Diarization jedan je model: Transformer koder od 31 sloja koji u svakom trenutku ocjenjuje osam traka govornika. Svaka se traka ocjenjuje zasebno, pa je, kad više ljudi govori istodobno, aktivno više traka. Slijedi NVIDIA-in pristup Sortformer i numerira trake prema tome kad tko prvi put progovori: osoba koja prva progovori uvijek je na traci 1, pa model nikad ne mora pogađati kojem mjestu glas pripada. U streaming načinu rada opisanom na kartici modela predmemorija govornika poredana prema dolasku pamti ranije govornike, pa se kasniji odsječak može povezati s istim brojem.

Svaki pristup ima svoju granicu. pyannote community-1 nema fiksnu granicu broja govornika, ali u istom trenutku razdvaja najviše dvije osobe. Nemotron 3 može označiti više osoba koje govore istodobno, ali ima osam traka, pa pronalazi najviše osam govornika.

Sheme su pojednostavljene. pyannote community-1: oko 21 MB u Whisper Notesu, CC BY 4.0 (kartica modela); model segmentacije: Plaquet i Bredin (Interspeech 2023), embeddingi iz WeSpeaker, grupiranje: VBx (Landini i sur., 2022). Nemotron 3 Diarization: 97 MB (8-bitna Core ML pretvorba koju je izradio Fluid Inference), oko 100 milijuna parametara, OpenMDW 1.1 (kartica modela); metoda je opisana u radovima Sortformer i Streaming Sortformer.

Kako smo testirali

• Snimke. 122 javne snimke, 25 sati, na engleskom i kineskom, svaka s 1 do 12 govornika: sastanci snimljeni udaljenim mikrofonom, emisije, pozivi o financijskim rezultatima i snimke jednog govornika spojene iz zasebnih isječaka. Uz to 5 snimki dviju osoba na engleskom, nizozemskom, kineskom i finskom, od kojih 4 imaju doslovni referentni transkript.
• Skupovi podataka. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV i SKN te naše vlastite snimke. Samo skupovi podataka čije licence dopuštaju objavu rezultata; nijedna snimka naših korisnika.
• Mjera. Stopa pogreške dijarizacije, računana u okvirima od 10 ms bez tolerancije na granicama (collar), uključujući preklapajući govor, kao prosjek po snimci.
• Statistika. 95-postotni intervali iz 10 000 bootstrap ponovnih uzorkovanja cijelih snimki; za skupine s manje od deset snimki intervale ne navodimo.
• Uređaji. Mac s čipom M5, iPhone 15 i iPhone 12 mini; točnost je izračunana na Macu.
• Predregistracija. Plan testa zamrznut je 2. studenoga 2026., a podskup snimki dviju osoba 4. studenoga, prije nego što je ijedan model obradio te isječke.

Isprobajte

Whisper Notes na iPhoneu i Macu sada za prepoznavanje govornika koristi Nemotron 3. Ako imate pitanja, pišite na support@whispernotes.app.

Preuzmi za iOS Preuzmi za macOS