Nemotron 3 vs pyannote: diarizációs hibaarány 16,0% → 9,9%

A Nemotron 3 16,0%-ról 9,9%-ra csökkenti a diarizációs hibaarányt

A diarizációs hibaarány (DER) háromféle hibát összegez, beszédidőben mérve: a rossz személyhez rendelt beszédet, a modell által kihagyott beszédet és a beszédnek vett zajt. Ez a beszélőfelismerés szokásos mérőszáma. A táblázatban mellette szerepelnek azok a hibák, amelyeket a felhasználók a leggyakrabban észrevesznek, valamint a két modell sebessége és memóriahasználata Macen és iPhone-on.

A zöld itt és az alábbi összes táblázatban és ábrán a jobb értéket jelöli, ha a különbség meghaladja a hibahatárt: a pontosságnál ez azt jelenti, hogy a 95%-os intervallum nem tartalmazza a nullát, a sebességnél és a memóriánál pedig azt, hogy az eltérés jóval nagyobb a futások közötti szórásnál. A hibaarányoknál az alacsonyabb érték a jobb. A pontossági sorok 122 nyilvános felvételből származnak (25 óra, angol és kínai). A sebességet és a memóriát mindkét modellnél Core ML-lel futtatva mértük, a Nemotron 3-at a Neural Engine-en. A Mac-idők csak a feldolgozást tartalmazzák, az iPhone-időket a felismerés indításától az eredményig mértük.

A csökkenés nem néhány felvételen múlik. Az alábbi ábra mind a 122 felvétel változását mutatja, a legnagyobb csökkenéstől a legnagyobb növekedésig:

Minden oszlop egy felvétel, és azt mutatja, hány százalékponttal változott a hibaarány a Nemotron 3-mal: nulla alatt csökkent, nulla fölött nőtt.

A Nemotron 3 három esetben gyengébb: nyolcnál több beszélőnél, egyetlen beszélőnél és a mondat közepére eső bekezdéstöréseknél.

A beszélők összetévesztése szinte eltűnik: 4,5% → 1,0%

A háromféle hiba közül a rossz személyhez rendelt beszédet veszi észre először az olvasó: a szöveg helyes, csak a név rossz. A Nemotron 3-mal ez a hiba szinte eltűnik, és a kihagyott beszéd is csökken.

Átlag a 122 felvételen, a beszédidő százalékában; minden sorban mindkét oszlop nulláról indul. A rossz beszélőhöz rendelt és a kihagyott beszéd csökkenése meghaladja a hibahatárt. A beszédnek vett zajnál a különbség a hibahatáron belül van, ezért ez az oszlop világosszürke. Az értékek kerekítettek, így összegük nem feltétlenül egyezik pontosan az összesennel.

A felvételek 80%-ánál helyes a beszélőszám, korábban 52%-ánál

Ha a modell túl kevés beszélőt talál, az azt jelenti, hogy két hangot egynek vett, így két ember megszólalásai egyetlen címke alá kerülnek. A pyannote community-1 ezt a hibát követte el a leggyakrabban, a Nemotron 3 jóval ritkábban.

Az egyes modellek által talált beszélőszám a valódihoz képest, a 122 felvételen. A pyannote community-1 többnyire túl keveset talált. A Nemotron 3 gyakrabban találja el, és ha téved, ugyanolyan gyakran talál túl sokat, mint túl keveset.

Jobb megbeszéléseken, műsorokon és két–nyolc beszélős felvételeken

A felvételek nehézsége nagyon eltérő: a terem másik végéből rögzített megbeszélések a legnehezebbek, a műsorok a legkönnyebbek. Felvételtípus, nyelv és beszélőszám szerint bontva minden legalább tíz felvételből álló csoportban alacsonyabb a hibaarány; az egybeszélős csoportban a különbség a hibahatáron belül van. A három kilenc–tizenkét beszélős felvételen romlott az eredmény, de ennyi felvétel statisztikai próbához túl kevés.

Minden csoportban mindkét oszlop nulláról indul: a szürke a pyannote community-1, a zöld a Nemotron 3, az oszlop végén álló szám pedig az átlagos hibaarány. A zöld a hibahatárt meghaladó csökkenést jelöli, a világosszürke a hibahatáron belüli különbséget, a borostyánsárga a növekedést. A 6 negyedéves eredményhívás beleszámít az összesítésbe, de túl kevés ahhoz, hogy külön csoportot alkosson.

Az átirat rendbetétele: 10 percenként 28,9 helyett 18,9 kézi javítás

A hibaarány végső soron munkát jelent: ennyi összevonás, szétválasztás és beszélőcsere kell ahhoz, hogy a beszélőnézet helyes legyen. Ezeknek a javításoknak a legkisebb számát 4 olyan kétszemélyes felvételen számoltuk meg, amelyekhez szó szerinti referenciaátirat tartozik (2 holland, 1 kínai, 1 finn). Az olvasók egy másik hibát is észrevesznek: amikor egy ember mondata két beszélő között oszlik meg. 12 angol nyelvű, a terem másik végéből rögzített megbeszélésen ez mindkét modellnél ritka, és a különbség a hibahatáron belül van.

A kézi javítások száma csak 4 felvételből származik, ami statisztikai próbához vagy általános következtetéshez túl kevés. Szétvágott mondatnak azt tekintjük, amikor egy ember által mondott mondat szövege két beszélő bekezdésébe került.

A Nemotron 3 gyorsabb, és a memória egyhetedénél is kevesebbet használ

Az eszközön a sebesség és a memória ugyanolyan fontos, mint a pontosság. A táblázat a két modell feldolgozási idejét és memóriahasználatát mutatja Core ML-lel futtatva; a Nemotron 3 a Neural Engine-en fut. Minden tesztelt eszközön a Nemotron 3 gyorsabb, és jóval kevesebb memóriát használ, ami a 4 GB memóriás régebbi iPhone-okon számít a legtöbbet.

Több futás mediánja (a pyannote community-1 iPhone 15-ön egyszer futott), mindegyik ugyanazon az 55 perces, 10 beszélős negyedéves eredményhíváson. Mindkét modell Core ML-lel fut, a Nemotron 3 a Neural Engine-en. A Mac-idők csak a feldolgozást tartalmazzák, hangdekódolás és modellbetöltés nélkül. Az iPhone-időket a felismerés indításától az eredményig mértük; ezekben benne van a modell betöltése, a pyannote community-1 esetében pedig a hozzá akkor tartozó utófeldolgozás is. A telefonok USB-n csatlakoztak, és minden futás lehűlt telefonnal indult.

Amikor a Core ML először futtat egy modellt a Neural Engine-en, lefordítja az adott eszközre: Macen ez kb. 7 másodperc, iPhone 15-ön kb. egy perc. Ezután a modell betöltése a másodperc töredékéig tart.

Ahol a pyannote community-1 még mindig jobb

• Nyolcnál több beszélő. A Nemotron 3 legfeljebb nyolc embert címkéz; a kilenc–tizenkét beszélős 3 felvételünkből 2-nél rosszabbul teljesített, mint a pyannote community-1.
• Egyetlen beszélő. 14 egybeszélős felvételből a Nemotron 3 5 esetben talált fölösleges beszélőt, a pyannote community-1 1 esetben.
• Bekezdéstörés a mondat közepén. 12 angol megbeszélésen a bekezdéstörések 25,8%-a esett mondat közepére, a pyannote community-1-nél 14,6%-uk.

Így hozhatja ki a legtöbbet a Nemotron 3-ból a Whisper Notesban

• Ha tudja a beszélők számát, adja meg. A 108 legalább kétbeszélős felvételen a szám megadása a Nemotron 3-nak 15 esetben kijavította a beszélőszámot, és egyiknél sem rontotta el; a hibaarány érdemben nem változott (+0,16 pont, a hibahatáron belül).
• Ha csak egy ember beszél, hagyja ki a beszélőfelismerést. Így elkerülhető az alkalmanként megjelenő második „beszélő”.
• Nyolcnál több beszélőnél tekintse a címkéket első változatnak. Ahol kell, vonja össze és nevezze át a beszélőket a beszélőnézetben.

A beszélők számának megadása a Not right? menüben, a Mac beszélőnézetében

A beszélőfelismerés iPhone-on és Macen ugyanúgy működik, teljes egészében az eszközön. Az alkalmazásbeli használatáról itt olvashat: A Whisper Notes mostantól felismeri a beszélőket.

Így működnek: a pyannote darabol és klaszterez, a Nemotron 3 az első megszólalás sorrendjében számozza a beszélőket

A pyannote community-1 háromlépéses folyamat. Először 10 másodperces ablakokra vágja a hangot, és mindegyikben megállapítja, ki beszél (ablakonként legfeljebb 3 ember, egy időben legfeljebb 2). Ezután minden beszédszakaszból hangujjlenyomatot, azaz beágyazást (embedding) von ki. Végül a VBx klaszterezés beszélőkké csoportosítja a hasonló hangujjlenyomatokat. Az ablakon belüli beszélősorszámok csak az adott ablakra érvényesek, ezért a beszélők száma csak az utolsó lépésben dől el.

A Nemotron 3 Diarization egyetlen modell: egy 31 rétegű Transformer-kódoló, amely minden pillanatban nyolc beszélősávot pontoz. Mindegyik sávot külön pontozza, így ha többen beszélnek egyszerre, több sáv is aktív. Az NVIDIA Sortformer-megközelítését követi, és a sávokat aszerint számozza, hogy ki mikor szólal meg először: az elsőként megszólaló mindig az 1. sávra kerül, így a modellnek sosem kell találgatnia, melyik helyre tartozik egy hang. A modellkártyán leírt streaming beállításban egy érkezési sorrendben vezetett beszélőgyorsítótár emlékszik a korábbi beszélőkre, így egy későbbi szakasz ugyanahhoz a sorszámhoz rendelhető.

Mindkét felépítésnek megvan a maga korlátja. A pyannote community-1-nek nincs rögzített beszélőkorlátja, de egy időben legfeljebb két embert választ szét. A Nemotron 3 több, egyszerre beszélő embert is fel tud címkézni, de nyolc sávja van, így legfeljebb nyolc beszélőt talál.

Az ábrák egyszerűsítettek. pyannote community-1: kb. 21 MB a Whisper Notesban, CC BY 4.0 (modellkártya); a szegmentáló modell Plaquet és Bredin (Interspeech 2023) munkája, a beágyazások a WeSpeaker modelljéből származnak, a klaszterezés VBx (Landini és mtsai., 2022). Nemotron 3 Diarization: 97 MB (a Fluid Inference 8 bites Core ML-konverziója), kb. 100 millió paraméter, OpenMDW 1.1 (modellkártya); a módszer leírása a Sortformer és a Streaming Sortformer cikkben olvasható.

Hogyan teszteltünk

• Felvételek. 122 nyilvános felvétel, 25 óra, angol és kínai nyelven, felvételenként 1–12 beszélővel: a terem másik végéből rögzített megbeszélések, műsorok, negyedéves eredményhívások és külön részletekből összefűzött egybeszélős felvételek. Ezenkívül 5 kétszemélyes felvétel angol, holland, kínai és finn nyelven, ebből 4-hez szó szerinti referenciaátirat tartozik.
• Adatkészletek. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV és SKN, valamint saját felvételeink. Csak olyan adatkészleteket használtunk, amelyek licence megengedi az eredmények közlését; a felhasználóink felvételeit nem.
• Mérőszám. Diarizációs hibaarány, 10 ms-os keretekben pontozva, tűréssáv (collar) nélkül, az átfedő beszédet is beleszámítva, felvételenként átlagolva.
• Statisztika. 95%-os intervallumok egész felvételek 10 000-szeres bootstrap-újramintavételezéséből; a tíznél kevesebb felvételből álló csoportokra nem adunk intervallumot.
• Eszközök. Egy M5 chipes Mac, egy iPhone 15 és egy iPhone 12 mini; a pontosságot a Macen számoltuk.
• Előzetes regisztráció. A teszttervet 2026. november 2-án véglegesítettük, a kétszemélyes felvételek felosztását november 4-én, még mielőtt bármelyik modell lefutott volna ezeken a részleteken.

Próbálja ki

Az iPhone-os és a Mac-es Whisper Notes mostantól a Nemotron 3-at használja a beszélőfelismeréshez. Ha kérdése van, írjon a support@whispernotes.app címre.

Letöltés iOS-re Letöltés macOS-re