Nemotron 3 vs pyannote: współczynnik błędów diaryzacji 16,0 % → 9,9 %

Nemotron 3 obniża współczynnik błędów diaryzacji z 16,0 % do 9,9 %

Współczynnik błędów diaryzacji (DER) sumuje trzy rodzaje błędów, mierzone w czasie mowy: mowę przypisaną niewłaściwej osobie, mowę pominiętą przez model i szum uznany za mowę. To standardowa miara jakości diaryzacji mówców. W tabeli zestawiamy go z błędami, które użytkownicy zauważają najczęściej, oraz z szybkością i zużyciem pamięci obu modeli na Macu i iPhonie.

Kolorem zielonym, tu i we wszystkich dalszych tabelach i wykresach, oznaczamy lepszą wartość, gdy różnica wykracza poza margines błędu: przy dokładności 95-procentowy przedział ufności nie obejmuje zera, a przy szybkości i pamięci różnica jest znacznie większa niż rozrzut między przebiegami. Współczynniki błędów: im niższe, tym lepiej. Wiersze o dokładności pochodzą ze 122 publicznych nagrań (25 godzin, po angielsku i chińsku). Szybkość i pamięć dotyczą obu modeli uruchomionych przez Core ML, przy czym Nemotron 3 działa na Neural Engine. Czasy na Macu obejmują samo przetwarzanie, a na iPhonie są mierzone od rozpoczęcia wykrywania do uzyskania wyniku.

Spadek nie jest zasługą kilku nagrań. Poniższy wykres pokazuje zmianę w każdym ze 122 nagrań, od największego spadku do największego wzrostu:

Każdy słupek to jedno nagranie. Pokazuje, o ile punktów procentowych zmienił się jego współczynnik błędów po przejściu na Nemotron 3: poniżej zera spadł, powyżej zera wzrósł.

Nemotron 3 wypada gorzej w trzech przypadkach: w nagraniach z więcej niż ośmioma mówcami, w nagraniach z jednym mówcą oraz przy podziałach akapitów w środku zdania.

Pomyłki co do mówcy prawie znikają: 4,5 % → 1,0 %

Spośród trzech rodzajów błędów czytelnik najpierw zauważa mowę przypisaną niewłaściwej osobie: słowa się zgadzają, ale stoi przy nich cudze imię. Z modelem Nemotron 3 ten błąd prawie znika, a pominiętej mowy też jest mniej.

Średnia ze 122 nagrań, w procentach czasu mowy; oba słupki w każdym wierszu zaczynają się od zera. Spadek mowy przypisanej niewłaściwej osobie i mowy pominiętej wykracza poza margines błędu. Różnica w szumie uznanym za mowę mieści się w nim, dlatego ten słupek jest jasnoszary. Wartości są zaokrąglone, więc ich suma może nieznacznie różnić się od wyniku łącznego.

Właściwa liczba mówców w 80 % nagrań zamiast w 52 %

Za mała liczba mówców oznacza, że model połączył dwa głosy w jeden i kwestie dwóch osób trafiają pod jedną etykietę. To był najczęstszy błąd pyannote community-1. Nemotron 3 popełnia go dużo rzadziej.

Liczba mówców wykryta przez każdy z modeli w porównaniu z rzeczywistą, w 122 nagraniach. pyannote community-1 przeważnie wykrywał ich za mało. Nemotron 3 częściej trafia, a gdy się myli, równie często zawyża tę liczbę, jak ją zaniża.

Lepsze wyniki w spotkaniach, audycjach i nagraniach z udziałem od dwóch do ośmiu mówców

Nagrania bardzo różnią się trudnością: najtrudniejsze są spotkania nagrywane z drugiego końca sali, najłatwiejsze audycje. Po podziale według rodzaju nagrania, języka i liczby mówców każda grupa licząca co najmniej dziesięć nagrań ma niższy współczynnik błędów; w grupie z jednym mówcą różnica mieści się w marginesie błędu. Trzy nagrania z udziałem od dziewięciu do dwunastu mówców wypadły gorzej, ale jest ich za mało na test statystyczny.

Oba słupki w każdej grupie zaczynają się od zera: szary to pyannote community-1, zielony to Nemotron 3, a liczba na końcu słupka to średni współczynnik błędów. Zielony oznacza spadek poza marginesem błędu, jasnoszary różnicę w jego granicach, bursztynowy wzrost. 6 konferencji wynikowych uwzględniono w wynikach łącznych, ale to za mało na osobną grupę.

Porządkowanie transkrypcji: liczba ręcznych poprawek na 10 minut spada z 28,9 do 18,9

W praktyce współczynnik błędów przekłada się na pracę: tyle scaleń, podziałów i zmian mówcy trzeba wykonać, żeby widok mówców był poprawny. Policzyliśmy najmniejszą liczbę takich poprawek w 4 nagraniach dwuosobowych, dla których istnieje transkrypcja wzorcowa słowo po słowie (2 po niderlandzku, 1 po chińsku, 1 po fińsku). Czytelnicy zauważają też inny błąd: zdanie jednej osoby rozdzielone między dwóch mówców. W 12 angielskich spotkaniach nagranych z drugiego końca sali oba modele robią to rzadko, a różnica mieści się w marginesie błędu.

Liczba ręcznych poprawek pochodzi tylko z 4 nagrań, a to za mało na test statystyczny czy ogólny wniosek. Zdanie rozdzielone to zdanie wypowiedziane przez jedną osobę, którego tekst trafił do akapitów dwóch mówców.

Nemotron 3 jest szybszy i potrzebuje mniej niż jednej siódmej pamięci

Gdy model działa na urządzeniu, szybkość i pamięć liczą się tak samo jak dokładność. Tabela pokazuje czas przetwarzania i zużycie pamięci obu modeli uruchomionych przez Core ML, przy czym Nemotron 3 działa na Neural Engine. Na każdym testowanym urządzeniu Nemotron 3 jest szybszy i zużywa znacznie mniej pamięci. Najbardziej liczy się to na starszych iPhone’ach z 4 GB pamięci.

Mediana z kilku przebiegów (pyannote community-1 uruchomiono na iPhonie 15 tylko raz), wszystkie na tej samej 55-minutowej konferencji wynikowej z 10 mówcami. Oba modele działają przez Core ML, Nemotron 3 na Neural Engine. Czasy na Macu obejmują samo przetwarzanie, bez dekodowania dźwięku i ładowania modelu. Czasy na iPhonie liczą się od startu wykrywania do wyniku i obejmują ładowanie modelu, a w przypadku pyannote community-1 także przetwarzanie końcowe dostarczane razem z modelem. Telefony były podłączone przez USB, a każdy przebieg zaczynaliśmy, gdy telefon był chłodny.

Gdy Core ML po raz pierwszy uruchamia model na Neural Engine, kompiluje go dla danego urządzenia: na Macu trwa to około 7 sekund, na iPhonie 15 około minuty. Później ładowanie modelu zajmuje ułamek sekundy.

W czym pyannote community-1 jest nadal lepszy

• Więcej niż ośmiu mówców. Nemotron 3 rozróżnia najwyżej osiem osób. Spośród naszych 3 nagrań z udziałem od dziewięciu do dwunastu mówców w 2 wypadł gorzej niż pyannote community-1.
• Jeden mówca. W 14 nagraniach z jednym mówcą Nemotron 3 znalazł dodatkowych mówców w 5, a pyannote community-1 w 1.
• Podziały w środku zdania. W 12 angielskich spotkaniach 25,8 % podziałów akapitów wypadło w środku zdania, wobec 14,6 % przy pyannote community-1.

Jak najlepiej wykorzystać Nemotron 3 w Whisper Notes

• Ustaw liczbę mówców, jeśli ją znasz. W 108 nagraniach z dwoma lub więcej mówcami podanie tej liczby modelowi Nemotron 3 poprawiło liczbę mówców w 15 nagraniach i w żadnym jej nie zepsuło, bez wyraźnej zmiany współczynnika błędów (+0,16 p.p., w granicach marginesu).
• Jeśli mówi tylko jedna osoba, pomiń wykrywanie mówców. Unikniesz wtedy sporadycznego drugiego „mówcy”.
• Przy więcej niż ośmiu mówcach traktuj etykiety jako pierwszy szkic. W razie potrzeby scal mówców i zmień ich nazwy w widoku mówców.

Ustawianie liczby mówców przez „Not right?” w widoku mówców na Macu

Wykrywanie mówców działa tak samo na iPhonie i Macu, w całości na urządzeniu. Jak z niego korzystać w aplikacji, opisujemy w artykule Whisper Notes rozpoznaje teraz mówców.

Jak działają: pyannote tnie i grupuje, Nemotron 3 numeruje mówców według kolejności pierwszej wypowiedzi

pyannote community-1 to trzyetapowy potok. Najpierw tnie dźwięk na 10-sekundowe okna i w każdym ustala, kto mówi (do 3 osób w oknie, do 2 jednocześnie). Potem dla każdego fragmentu mowy wyznacza odcisk głosu, czyli embedding. Na koniec klasteryzacja VBx grupuje podobne odciski głosu w mówców. Numery mówców obowiązują tylko w obrębie jednego okna, więc łączną liczbę mówców ustala dopiero ostatni krok.

Nemotron 3 Diarization to jeden model: 31-warstwowy enkoder Transformer, który w każdej chwili ocenia osiem ścieżek mówców. Każda ścieżka jest oceniana osobno, więc gdy kilka osób mówi naraz, aktywnych jest kilka ścieżek. Model opiera się na podejściu Sortformer firmy NVIDIA i numeruje ścieżki według tego, kiedy dana osoba odzywa się po raz pierwszy. Osoba, która odezwie się pierwsza, zawsze trafia na ścieżkę 1, więc model nigdy nie musi zgadywać, do której pozycji należy dany głos. W trybie strumieniowym opisanym w karcie modelu pamięć podręczna mówców, ułożona w kolejności pojawiania się, zapamiętuje wcześniejszych mówców, dzięki czemu późniejszy fragment można dopasować do tego samego numeru.

Każda z tych architektur ma swoje ograniczenia. pyannote community-1 nie ma stałego limitu mówców, ale w tej samej chwili rozdziela najwyżej dwie osoby. Nemotron 3 potrafi oznaczyć kilka osób mówiących naraz, ale ma osiem ścieżek, więc znajduje najwyżej ośmiu mówców.

Schematy są uproszczone. pyannote community-1: około 21 MB w Whisper Notes, CC BY 4.0 (karta modelu); model segmentacji autorstwa Plaqueta i Bredina (Interspeech 2023), embeddingi z WeSpeaker, klasteryzacja VBx (Landini i in., 2022). Nemotron 3 Diarization: 97 MB (8-bitowa konwersja do Core ML wykonana przez Fluid Inference), około 100 milionów parametrów, OpenMDW 1.1 (karta modelu); metoda opisana w publikacjach Sortformer i Streaming Sortformer.

Jak testowaliśmy

• Nagrania. 122 publiczne nagrania, 25 godzin, po angielsku i chińsku, z udziałem od 1 do 12 mówców: spotkania nagrane z drugiego końca sali, audycje, konferencje wynikowe i nagrania jednego mówcy sklejone z osobnych fragmentów. Do tego 5 nagrań dwuosobowych po angielsku, niderlandzku, chińsku i fińsku, z czego 4 mają transkrypcję wzorcową słowo po słowie.
• Zbiory danych. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV i SKN oraz nasze własne nagrania. Tylko zbiory, których licencje pozwalają publikować wyniki; żadnych nagrań naszych użytkowników.
• Miara. Współczynnik błędów diaryzacji liczony w ramkach po 10 ms, bez tolerancji na granicach segmentów (collar), z uwzględnieniem nakładającej się mowy, uśredniany po nagraniach.
• Statystyka. 95-procentowe przedziały z 10 000 powtórzeń bootstrapowych na poziomie całych nagrań; bez przedziałów dla grup liczących mniej niż dziesięć nagrań.
• Urządzenia. Mac z czipem M5, iPhone 15 i iPhone 12 mini; dokładność liczyliśmy na Macu.
• Prerejestracja. Plan testu zamroziliśmy 2 listopada 2026 roku, a zestaw nagrań dwuosobowych 4 listopada, zanim którykolwiek model został na nich uruchomiony.

Wypróbuj

Whisper Notes na iPhonie i Macu korzysta teraz z modelu Nemotron 3 do wykrywania mówców. Jeśli masz pytania, napisz na support@whispernotes.app.

Pobierz na iOS Pobierz na macOS