Nemotron 3 vs pyannote: tasso di errore di diarizzazione 16,0% → 9,9%

Nemotron 3 riduce il tasso di errore di diarizzazione dal 16,0% al 9,9%

Il tasso di errore di diarizzazione (DER) somma tre tipi di errore, misurati in tempo di parlato: parlato attribuito alla persona sbagliata, parlato che il modello non ha rilevato e rumore scambiato per parlato. È la metrica standard della diarizzazione. Nella tabella compare accanto ai problemi che gli utenti notano di più, alla velocità e alla memoria richiesta dai due modelli su Mac e iPhone.

Qui e in tutte le tabelle e i grafici seguenti, il verde indica il valore migliore quando la differenza supera il margine d’errore: per la precisione, un intervallo al 95% che esclude lo zero; per velocità e memoria, uno scarto molto più ampio della variabilità tra un’esecuzione e l’altra. Tassi di errore: più sono bassi, meglio è. Le righe sulla precisione si basano su 122 registrazioni pubbliche (25 ore, in inglese e cinese). Velocità e memoria si riferiscono a entrambi i modelli eseguiti tramite Core ML, con Nemotron 3 sul Neural Engine; i tempi su Mac misurano solo l’elaborazione, quelli su iPhone vanno dall’avvio del rilevamento al risultato.

Il calo non è merito di poche registrazioni. Il grafico mostra la variazione su ciascuna delle 122 registrazioni, dal calo maggiore all’aumento maggiore:

Ogni barra è una registrazione e mostra di quanti punti è cambiato il suo tasso di errore con Nemotron 3: sotto lo zero è sceso, sopra lo zero è salito.

Nemotron 3 va peggio in tre casi: registrazioni con più di otto parlanti, registrazioni con un solo parlante e cambi di paragrafo a metà frase.

Gli scambi di parlante quasi scompaiono: 4,5% → 1,0%

Dei tre tipi di errore, il parlato attribuito alla persona sbagliata è quello che chi legge nota per primo: le parole sono giuste, ma il nome è sbagliato. Con Nemotron 3 questo errore quasi scompare, e cala anche il parlato non rilevato.

Media sulle 122 registrazioni, in percentuale del tempo di parlato; in ogni riga entrambe le barre partono da zero. Il calo del parlato attribuito alla persona sbagliata e quello del parlato non rilevato superano il margine d’errore. La differenza sul rumore scambiato per parlato rientra nel margine, per questo quella barra è grigio chiaro. I valori sono arrotondati, quindi la somma può non coincidere esattamente con il totale.

Numero di parlanti corretto nell’80% delle registrazioni (prima nel 52%)

Se un modello trova troppo pochi parlanti, vuol dire che ha fuso due voci in una: gli interventi di due persone finiscono sotto la stessa etichetta. Era l’errore più frequente di pyannote community-1, e Nemotron 3 lo commette molto più di rado.

Numero di parlanti trovato da ciascun modello, confrontato con quello reale, sulle 122 registrazioni. pyannote community-1 tendeva a trovarne troppo pochi. Nemotron 3 indovina più spesso e, quando sbaglia, sbaglia per eccesso tanto spesso quanto per difetto.

Meglio su riunioni, trasmissioni e registrazioni da due a otto parlanti

La difficoltà cambia molto da una registrazione all’altra: le riunioni registrate con un microfono a distanza sono le più difficili, le trasmissioni le più facili. Suddividendo le registrazioni per tipo, lingua e numero di parlanti, ogni gruppo con almeno dieci registrazioni ha un tasso di errore più basso; nel gruppo con un solo parlante la differenza rientra nel margine d’errore. Le tre registrazioni da nove a dodici parlanti sono peggiorate, ma sono troppo poche per una verifica statistica.

In ogni gruppo entrambe le barre partono da zero: grigio per pyannote community-1, verde per Nemotron 3; il numero alla fine di ogni barra è il tasso di errore medio. Il verde indica un calo oltre il margine d’errore, il grigio chiaro una differenza entro il margine, l’ambra un aumento. Le 6 conference call sui risultati finanziari rientrano nei totali, ma sono troppo poche per formare un gruppo a sé.

Sistemare una trascrizione: le correzioni manuali ogni 10 minuti scendono da 28,9 a 18,9

In pratica, il tasso di errore si traduce in lavoro: il numero di unioni, divisioni e cambi di parlante necessari per rendere corretta la vista dei parlanti. Abbiamo contato il numero minimo di queste correzioni su 4 registrazioni a due voci per cui esiste una trascrizione di riferimento parola per parola (2 in olandese, 1 in cinese, 1 in finlandese). Un altro errore che salta all’occhio è la frase di una persona divisa tra due parlanti. Su 12 riunioni in inglese registrate con un microfono a distanza, entrambi i modelli lo fanno di rado, e la differenza rientra nel margine d’errore.

Il numero di correzioni manuali si basa su sole 4 registrazioni, troppo poche per un test statistico o una conclusione generale. Una frase divisa è una frase pronunciata da una sola persona il cui testo è finito nei paragrafi di due parlanti.

Nemotron 3 è più veloce e usa meno di un settimo della memoria

Quando il modello gira sul dispositivo, velocità e memoria contano quanto la precisione. La tabella riporta il tempo di elaborazione e la memoria di entrambi i modelli eseguiti tramite Core ML, con Nemotron 3 sul Neural Engine. Su tutti i dispositivi che abbiamo provato, Nemotron 3 è più veloce e usa molta meno memoria, il che conta soprattutto sugli iPhone meno recenti con 4 GB di memoria.

Mediana di più esecuzioni (pyannote community-1 è stato eseguito una sola volta su iPhone 15), tutte sulla stessa conference call di 55 minuti sui risultati finanziari, con 10 parlanti. Entrambi i modelli girano tramite Core ML, Nemotron 3 sul Neural Engine. I tempi su Mac misurano solo l’elaborazione, senza decodifica dell’audio né caricamento del modello. I tempi su iPhone vanno dall’avvio del rilevamento al risultato e includono il caricamento del modello e, per pyannote community-1, la post-elaborazione fornita con il modello. I telefoni erano collegati via USB e ogni esecuzione partiva a telefono freddo.

La prima volta che Core ML esegue un modello sul Neural Engine, lo compila per quel dispositivo: circa 7 secondi su un Mac e circa un minuto su un iPhone 15. In seguito, caricare il modello richiede una frazione di secondo.

Dove pyannote community-1 resta migliore

• Più di otto parlanti. Nemotron 3 etichetta al massimo otto persone; sulle nostre 3 registrazioni da nove a dodici parlanti è andato peggio di pyannote community-1 in 2.
• Un solo parlante. Su 14 registrazioni con un solo parlante, Nemotron 3 ha trovato parlanti in più in 5, pyannote community-1 in 1.
• Cambi di paragrafo a metà frase. In 12 riunioni in inglese, il 25,8% dei cambi di paragrafo cadeva a metà frase, contro il 14,6% con pyannote community-1.

Consigli per ottenere il massimo da Nemotron 3 in Whisper Notes

• Imposta il numero di parlanti quando lo conosci. Sulle 108 registrazioni con due o più parlanti, indicare il numero a Nemotron 3 ha corretto il conteggio dei parlanti in 15 casi e in nessun caso l’ha reso errato, senza una variazione netta del tasso di errore (+0,16 punti, entro il margine).
• Se parla una sola persona, salta il rilevamento dei parlanti. Così eviti il “secondo parlante” che a volte compare.
• Con più di otto parlanti, considera le etichette una prima bozza. Unisci e rinomina i parlanti nella vista dei parlanti dove serve.

Impostare il numero di parlanti da Not right? nella vista dei parlanti su Mac

Il rilevamento dei parlanti funziona allo stesso modo su iPhone e Mac, interamente sul tuo dispositivo. Per sapere come usarlo nell’app, vedi Whisper Notes ora riconosce i parlanti.

Come funzionano: pyannote divide e raggruppa, Nemotron 3 numera i parlanti nell’ordine in cui prendono la parola

pyannote community-1 è una pipeline in tre fasi. Divide l’audio in finestre di 10 secondi e trova chi parla in ciascuna (fino a 3 persone per finestra, fino a 2 nello stesso istante). Poi estrae un’impronta vocale, o embedding, per ogni segmento di parlato. Infine il clustering VBx raggruppa le impronte simili in parlanti. I numeri dei parlanti dentro una finestra valgono solo per quella finestra, quindi il numero totale di parlanti si stabilisce solo nell’ultima fase.

Nemotron 3 Diarization è un singolo modello: un encoder Transformer a 31 strati che valuta otto tracce di parlante in ogni istante. Ogni traccia viene valutata per conto suo, quindi quando più persone parlano insieme sono attive più tracce. Segue l’approccio Sortformer di NVIDIA e numera le tracce in base al momento in cui ogni persona parla per la prima volta. Chi parla per primo è sempre sulla traccia 1, così il modello non deve mai indovinare a quale posizione appartenga una voce. Nella modalità streaming descritta nella scheda del modello, una cache dei parlanti tenuta in ordine di arrivo ricorda i parlanti precedenti, così un segmento successivo può essere associato allo stesso numero.

Ogni approccio ha il suo limite. pyannote community-1 non ha un limite fisso di parlanti, ma separa al massimo due persone nello stesso istante. Nemotron 3 può etichettare più persone che parlano insieme, ma ha otto tracce, quindi trova al massimo otto parlanti.

Gli schemi sono semplificati. pyannote community-1: circa 21 MB in Whisper Notes, CC BY 4.0 (scheda del modello); modello di segmentazione di Plaquet e Bredin (Interspeech 2023), embedding di WeSpeaker, clustering con VBx (Landini et al., 2022). Nemotron 3 Diarization: 97 MB (conversione Core ML a 8 bit di Fluid Inference), circa 100 milioni di parametri, OpenMDW 1.1 (scheda del modello); il metodo è descritto negli articoli Sortformer e Streaming Sortformer.

Come abbiamo testato

• Registrazioni. 122 registrazioni pubbliche, 25 ore, in inglese e cinese, da 1 a 12 parlanti ciascuna: riunioni registrate con un microfono a distanza, trasmissioni, conference call sui risultati finanziari e registrazioni con un solo parlante ottenute unendo clip separate. In più, 5 registrazioni a due voci in inglese, olandese, cinese e finlandese, 4 delle quali con una trascrizione di riferimento parola per parola.
• Dataset. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV e SKN, più registrazioni nostre. Solo dataset la cui licenza consente di pubblicare i risultati; nessuna registrazione dei nostri utenti.
• Metrica. Tasso di errore di diarizzazione, calcolato su frame da 10 ms senza collar, parlato sovrapposto incluso, mediato per registrazione.
• Statistica. Intervalli al 95% da 10.000 ricampionamenti bootstrap di registrazioni intere; nessun intervallo per i gruppi con meno di dieci registrazioni.
• Dispositivi. Un Mac con chip M5, un iPhone 15 e un iPhone 12 mini; la precisione è stata calcolata sul Mac.
• Pre-registrazione. Il piano di test è stato congelato il 2 novembre 2026, e quello per le registrazioni a due voci il 4 novembre, prima che i modelli venissero eseguiti su quelle clip.

Provalo

Whisper Notes su iPhone e Mac ora usa Nemotron 3 per il rilevamento dei parlanti. Per qualsiasi domanda, scrivi a support@whispernotes.app.

Scarica per iOS Scarica per macOS