Whisper Notes ora riconosce i parlanti

Che cosa fa

Apri una nota — una registrazione, un file audio o video importato oppure una registrazione di una riunione — e tocca il pulsante dei parlanti. Pochi secondi dopo, ogni paragrafo mostra l’etichetta del parlante e un timestamp.

Etichette dei parlanti su Mac e iPhone. Toccando una frase, la riproduzione passa a quel momento.

Le etichette iniziano come Parlante 1 e Parlante 2. Se ne rinomini una, si aggiorna l’intera trascrizione. Tocca una frase qualsiasi per portare la riproduzione audio al momento esatto: verificare una citazione sulla voce originale diventa immediato.

Rinominare un parlante aggiorna ogni paragrafo della nota.

Nelle registrazioni delle riunioni, il riconoscimento dei parlanti parte automaticamente al termine della chiamata; puoi disattivarlo nelle Impostazioni. Le etichette restano anche nell’esportazione: Copia trascrizione con parlanti le porta negli appunti, mentre i file SRT e VTT le includono nei sottotitoli.

La diarizzazione lavora sulle voci, non sulle parole. Si comporta quindi allo stesso modo nelle oltre 100 lingue che l’app trascrive.

Un modello da 19 MB sul Neural Engine

La diarizzazione risponde alla domanda «chi ha parlato e quando?» in tre passaggi. Prima divide l’audio in segmenti con parlato. Poi trasforma ogni segmento in un’impronta vocale, un vettore compatto che descrive la voce e non le parole. Infine raggruppa le impronte: i segmenti nello stesso gruppo ricevono la stessa etichetta.

Whisper Notes usa la pipeline community-1 di pyannote, convertita in Core ML perché entrambe le fasi vengano eseguite sul Neural Engine. Il download una tantum è di 19 MB; una conversazione di 5.7 minuti richiede da 2 a 4 secondi su un Mac con chip della serie M.

Questo conta ancora più per la diarizzazione che per la trascrizione. Un’impronta vocale è un dato biometrico: identifica una persona come un’impronta digitale. Con l’elaborazione locale, le impronte della tua voce, dei colleghi e delle persone che intervisti vengono calcolate, raggruppate e scartate sul dispositivo. Non vengono mai inviate altrove.

Che cosa abbiamo misurato

Manteniamo un benchmark fisso di due file per la diarizzazione. Il riferimento arriva da un servizio cloud di ASR e diarizzazione (ElevenLabs) ed è stato controllato a mano. Il punteggio assegna ogni 10 ms di parlato a un parlante e sceglie la corrispondenza migliore tra risultato e riferimento. Due file sono un campione piccolo: consideriamo questi numeri indicativi, non definitivi.

Il primo file rappresenta il caso comune: un podcast in inglese di cinque minuti, con due voci chiaramente diverse. La maggior parte delle interviste, dei podcast e delle riunioni a due assomiglia a questo.

Lo 0.9% restante consiste in tre oscillazioni ai confini delle frasi, per un totale di 3.4 secondi: siamo alla risoluzione del riferimento stesso. Con materiale di questo tipo, il risultato sul dispositivo equivale al servizio cloud che ha prodotto il riferimento.

Il caso difficile

Il secondo file è difficile per scelta: due voci maschili simili in una stanza riverberante, con un conduttore che interviene 19 volte, in media per 2.3 secondi. L’ospite parla per 272 secondi; il conduttore, per 43. È il profilo acustico che mette in crisi la diarizzazione in qualsiasi lingua: voci simili che si alternano in interventi brevi.

Qui il raggruppamento automatico collassa. Le due impronte vocali sono tanto vicine che l’algoritmo le unisce e assegna quasi tutta la conversazione a un’unica etichetta. La registrazione è per caso un programma di interviste in cinese, e ci ha permesso di verificare l’ipotesi più ovvia: un modello specializzato per la lingua avrebbe funzionato meglio. Abbiamo quindi eseguito, in una pipeline CPU, due modelli per i parlanti addestrati specificamente sul parlato cinese:

* Attribuzione a livello di frame sul file difficile con il numero di parlanti specificato. Senza questa informazione, tutti i modelli convergono su un unico parlante.

Entrambi collassano nello stesso modo, con un costo computazionale da 10 a 100 volte superiore. La difficoltà è acustica, non linguistica: il limite è ciò che gli embedding vocali attuali riescono a distinguere, in qualsiasi lingua.

Questo ha escluso la soluzione più ovvia e ne ha indicata un’altra: fornire alla pipeline un dato che non può dedurre, il numero di persone nella stanza. Specificando il numero (un’opzione del menu da 2 a 6), il file difficile passa dal collasso all’89% di accuratezza per frase. Il rilevamento automatico resta l’impostazione predefinita, perché funziona sul materiale tipico.

Ripetere il rilevamento con il numero esatto di parlanti. Lo stesso menu esporta SRT e VTT con le etichette.

Correggere gli interventi brevi

Una volta fissato il numero, circa metà degli errori rimasti si trovava in interventi sotto i tre secondi. Una clip di due secondi offre pochissimo segnale al modello di embedding; negli scambi rapidi, la sua impronta assorbe anche parte della voce del parlante vicino.

Dopo il raggruppamento, la pipeline riesamina quindi ogni frase più breve di 3.5 secondi. Ricalcola l’impronta con una maschera che copre esattamente i frame della frase, la confronta con l’ancora di ogni parlante — la media dei suoi interventi più lunghi — e cambia l’etichetta solo quando il margine è netto. Riutilizza il modello esistente; non serve alcun download aggiuntivo.

La soglia è prudente: sui due file, la correzione ha cambiato 21 etichette senza introdurre nuovi errori.

Limiti

Disponibilità

L’identificazione dei parlanti è inclusa nell’acquisto una tantum da $6.99, insieme ai tre motori di trascrizione dell’app — Parakeet V3, Whisper Large V3 Turbo e SenseVoice — e all’editing locale con IA. Non esistono piani separati e non serve un account.

Scarica per iOS Scarica per macOS

Per sapere come funziona la registrazione delle riunioni, leggi il nostro articolo sulla trascrizione offline delle riunioni.