Nemotron 3 vs pyannote: kadar ralat diarisasi 16.0% → 9.9%

Nemotron 3 menurunkan kadar ralat diarisasi daripada 16.0% kepada 9.9%

Kadar ralat diarisasi (DER) menjumlahkan tiga jenis ralat, diukur dalam masa pertuturan: pertuturan yang dikaitkan dengan orang yang salah, pertuturan yang terlepas, dan hingar yang dianggap pertuturan. Inilah ukuran piawai bagi diarisasi penutur. Jadual di bawah memaparkannya bersama masalah yang paling kerap disedari pengguna, serta kelajuan dan memori kedua-dua model pada Mac dan iPhone.

Di sini dan dalam setiap jadual serta carta di bawah, hijau menandakan nilai yang lebih baik apabila perbezaannya melepasi margin ralat: bagi ketepatan, selang 95% yang tidak merangkumi sifar; bagi kelajuan dan memori, jurang yang jauh lebih besar daripada variasi antara larian. Kadar ralat: lebih rendah lebih baik. Baris ketepatan diperoleh daripada 122 rakaman awam (25 jam, bahasa Inggeris dan Cina). Kelajuan dan memori diukur dengan kedua-dua model berjalan melalui Core ML, Nemotron 3 pada Neural Engine; masa pada Mac hanya untuk pemprosesan, manakala masa pada iPhone dikira dari permulaan pengesanan hingga keputusan diperoleh.

Penurunan ini bukan disumbangkan oleh segelintir rakaman sahaja. Carta di bawah menunjukkan perubahan pada setiap satu daripada 122 rakaman, daripada penurunan terbesar hingga kenaikan terbesar:

Setiap bar ialah satu rakaman dan menunjukkan berapa mata kadar ralatnya berubah dengan Nemotron 3: di bawah sifar bermakna turun, di atas sifar bermakna naik.

Nemotron 3 lebih teruk dalam tiga keadaan: rakaman dengan lebih daripada lapan penutur, rakaman dengan seorang penutur sahaja, dan pemisahan perenggan di tengah ayat.

Salah penutur hampir lenyap: 4.5% → 1.0%

Daripada tiga jenis ralat itu, pertuturan yang dikaitkan dengan orang yang salah paling cepat disedari pembaca: perkataannya betul, tetapi namanya salah. Dengan Nemotron 3, ralat ini hampir lenyap, dan pertuturan yang terlepas juga berkurang.

Purata bagi 122 rakaman, dalam peratus masa pertuturan; kedua-dua bar dalam setiap baris bermula dari sifar. Penurunan bagi salah penutur dan pertuturan terlepas melepasi margin ralat. Perbezaan bagi hingar yang dianggap pertuturan masih dalam margin ralat, jadi bar itu berwarna kelabu cerah. Nilai telah dibundarkan, jadi hasil tambahnya mungkin tidak tepat sama dengan jumlah.

Bilangan penutur tepat pada 80% rakaman, naik daripada 52%

Jika penutur yang dikesan terlalu sedikit, ini bermakna dua suara telah digabungkan menjadi satu, lalu giliran bercakap dua orang muncul di bawah satu label. Inilah kesilapan paling biasa pyannote community-1, dan Nemotron 3 jauh lebih jarang melakukannya.

Bilangan penutur yang dikesan setiap model, berbanding bilangan sebenar, pada 122 rakaman. pyannote community-1 kebanyakannya mengesan terlalu sedikit. Nemotron 3 lebih kerap tepat, dan apabila tersilap, ia sama kerap terlebih atau terkurang mengesan penutur.

Lebih baik pada mesyuarat, siaran dan rakaman dengan dua hingga lapan penutur

Tahap kesukaran rakaman sangat berbeza: mesyuarat yang dirakam dari seberang bilik paling sukar, siaran paling mudah. Apabila dipecahkan mengikut jenis rakaman, bahasa dan bilangan penutur, setiap kumpulan yang mempunyai sekurang-kurangnya sepuluh rakaman mencatat kadar ralat yang lebih rendah; bagi kumpulan seorang penutur, perbezaannya masih dalam margin ralat. Tiga rakaman dengan sembilan hingga dua belas penutur menjadi lebih teruk, tetapi bilangannya terlalu sedikit untuk diuji.

Kedua-dua bar dalam setiap kumpulan bermula dari sifar: kelabu ialah pyannote community-1, hijau ialah Nemotron 3, dan nombor di hujung setiap bar ialah purata kadar ralat. Hijau menandakan penurunan yang melepasi margin ralat, kelabu cerah menandakan perbezaan dalam margin ralat, dan kuning menandakan kenaikan. Taklimat keputusan kewangan (6 rakaman) dikira dalam jumlah keseluruhan, tetapi terlalu sedikit untuk dijadikan kumpulan tersendiri.

Membersihkan transkrip: pembetulan manual setiap 10 minit turun daripada 28.9 kepada 18.9

Akhirnya, kadar ralat bermakna kerja tambahan untuk anda: berapa kali anda perlu menggabungkan, memisahkan dan menukar penutur supaya paparan penutur betul. Kami mengira bilangan pembetulan minimum pada 4 rakaman dua orang yang mempunyai rujukan perkataan demi perkataan (2 bahasa Belanda, 1 bahasa Cina, 1 bahasa Finland). Satu lagi ralat yang disedari pembaca ialah ayat seseorang yang terbelah antara dua penutur. Pada 12 mesyuarat bahasa Inggeris yang dirakam dari seberang bilik, kedua-dua model jarang melakukannya, dan perbezaannya masih dalam margin ralat.

Kiraan pembetulan manual hanya datang daripada 4 rakaman, terlalu sedikit untuk ujian statistik atau kesimpulan umum. Ayat terbelah ialah ayat yang diucapkan oleh seorang tetapi teksnya masuk ke dalam perenggan dua penutur.

Nemotron 3 lebih pantas dan memerlukan kurang daripada satu pertujuh memori

Pada peranti, kelajuan dan memori sama penting dengan ketepatan. Jadual ini menunjukkan masa pemprosesan dan memori kedua-dua model yang berjalan melalui Core ML, dengan Nemotron 3 pada Neural Engine. Pada setiap peranti yang kami uji, Nemotron 3 lebih pantas dan menggunakan jauh lebih sedikit memori. Perbezaan ini paling ketara pada iPhone lama yang mempunyai memori 4 GB.

Median beberapa larian (pyannote community-1 dijalankan sekali pada iPhone 15), semuanya pada taklimat keputusan kewangan yang sama, berdurasi 55 minit dengan 10 penutur. Kedua-dua model berjalan melalui Core ML, Nemotron 3 pada Neural Engine. Masa pada Mac hanya untuk pemprosesan, tanpa penyahkodan audio atau pemuatan model. Masa pada iPhone dikira dari permulaan pengesanan hingga keputusan diperoleh, termasuk pemuatan model dan, bagi pyannote community-1, pascapemprosesan yang disertakan bersamanya. Telefon disambungkan melalui USB, dan setiap larian bermula ketika telefon masih sejuk.

Kali pertama Core ML menjalankan model pada Neural Engine, model itu dikompil untuk peranti tersebut: kira-kira 7 saat pada Mac dan kira-kira seminit pada iPhone 15. Selepas itu, memuatkan model hanya mengambil masa kurang daripada sesaat.

Di mana pyannote community-1 masih lebih baik

• Lebih daripada lapan penutur. Nemotron 3 melabel paling banyak lapan orang; daripada 3 rakaman kami dengan sembilan hingga dua belas penutur, ia lebih teruk daripada pyannote community-1 pada 2 rakaman.
• Seorang penutur sahaja. Pada 14 rakaman seorang penutur, Nemotron 3 mengesan penutur tambahan dalam 5 rakaman, pyannote community-1 dalam 1 rakaman.
• Pemisahan di tengah ayat. Dalam 12 mesyuarat bahasa Inggeris, 25.8% pemisahan perenggan jatuh di tengah ayat, berbanding 14.6% dengan pyannote community-1.

Petua memanfaatkan Nemotron 3 sepenuhnya dalam Whisper Notes

• Tetapkan bilangan penutur jika anda tahu. Pada 108 rakaman dengan dua penutur atau lebih, memberitahu Nemotron 3 bilangannya membetulkan bilangan penutur pada 15 rakaman tanpa menjadikan mana-mana rakaman salah, dan kadar ralat tidak berubah dengan jelas (+0.16 mata, dalam margin ralat).
• Jika hanya seorang bercakap, langkau pengesanan penutur. Ini mengelakkan "penutur" kedua yang sesekali muncul.
• Jika lebih daripada lapan penutur, anggap label sebagai draf pertama. Gabungkan dan namakan semula penutur dalam paparan penutur jika perlu.

Menetapkan bilangan penutur melalui Not right? dalam paparan penutur Mac

Pengesanan penutur berfungsi sama pada iPhone dan Mac, sepenuhnya pada peranti anda. Cara menggunakannya dalam aplikasi diterangkan dalam Whisper Notes kini menyokong diarization penutur pada peranti.

Cara ia berfungsi: pyannote memotong dan mengelompokkan, Nemotron 3 menomborkan penutur mengikut urutan mereka mula bercakap

pyannote community-1 ialah saluran paip tiga langkah. Ia memotong audio kepada tetingkap 10 saat dan mencari siapa yang bercakap dalam setiap tetingkap (sehingga 3 orang setiap tetingkap, sehingga 2 pada masa yang sama). Kemudian ia mengekstrak cap suara, atau embedding, bagi setiap segmen pertuturan. Akhir sekali, pengelompokan VBx menghimpunkan cap suara yang serupa menjadi penutur. Nombor penutur dalam tetingkap hanya sah untuk tetingkap itu, jadi jumlah penutur hanya ditetapkan pada langkah terakhir.

Nemotron 3 Diarization ialah sebuah model tunggal: pengekod Transformer 31 lapisan yang memberi skor kepada lapan trek penutur pada setiap ketika. Setiap trek diskor secara berasingan, jadi apabila beberapa orang bercakap serentak, beberapa trek aktif. Ia mengikut pendekatan Sortformer NVIDIA dan menomborkan trek mengikut bila setiap orang mula bercakap: orang pertama yang bercakap sentiasa berada pada trek 1, jadi model tidak perlu meneka slot mana milik sesuatu suara. Dalam tetapan penstriman yang diterangkan dalam kad modelnya, cache penutur yang disusun mengikut urutan ketibaan mengingati penutur terdahulu, supaya segmen yang kemudian boleh dipadankan dengan nombor yang sama.

Setiap reka bentuk ada hadnya. pyannote community-1 tiada had tetap bilangan penutur, tetapi hanya mampu memisahkan paling banyak dua orang pada masa yang sama. Nemotron 3 boleh melabel beberapa orang yang bercakap serentak, tetapi hanya mempunyai lapan trek, jadi ia mengesan paling banyak lapan penutur.

Rajah ini dipermudahkan. pyannote community-1: kira-kira 21 MB dalam Whisper Notes, CC BY 4.0 (kad model); model segmentasi oleh Plaquet dan Bredin (Interspeech 2023), embedding daripada WeSpeaker, pengelompokan dengan VBx (Landini et al., 2022). Nemotron 3 Diarization: 97 MB (penukaran Core ML 8-bit oleh Fluid Inference), kira-kira 100 juta parameter, OpenMDW 1.1 (kad model); kaedahnya dalam kertas kajian Sortformer dan Streaming Sortformer.

Cara kami menguji

• Rakaman. 122 rakaman awam, 25 jam, dalam bahasa Inggeris dan Cina, setiap satu dengan 1 hingga 12 penutur: mesyuarat yang dirakam dari seberang bilik, siaran, taklimat keputusan kewangan, dan rakaman seorang penutur yang dicantum daripada klip berasingan. Juga 5 rakaman dua orang dalam bahasa Inggeris, Belanda, Cina dan Finland, 4 daripadanya dengan rujukan perkataan demi perkataan.
• Set data. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV dan SKN, serta rakaman kami sendiri. Hanya set data yang lesennya membenarkan penerbitan keputusan; tiada rakaman daripada pengguna kami.
• Metrik. Kadar ralat diarisasi, diskor dalam bingkai 10 ms tanpa collar, termasuk pertuturan bertindih, dipuratakan bagi setiap rakaman.
• Statistik. Selang 95% daripada 10,000 pensampelan semula bootstrap atas rakaman penuh; tiada selang bagi kumpulan yang kurang daripada sepuluh rakaman.
• Peranti. Mac dengan cip M5, iPhone 15 dan iPhone 12 mini; ketepatan dikira pada Mac.
• Pra-pendaftaran. Pelan ujian dibekukan pada 2 November 2026, dan pembahagian rakaman dua orang pada 4 November, sebelum mana-mana model dijalankan pada klip tersebut.

Cuba sekarang

Whisper Notes pada iPhone dan Mac kini menggunakan Nemotron 3 untuk pengesanan penutur. Jika ada soalan, hubungi support@whispernotes.app.

Muat Turun untuk iOS Muat Turun untuk macOS