Nemotron 3 vs pyannote: tingkat kesalahan diarisasi 16,0% → 9,9%

Nemotron 3 menurunkan tingkat kesalahan diarisasi dari 16,0% menjadi 9,9%

Tingkat kesalahan diarisasi (DER) menjumlahkan tiga jenis kesalahan, diukur dalam durasi bicara: ucapan yang dikaitkan ke orang yang salah, ucapan yang terlewat, dan derau yang dianggap ucapan. Inilah ukuran standar untuk diarisasi pembicara. Tabel di bawah menyandingkannya dengan masalah yang paling sering dirasakan pengguna, serta dengan kecepatan dan memori kedua model di Mac dan iPhone.

Di tabel ini dan di semua tabel serta grafik di bawah, hijau menandai nilai yang lebih baik bila selisihnya di luar batas galat: untuk akurasi, interval 95% yang tidak mencakup nol; untuk kecepatan dan memori, selisih yang jauh lebih besar daripada variasi antarpercobaan. Tingkat kesalahan: makin rendah makin baik. Baris akurasi berasal dari 122 rekaman publik (25 jam, bahasa Inggris dan Mandarin). Kecepatan dan memori diukur dengan kedua model berjalan lewat Core ML, Nemotron 3 di Neural Engine; waktu di Mac hanya mencakup pemrosesan, sedangkan waktu di iPhone dihitung dari awal deteksi sampai hasil keluar.

Penurunan ini tidak hanya berasal dari segelintir rekaman. Grafik di bawah menunjukkan perubahan pada masing-masing dari 122 rekaman, dari penurunan terbesar hingga kenaikan terbesar:

Setiap batang adalah satu rekaman dan menunjukkan berapa poin tingkat kesalahannya berubah dengan Nemotron 3: di bawah nol berarti turun, di atas nol berarti naik.

Nemotron 3 lebih buruk dalam tiga hal: rekaman dengan lebih dari delapan pembicara, rekaman dengan satu pembicara, dan pergantian paragraf di tengah kalimat.

Salah pembicara nyaris hilang: 4,5% → 1,0%

Dari tiga jenis kesalahan itu, ucapan yang dikaitkan ke orang yang salah paling cepat disadari pembaca: kata-katanya benar, tetapi namanya salah. Dengan Nemotron 3, kesalahan ini nyaris hilang, dan ucapan yang terlewat juga berkurang.

Rata-rata dari 122 rekaman, dalam persen durasi bicara; kedua batang di setiap baris dimulai dari nol. Penurunan pada salah pembicara dan ucapan terlewat berada di luar batas galat. Selisih pada derau yang dianggap ucapan masih dalam batas galat, jadi batangnya berwarna abu-abu muda. Nilai sudah dibulatkan, jadi jumlahnya bisa tidak persis sama dengan total.

Jumlah pembicara tepat pada 80% rekaman, naik dari 52%

Jika pembicara yang ditemukan terlalu sedikit, artinya dua suara digabung menjadi satu, sehingga giliran bicara dua orang muncul di bawah satu label. Inilah kesalahan paling umum pyannote community-1, dan Nemotron 3 jauh lebih jarang melakukannya.

Jumlah pembicara yang ditemukan tiap model, dibandingkan dengan jumlah sebenarnya, pada 122 rekaman. pyannote community-1 umumnya menemukan terlalu sedikit. Nemotron 3 lebih sering tepat, dan saat keliru, jumlah yang terlalu banyak sama seringnya dengan yang terlalu sedikit.

Lebih baik pada rapat, siaran, dan rekaman dengan dua hingga delapan pembicara

Tingkat kesulitan rekaman sangat beragam: rapat yang direkam dari seberang ruangan paling sulit, siaran paling mudah. Jika dipilah menurut jenis rekaman, bahasa, dan jumlah pembicara, setiap kelompok dengan sedikitnya sepuluh rekaman punya tingkat kesalahan yang lebih rendah; untuk kelompok satu pembicara, selisihnya masih dalam batas galat. Tiga rekaman dengan sembilan hingga dua belas pembicara memburuk, tetapi jumlahnya terlalu sedikit untuk diuji.

Kedua batang di setiap kelompok dimulai dari nol: abu-abu adalah pyannote community-1, hijau adalah Nemotron 3, dan angka di ujung batang adalah rata-rata tingkat kesalahan. Hijau menandai penurunan di luar batas galat, abu-abu muda menandai selisih yang masih dalam batas galat, dan kuning menandai kenaikan. Paparan kinerja keuangan (6 rekaman) ikut dihitung dalam total, tetapi terlalu sedikit untuk menjadi kelompok sendiri.

Merapikan transkrip: perbaikan manual per 10 menit turun dari 28,9 menjadi 18,9

Pada akhirnya, tingkat kesalahan berubah menjadi pekerjaan: berapa kali Anda harus menggabungkan, memisahkan, dan mengganti pembicara agar tampilan pembicara benar. Kami menghitung jumlah perbaikan paling sedikit yang dibutuhkan pada 4 rekaman dua orang yang punya referensi kata demi kata (2 bahasa Belanda, 1 Mandarin, 1 Finlandia). Kesalahan lain yang disadari pembaca adalah kalimat satu orang yang terbelah ke dua pembicara. Pada 12 rapat berbahasa Inggris yang direkam dari seberang ruangan, kedua model jarang melakukannya, dan selisihnya masih dalam batas galat.

Hitungan perbaikan manual hanya berasal dari 4 rekaman, terlalu sedikit untuk uji statistik atau kesimpulan umum. Kalimat terbelah adalah kalimat yang diucapkan satu orang, tetapi teksnya masuk ke paragraf dua pembicara.

Nemotron 3 lebih cepat dan butuh kurang dari sepertujuh memori

Di perangkat, kecepatan dan memori sama pentingnya dengan akurasi. Tabel ini menunjukkan waktu pemrosesan dan memori kedua model yang berjalan lewat Core ML, dengan Nemotron 3 di Neural Engine. Di setiap perangkat yang kami uji, Nemotron 3 lebih cepat dan memakai jauh lebih sedikit memori. Ini paling terasa di iPhone lama dengan memori 4 GB.

Median dari beberapa kali percobaan (pyannote community-1 dijalankan sekali di iPhone 15), semuanya pada paparan kinerja keuangan yang sama, berdurasi 55 menit dengan 10 pembicara. Kedua model berjalan lewat Core ML, Nemotron 3 di Neural Engine. Waktu di Mac hanya mencakup pemrosesan, tanpa dekode audio atau pemuatan model. Waktu di iPhone dihitung dari awal deteksi sampai hasil keluar, termasuk pemuatan model dan, untuk pyannote community-1, pascaproses bawaannya. Ponsel tersambung lewat USB, dan setiap percobaan dimulai saat ponsel masih dingin.

Saat pertama kali Core ML menjalankan model di Neural Engine, model itu dikompilasi untuk perangkat tersebut: sekitar 7 detik di Mac dan sekitar satu menit di iPhone 15. Setelah itu, memuat model hanya butuh sepersekian detik.

Di mana pyannote community-1 masih lebih baik

• Lebih dari delapan pembicara. Nemotron 3 memberi label paling banyak delapan orang; dari 3 rekaman kami dengan sembilan hingga dua belas pembicara, hasilnya lebih buruk daripada pyannote community-1 pada 2 rekaman.
• Satu pembicara. Pada 14 rekaman satu pembicara, Nemotron 3 menemukan pembicara tambahan di 5 rekaman, pyannote community-1 di 1 rekaman.
• Pergantian di tengah kalimat. Pada 12 rapat berbahasa Inggris, 25,8% pergantian paragraf jatuh di tengah kalimat, dibandingkan 14,6% dengan pyannote community-1.

Tips memaksimalkan Nemotron 3 di Whisper Notes

• Tetapkan jumlah pembicara jika Anda tahu. Pada 108 rekaman dengan dua pembicara atau lebih, memberi tahu Nemotron 3 jumlahnya membetulkan jumlah pembicara pada 15 rekaman tanpa membuat satu rekaman pun menjadi salah, dan tingkat kesalahannya tidak berubah secara jelas (+0,16 poin, dalam batas galat).
• Jika hanya satu orang yang berbicara, lewati deteksi pembicara. Cara ini mencegah "pembicara" kedua yang sesekali muncul.
• Dengan lebih dari delapan pembicara, anggap label sebagai draf awal. Gabungkan dan ganti nama pembicara di tampilan pembicara bila perlu.

Mengatur jumlah pembicara lewat Not right? di tampilan pembicara Mac

Deteksi pembicara bekerja sama di iPhone dan Mac, sepenuhnya di perangkat Anda. Cara memakainya di aplikasi dijelaskan di Whisper Notes kini mendukung diarization pembicara di perangkat.

Cara kerjanya: pyannote memotong lalu mengelompokkan, Nemotron 3 menomori pembicara menurut urutan pertama kali berbicara

pyannote community-1 adalah pipeline tiga langkah. Audio dipotong menjadi jendela 10 detik, lalu di setiap jendela dicari siapa yang berbicara (hingga 3 orang per jendela, hingga 2 pada saat yang sama). Kemudian setiap segmen ucapan diekstrak menjadi sidik suara, atau embedding. Terakhir, pengelompokan VBx menyatukan sidik suara yang mirip menjadi pembicara. Nomor pembicara di dalam jendela hanya berlaku untuk jendela itu, sehingga jumlah total pembicara baru ditetapkan di langkah terakhir.

Nemotron 3 Diarization adalah sebuah model tunggal: encoder Transformer 31 lapis yang memberi skor pada delapan jalur pembicara di setiap saat. Setiap jalur dinilai sendiri-sendiri, jadi saat beberapa orang berbicara bersamaan, beberapa jalur aktif. Model ini mengikuti pendekatan Sortformer dari NVIDIA dan menomori jalur menurut kapan setiap orang pertama kali berbicara: orang pertama yang berbicara selalu ada di jalur 1, sehingga model tidak perlu menebak suatu suara masuk ke slot yang mana. Dalam pengaturan streaming yang dijelaskan di kartu modelnya, cache pembicara yang disusun menurut urutan kedatangan mengingat pembicara sebelumnya, sehingga segmen berikutnya bisa dicocokkan ke nomor yang sama.

Setiap desain punya batasnya. pyannote community-1 tidak punya batas jumlah pembicara yang tetap, tetapi paling banyak memisahkan dua orang pada saat yang sama. Nemotron 3 bisa memberi label beberapa orang yang berbicara bersamaan, tetapi hanya punya delapan jalur, sehingga paling banyak menemukan delapan pembicara.

Diagram ini disederhanakan. pyannote community-1: sekitar 21 MB di Whisper Notes, CC BY 4.0 (kartu model); model segmentasi oleh Plaquet dan Bredin (Interspeech 2023), embedding dari WeSpeaker, pengelompokan dengan VBx (Landini dkk., 2022). Nemotron 3 Diarization: 97 MB (konversi Core ML 8-bit oleh Fluid Inference), sekitar 100 juta parameter, OpenMDW 1.1 (kartu model); metodenya dijelaskan di makalah Sortformer dan Streaming Sortformer.

Cara kami menguji

• Rekaman. 122 rekaman publik, 25 jam, dalam bahasa Inggris dan Mandarin, masing-masing dengan 1 hingga 12 pembicara: rapat yang direkam dari seberang ruangan, siaran, paparan kinerja keuangan, dan rekaman satu pembicara yang digabung dari klip terpisah. Ditambah 5 rekaman dua orang dalam bahasa Inggris, Belanda, Mandarin, dan Finlandia, 4 di antaranya dengan referensi kata demi kata.
• Dataset. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV, dan SKN, ditambah rekaman kami sendiri. Hanya dataset yang lisensinya mengizinkan publikasi hasil; tidak ada rekaman dari pengguna kami.
• Metrik. Tingkat kesalahan diarisasi, dinilai per frame 10 ms tanpa collar, termasuk ucapan yang tumpang tindih, dirata-rata per rekaman.
• Statistik. Interval 95% dari 10.000 resampling bootstrap atas rekaman utuh; tanpa interval untuk kelompok dengan kurang dari sepuluh rekaman.
• Perangkat. Mac dengan chip M5, iPhone 15, dan iPhone 12 mini; akurasi dihitung di Mac.
• Pra-registrasi. Rencana uji dibekukan pada 2 November 2026, dan pembagian rekaman dua orang pada 4 November, sebelum model mana pun dijalankan pada klip tersebut.

Coba sendiri

Whisper Notes di iPhone dan Mac kini memakai Nemotron 3 untuk deteksi pembicara. Jika ada pertanyaan, kirim email ke support@whispernotes.app.

Unduh untuk iOS Unduh untuk macOS