Bir röportajı ya da çok kişili bir toplantıyı yazıya dökerken her cümleyi kimin söylediğini bilmek şarttır. Whisper Notes konuşma tanımayı ve konuşmacı algılamayı iPhone'unuzda veya Mac'inizde çevrimdışı yapar; bu yüzden sunduğumuz her modelde doğrulukla hız arasında bir denge kurmamız gerekir ve önceliğimiz her zaman doğruluk olmuştur. Yakın zamanda yerleşik konuşmacı algılama modeli pyannote community-1'i NVIDIA'nın Nemotron 3 Diarization modeliyle değiştirdik ve ikisini, bir ile on iki arasında konuşmacının yer aldığı 122 herkese açık kayıtta karşılaştırdık: diarizasyon hata oranı (DER) %16.0'dan %9.9'a düştü.
Nemotron 3, diarizasyon hata oranını %16.0'dan %9.9'a düşürüyor
Diarizasyon hata oranı (DER), konuşma süresi üzerinden üç tür hatayı toplar: yanlış kişiye atanan konuşma, modelin kaçırdığı konuşma ve konuşma sanılan gürültü. Konuşmacı ayrıştırmanın standart ölçütüdür. Tabloda bu oranın yanında kullanıcıların en çok fark ettiği sorunlar ile iki modelin Mac ve iPhone'daki hızı ve bellek kullanımı yer alıyor.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Diarizasyon hata oranı, 122 kayıt | 16.0% | 9.9% |
| Konuşmacı sayısı doğru | kayıtların %52'si | kayıtların %80'i |
| Yanlış kişiye atanan konuşma | 4.5% | 1.0% |
| Mac'te (M5) 1 saatlik ses | yaklaşık 22 sn | yaklaşık 8.5 sn |
| Mac'te bellek | 0.88 GB | 0.12 GB |
| iPhone 15'te 55 dakikalık kayıt | yaklaşık 27 sn | yaklaşık 12 sn |
| iPhone 15'te ek bellek | yaklaşık 830 MB | yaklaşık 30 MB |
| Azami konuşmacı sayısı | Sabit sınır yok (uygulamada en fazla 10) | 8 |
Burada ve aşağıdaki tüm tablo ve grafiklerde yeşil, fark hata payını aştığında daha iyi değeri gösterir: doğrulukta bu, %95 aralığının sıfırı içermemesi; hız ve bellekte ise farkın çalıştırmalar arasındaki dalgalanmadan çok daha büyük olması demektir. Hata oranlarında düşük olan daha iyidir. Doğruluk satırları 122 herkese açık kayda (25 saat, İngilizce ve Çince) dayanır. Hız ve bellek ölçümlerinde iki model de Core ML üzerinden, Nemotron 3 Neural Engine'de çalıştı; Mac süreleri yalnızca işlemeyi kapsar, iPhone süreleri algılamanın başlangıcından sonuca kadardır.
Bu düşüş birkaç kayıttan gelmiyor. Aşağıdaki grafik 122 kaydın her birindeki değişimi en büyük düşüşten en büyük artışa doğru gösteriyor:
Her çubuk bir kayıttır ve Nemotron 3 ile hata oranının kaç puan değiştiğini gösterir: sıfırın altında düştü, üstünde yükseldi.
Nemotron 3 üç durumda daha kötü: sekizden fazla konuşmacılı kayıtlar, tek konuşmacılı kayıtlar ve cümlenin ortasına düşen paragraf geçişleri.
Konuşmacı karışıklığı neredeyse yok oluyor: %4.5 → %1.0
Üç hata türü arasında okurun ilk fark ettiği, yanlış kişiye atanan konuşmadır: sözcükler doğrudur ama isim yanlıştır. Nemotron 3 ile bu hata neredeyse ortadan kalkıyor; kaçırılan konuşma da azalıyor.
122 kaydın ortalaması, konuşma süresinin yüzdesi olarak; her satırdaki iki çubuk da sıfırdan başlar. Yanlış konuşmacıya atanan ve kaçırılan konuşmadaki düşüşler hata payını aşıyor. Konuşma sanılan gürültüdeki fark hata payı içinde kaldığı için o çubuk açık gri. Değerler yuvarlandığından toplamı tam tutmayabilir.
Konuşmacı sayısı kayıtların %80'inde doğru, önceden %52'sindeydi
Gereğinden az konuşmacı bulmak, iki sesin tek ses sayıldığı anlamına gelir; böylece iki kişinin konuşmaları tek bir etiketin altında toplanır. pyannote community-1'in en sık yaptığı hata buydu; Nemotron 3 bunu çok daha seyrek yapıyor.
Her modelin bulduğu konuşmacı sayısının 122 kayıtta gerçek sayıyla karşılaştırması. pyannote community-1 çoğunlukla eksik buldu. Nemotron 3 daha sık doğru buluyor; yanıldığında ise fazla bulması da eksik bulması kadar sık.
Toplantılarda, yayınlarda ve iki ila sekiz konuşmacılı kayıtlarda daha iyi
Kayıtların zorluğu çok farklıdır: odanın öbür ucundan kaydedilen toplantılar en zor, yayınlar en kolay olanlardır. Kayıt türüne, dile ve konuşmacı sayısına göre ayırınca en az on kayıt içeren her grupta hata oranı düşüyor; tek konuşmacılı grupta fark hata payı içinde. Dokuz ila on iki konuşmacılı üç kayıt kötüleşti, ancak test için sayıları çok az.
Her gruptaki iki çubuk da sıfırdan başlar: gri pyannote community-1, yeşil Nemotron 3; çubuğun ucundaki sayı ortalama hata oranıdır. Yeşil hata payını aşan bir düşüşü, açık gri hata payı içindeki bir farkı, kehribar rengi bir artışı gösterir. 6 bilanço toplantısı toplamlara dahildir ama ayrı bir grup oluşturmak için sayıları çok az.
Transkripti düzeltmek: 10 dakika başına elle düzeltme 28.9'dan 18.9'a iniyor
Hata oranı sonunda elle yapılacak işe dönüşür: konuşmacı görünümünü doğru hale getirmek için gereken birleştirme, bölme ve konuşmacı değiştirme sayısı. Bu düzeltmelerin en az sayısını, kelimesi kelimesine referans metni olan 4 iki kişilik kayıtta saydık (2 Felemenkçe, 1 Çince, 1 Fince). Okurların fark ettiği bir başka hata da bir kişinin cümlesinin iki konuşmacı arasında bölünmesidir. Odanın öbür ucundan kaydedilmiş 12 İngilizce toplantıda iki model de bunu nadiren yapıyor ve fark hata payı içinde.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| 10 dakika başına elle düzeltme, 4 iki kişilik kayıt | 28.9 | 18.9 |
| İki konuşmacı arasında bölünen cümle, 12 İngilizce toplantı | cümlelerin %0.58'i | cümlelerin %0.88'i |
Elle düzeltme sayısı yalnızca 4 kayda dayanıyor; bu, istatistiksel bir test ya da genel bir sonuç için çok az. Bölünmüş cümle, tek bir kişinin söylediği ve metni iki konuşmacının paragrafına dağılan cümledir.
Nemotron 3 daha hızlı ve belleğin yedide birinden azını kullanıyor
Cihazda hız ve bellek de doğruluk kadar önemlidir. Tablo, iki model Core ML üzerinden, Nemotron 3 Neural Engine'de çalışırken ölçülen işleme süresini ve bellek kullanımını gösteriyor. Test ettiğimiz her cihazda Nemotron 3 daha hızlı ve çok daha az bellek kullanıyor; bu en çok 4 GB belleğe sahip eski iPhone'larda önem taşır.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Mac (M5) | ||
| 1 saatlik ses | yaklaşık 22 sn | yaklaşık 8.5 sn |
| Bellek | 0.88 GB | 0.12 GB |
| iPhone 15 | ||
| 55 dakikalık kayıt | 26.6 sn | 11.8 sn |
| Algılama sırasında ek bellek | 833 MB | 30 MB |
| iPhone 12 mini | ||
| 55 dakikalık kayıt | 30.1 sn | 17.2 sn |
| Algılama sırasında uygulamanın en yüksek bellek kullanımı | 638 MB | 71 MB |
Birkaç çalıştırmanın medyanı (pyannote community-1 iPhone 15'te bir kez çalıştırıldı); hepsi aynı 55 dakikalık, 10 konuşmacılı bilanço toplantısında. İki model de Core ML üzerinden, Nemotron 3 Neural Engine'de çalışır. Mac süreleri ses çözme ve model yükleme olmadan yalnızca işlemeyi kapsar. iPhone süreleri algılamanın başlangıcından sonuca kadardır; model yüklemeyi ve pyannote community-1 için o dönem birlikte gelen son işlemeyi de içerir. Telefonlar USB ile bağlıydı ve her çalıştırma telefon soğukken başladı.
Core ML bir modeli Neural Engine'de ilk kez çalıştırdığında onu o cihaz için derler: Mac'te yaklaşık 7 saniye, iPhone 15'te yaklaşık bir dakika. Sonrasında modelin yüklenmesi bir saniyeden kısa sürer.
pyannote community-1'in hâlâ daha iyi olduğu durumlar
- Sekizden fazla konuşmacı. Nemotron 3 en fazla sekiz kişiyi etiketler; dokuz ila on iki konuşmacılı 3 kaydımızın 2'sinde pyannote community-1'den kötü sonuç verdi.
- Tek konuşmacı. Tek konuşmacılı 14 kaydın 5'inde Nemotron 3 fazladan konuşmacı buldu; pyannote community-1 ise 1'inde.
- Cümle ortasında paragraf geçişi. 12 İngilizce toplantıda paragraf geçişlerinin %25.8'i cümlenin ortasına düştü; pyannote community-1'de bu oran %14.6'ydı.
Whisper Notes'ta Nemotron 3'ten en iyi sonucu almak için ipuçları
- Konuşmacı sayısını biliyorsanız belirtin. İki veya daha fazla konuşmacılı 108 kayıtta sayıyı Nemotron 3'e bildirmek 15 kayıtta konuşmacı sayısını düzeltti, hiçbirinde bozmadı; hata oranında belirgin bir değişiklik olmadı (+0.16 puan, hata payı içinde).
- Yalnızca bir kişi konuşuyorsa konuşmacı algılamayı atlayın. Böylece arada bir ortaya çıkan ikinci “konuşmacı”dan kaçınırsınız.
- Sekizden fazla konuşmacıda etiketleri ilk taslak olarak görün. Gerekirse konuşmacı görünümünde konuşmacıları birleştirip yeniden adlandırın.
Mac'teki konuşmacı görünümünde Not right? menüsünden konuşmacı sayısını belirleme
Konuşmacı algılama iPhone'da ve Mac'te aynı şekilde, tamamen cihazınızda çalışır. Uygulamada nasıl kullanılacağı için Whisper Notes artık konuşmacıları tanımlıyor yazısına bakın.
Nasıl çalışıyorlar: pyannote böler ve kümeler, Nemotron 3 konuşmacıları ilk konuştukları sıraya göre numaralar
pyannote community-1 üç adımlı bir işlem hattıdır. Sesi 10 saniyelik pencerelere böler ve her pencerede kimin konuştuğunu bulur (pencere başına en fazla 3 kişi, aynı anda en fazla 2 kişi). Ardından her konuşma parçası için bir ses imzası, yani embedding çıkarır. Son olarak VBx kümeleme, benzer ses imzalarını konuşmacılar halinde gruplar. Pencere içindeki konuşmacı numaraları yalnızca o pencere için geçerlidir; bu yüzden toplam konuşmacı sayısı ancak son adımda belirlenir.
Nemotron 3 Diarization tek bir modeldir: her an sekiz konuşmacı izine puan veren 31 katmanlı bir Transformer kodlayıcı. Her iz ayrı puanlanır; bu yüzden birkaç kişi aynı anda konuştuğunda birkaç iz birden etkin olur. Model NVIDIA'nın Sortformer yaklaşımını benimser ve izleri her kişinin ilk konuştuğu ana göre numaralar: ilk konuşan kişi her zaman 1. izdedir, böylece model bir sesin hangi yuvaya ait olduğunu tahmin etmek zorunda kalmaz. Model kartında anlatılan akış (streaming) kurulumunda, geliş sırasına göre tutulan bir konuşmacı önbelleği önceki konuşmacıları hatırlar; böylece sonraki bir parça aynı numarayla eşleştirilebilir.
Her tasarımın bir sınırı var. pyannote community-1'in sabit bir konuşmacı sınırı yoktur ama aynı anda en fazla iki kişiyi ayırabilir. Nemotron 3 aynı anda konuşan birkaç kişiyi etiketleyebilir ama sekiz izi olduğu için en fazla sekiz konuşmacı bulur.
Şemalar basitleştirilmiştir. pyannote community-1: Whisper Notes'ta yaklaşık 21 MB, CC BY 4.0 (model kartı); bölütleme modeli Plaquet ve Bredin (Interspeech 2023), embedding'ler WeSpeaker'dan, kümeleme VBx (Landini vd., 2022) ile. Nemotron 3 Diarization: 97 MB (Fluid Inference'ın 8 bit Core ML dönüşümü), yaklaşık 100 milyon parametre, OpenMDW 1.1 (model kartı); yöntem Sortformer ve Streaming Sortformer makalelerinde anlatılıyor.
Nasıl test ettik
- Kayıtlar. İngilizce ve Çince, her birinde 1 ile 12 arasında konuşmacı bulunan 122 herkese açık kayıt, toplam 25 saat: odanın öbür ucundan kaydedilen toplantılar, yayınlar, bilanço toplantıları ve ayrı parçaların birleştirilmesiyle oluşturulan tek konuşmacılı kayıtlar. Ayrıca İngilizce, Felemenkçe, Çince ve Fince 5 iki kişilik kayıt; bunların 4'ünde kelimesi kelimesine referans metin var.
- Veri kümeleri. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV ve SKN, ayrıca kendi kayıtlarımız. Yalnızca lisansı sonuçların yayımlanmasına izin veren veri kümeleri; kullanıcılarımızdan hiçbir kayıt yok.
- Ölçüt. Diarizasyon hata oranı; 10 ms'lik karelerle, tolerans payı (collar) olmadan, üst üste binen konuşma dahil puanlanıp kayıt başına ortalaması alındı.
- İstatistik. Bütün kayıtların 10.000 kez yeniden örneklendiği bootstrap ile %95 aralıkları; on kayıttan az içeren gruplar için aralık verilmedi.
- Cihazlar. M5 çipli bir Mac, bir iPhone 15 ve bir iPhone 12 mini; doğruluk Mac'te hesaplandı.
- Ön kayıt. Test planı 2 Kasım 2026'da, iki kişilik kayıtların ayrımı 4 Kasım'da donduruldu; hiçbir model bu parçalarda henüz çalıştırılmamıştı.
Testin tüm ayrıntıları
Seçim. Sorular ve kurallar, daha büyük bir kıyaslama için hiçbir çalıştırmadan önce belirlendi; bu alt kümeyi sonuca göre değil lisansa göre seçtik ve sayıları aynı çıktılardan, aynı puanlamayla yeniden hesapladık. LibriSpeech ve AISHELL-4 parçalarından birleştirilen tek konuşmacılı kayıtlar kaynaklarının altında sayılır. Yalnızca toplu sonuçları yayımlıyoruz; ses ya da referans metni asla.
| Veri kümesi | Lisans | Kullanılan kayıtlar |
|---|---|---|
| AMI Meeting Corpus | CC BY 4.0 | 16 toplantı ve 16 bir dakikalık kesit |
| AISHELL-4 | CC BY-SA 4.0 | 5 toplantı, 5 kesit, 5 birleştirilmiş tek konuşmacılı kayıt |
| AliMeeting | CC BY-SA 4.0 | 8 toplantı, 8 kesit, 1 iki kişilik kayıt |
| VoxConverse | CC BY 4.0 (videoların telif hakkı sahiplerinde kalır) | 30 yayın ve 18 kesit |
| Earnings-21 | CC BY-SA 4.0 | 6 bilanço toplantısı, 1 iki kişilik kayıt |
| LibriSpeech | CC BY 4.0 | 5 birleştirilmiş tek konuşmacılı kayıt |
| IFADV | GNU GPL v2 veya üstü | 2 iki kişilik kayıt |
| SKN Fince ağız örnekleri | CC BY (Finlandiya Dilleri Enstitüsü) | 1 iki kişilik kayıt |
Lisanslar her veri kümesinin kendi sayfasında belirtildiği gibidir; Kasım 2026'da kontrol edildi.
Aralıklar. Genel hata oranı 6.0 puan düştü (4.5 ile 7.6 arası). Kaçırılan konuşma 2.3 puan (1.3 ile 3.4 arası), yanlış konuşmacıya atanan konuşma 3.4 puan (2.4 ile 4.6 arası) düştü; konuşma sanılan gürültü 0.30 puan düştü, bu fark hata payı içinde (−0.02 ile 0.62 arası). Konuşmacı sayısı doğru olan kayıtların payı 27.9 puan arttı (17.2 ile 38.5 arası). Gruplarda tek konuşmacılı grup dışındaki her aralık sıfırı dışarıda bırakıyor. 12 İngilizce toplantıda bölünmüş cümlelerin aralığı sıfırı içeriyor, cümle ortasındaki paragraf geçişlerininki içermiyor.
Puanlama. Puanlayıcımız pyannote.metrics ile en fazla 0.003 puan farkla uyuşuyor.
Sekizden fazla konuşmacı. Bu kayıtlardaki sonuçlar çip ve ses çözmedeki küçük farklara duyarlıdır. 55 dakikalık, 10 konuşmacılı bilanço toplantısında Nemotron 3 çipe, ayarlara ve ses çözücüye göre %30.6 ile %42.8 arasında sonuç verdi; pyannote community-1 %21.6 aldı.
Son işleme ayarları. Bazı son işleme ayarları ön kayıttan sonra, yalnızca ayrı ayar kayıtları üzerinde seçildi; test kayıtları yalnızca sonuçları raporlamak için kullanıldı.
Sınırlamalar. Doğruluk yalnızca İngilizce ve Çincede ölçüldü; elle düzeltme sayısı 4 kayda dayanıyor. Mac süreleri, başka işler de yürüten bir M5 Mac'te ve macOS beta sürümünde ölçüldü; telefonlar USB ile bağlı olduğu için pil kullanımı ölçülmedi.
Deneyin
iPhone ve Mac için Whisper Notes artık konuşmacı algılamada Nemotron 3'ü kullanıyor. Sorularınız için support@whispernotes.app adresine yazın.
iOS için indir