Nemotron 3 vs pyannote: डायरीज़ेशन त्रुटि दर 16.0% → 9.9%

Nemotron 3 डायरीज़ेशन त्रुटि दर को 16.0% से घटाकर 9.9% करता है

डायरीज़ेशन त्रुटि दर (DER) बोलने के समय के हिसाब से तीन तरह की गलतियों को जोड़ती है: गलत व्यक्ति के नाम गई बोली, मॉडल से छूटी बोली, और वह शोर जिसे बोली समझ लिया गया। वक्ता पहचान को मापने का यही मानक पैमाना है। टेबल में इसके साथ वे समस्याएँ भी हैं जिन पर उपयोगकर्ताओं का ध्यान सबसे ज़्यादा जाता है, और Mac व iPhone पर दोनों मॉडल की स्पीड और मेमोरी भी।

यहाँ और नीचे की हर टेबल और चार्ट में हरा रंग बेहतर मान दिखाता है, जब अंतर त्रुटि-सीमा से बाहर हो: सटीकता के लिए इसका मतलब है कि 95% अंतराल में शून्य नहीं आता; स्पीड और मेमोरी के लिए, कि अंतर अलग-अलग रन के बीच के उतार-चढ़ाव से कहीं ज़्यादा है। त्रुटि दरों में कम बेहतर है। सटीकता वाली पंक्तियाँ 122 सार्वजनिक रिकॉर्डिंग (25 घंटे, अंग्रेज़ी और चीनी) से हैं। स्पीड और मेमोरी के आँकड़े तब के हैं जब दोनों मॉडल Core ML से चले और Nemotron 3 Neural Engine पर; Mac के समय में सिर्फ़ प्रोसेसिंग है, और iPhone के समय पहचान शुरू होने से नतीजा आने तक के हैं।

यह गिरावट कुछ ही रिकॉर्डिंग से नहीं आई। नीचे का चार्ट सभी 122 रिकॉर्डिंग में से हर एक का बदलाव दिखाता है, सबसे बड़ी गिरावट से सबसे बड़ी बढ़त तक:

हर पट्टी एक रिकॉर्डिंग है और दिखाती है कि Nemotron 3 के साथ उसकी त्रुटि दर कितने अंक बदली: शून्य से नीचे घटी, शून्य से ऊपर बढ़ी।

तीन मामलों में Nemotron 3 पीछे रहता है: आठ से ज़्यादा वक्ताओं वाली रिकॉर्डिंग, एक ही वक्ता वाली रिकॉर्डिंग, और वाक्य के बीच में टूटते पैराग्राफ़।

वक्ताओं की अदला-बदली लगभग खत्म: 4.5% → 1.0%

तीनों तरह की गलतियों में से गलत व्यक्ति के नाम गई बोली पर पाठक का ध्यान सबसे पहले जाता है: शब्द सही होते हैं, पर नाम गलत। Nemotron 3 के साथ यह गलती लगभग खत्म हो जाती है, और छूटी बोली भी घटती है।

122 रिकॉर्डिंग का औसत, बोलने के समय के प्रतिशत में; हर पंक्ति में दोनों पट्टियाँ शून्य से शुरू होती हैं। गलत वक्ता और छूटी बोली में गिरावट त्रुटि-सीमा से बाहर है। बोली समझे गए शोर का अंतर त्रुटि-सीमा के भीतर है, इसलिए वह पट्टी हल्की ग्रे है। मान राउंड किए गए हैं, इसलिए हो सकता है कि उनका जोड़ ठीक-ठीक कुल के बराबर न हो।

80% रिकॉर्डिंग में वक्ताओं की संख्या सही, पहले 52%

कम वक्ता मिलने का मतलब है कि दो आवाज़ों को एक मान लिया गया, इसलिए दो लोगों की बातें एक ही लेबल के नीचे आ जाती हैं। pyannote community-1 की यह सबसे आम गलती थी, और Nemotron 3 यह गलती बहुत कम करता है।

122 रिकॉर्डिंग पर हर मॉडल को मिले वक्ताओं की संख्या, असली संख्या की तुलना में। pyannote community-1 ने ज़्यादातर कम वक्ता गिने। Nemotron 3 ज़्यादा बार सही होता है, और जब गलत होता है तो जितनी बार कम गिनता है, उतनी ही बार ज़्यादा।

मीटिंग, प्रसारण और दो से आठ वक्ताओं वाली रिकॉर्डिंग पर बेहतर

रिकॉर्डिंग की कठिनाई में बहुत अंतर होता है: कमरे के दूसरे छोर से रिकॉर्ड हुई मीटिंग सबसे कठिन हैं, प्रसारण सबसे आसान। रिकॉर्डिंग के प्रकार, भाषा और वक्ताओं की संख्या के हिसाब से बाँटने पर, कम से कम दस रिकॉर्डिंग वाले हर समूह में त्रुटि दर घटी है; एक वक्ता वाले समूह में अंतर त्रुटि-सीमा के भीतर है। नौ से बारह वक्ताओं वाली तीन रिकॉर्डिंग में नतीजा खराब हुआ, पर टेस्ट के लिए वे बहुत कम हैं।

हर समूह में दोनों पट्टियाँ शून्य से शुरू होती हैं: ग्रे pyannote community-1 है, हरा Nemotron 3, और हर पट्टी के सिरे पर लिखी संख्या औसत त्रुटि दर है। हरा रंग त्रुटि-सीमा से बाहर की गिरावट दिखाता है, हल्का ग्रे त्रुटि-सीमा के भीतर का अंतर, और एम्बर रंग बढ़त। 6 अर्निंग्स कॉल कुल में गिनी गई हैं, पर अलग समूह बनाने के लिए बहुत कम हैं।

ट्रांसक्रिप्ट ठीक करना: हर 10 मिनट पर हाथ से किए जाने वाले सुधार 28.9 से घटकर 18.9

आखिरकार त्रुटि दर का मतलब है हाथ का काम: वक्ता व्यू को सही करने के लिए कितनी बार जोड़ना, अलग करना और वक्ता बदलना पड़ता है। ऐसे सुधारों की कम से कम संख्या हमने 4 दो-व्यक्ति रिकॉर्डिंग पर गिनी, जिनका शब्दशः रेफ़रेंस टेक्स्ट मौजूद है (2 डच, 1 चीनी, 1 फ़िनिश)। पाठकों को खटकने वाली एक और गलती है किसी एक व्यक्ति के वाक्य का दो वक्ताओं में बँट जाना। कमरे के दूसरे छोर से रिकॉर्ड हुई 12 अंग्रेज़ी मीटिंग में दोनों मॉडल ऐसा कम ही करते हैं, और अंतर त्रुटि-सीमा के भीतर है।

हाथ से किए सुधारों की गिनती सिर्फ़ 4 रिकॉर्डिंग पर आधारित है, जो किसी सांख्यिकीय टेस्ट या आम निष्कर्ष के लिए बहुत कम है। बँटा हुआ वाक्य वह है जिसे एक व्यक्ति ने बोला, पर उसका टेक्स्ट दो वक्ताओं के पैराग्राफ़ में चला गया।

Nemotron 3 तेज़ है और उसे सातवें हिस्से से भी कम मेमोरी चाहिए

डिवाइस पर स्पीड और मेमोरी उतनी ही अहम हैं जितनी सटीकता। टेबल में दोनों मॉडल का प्रोसेसिंग समय और मेमोरी है, जब वे Core ML से चलते हैं और Nemotron 3 Neural Engine पर। हमने जिन डिवाइस पर टेस्ट किया, उन सब पर Nemotron 3 तेज़ है और बहुत कम मेमोरी लेता है, जो 4 GB मेमोरी वाले पुराने iPhone पर सबसे ज़्यादा मायने रखता है।

कई रन का मीडियन (pyannote community-1 iPhone 15 पर एक बार चलाया गया), सभी उसी 55 मिनट की, 10 वक्ताओं वाली अर्निंग्स कॉल पर। दोनों मॉडल Core ML से चलते हैं, Nemotron 3 Neural Engine पर। Mac के समय में सिर्फ़ प्रोसेसिंग है, ऑडियो डिकोडिंग और मॉडल लोडिंग नहीं। iPhone के समय पहचान शुरू होने से नतीजे तक के हैं; इनमें मॉडल लोडिंग शामिल है, और pyannote community-1 के मामले में उसके साथ उस समय आने वाली पोस्ट-प्रोसेसिंग भी। फ़ोन USB से जुड़े थे, और हर रन ठंडे फ़ोन से शुरू हुआ।

जब Core ML किसी मॉडल को पहली बार Neural Engine पर चलाता है, तो उसे उस डिवाइस के लिए कंपाइल करता है: Mac पर लगभग 7 सेकंड, iPhone 15 पर लगभग एक मिनट। उसके बाद मॉडल लोड होने में एक सेकंड से भी कम लगता है।

pyannote community-1 कहाँ अब भी बेहतर है

• आठ से ज़्यादा वक्ता। Nemotron 3 ज़्यादा से ज़्यादा आठ लोगों को लेबल करता है; नौ से बारह वक्ताओं वाली हमारी 3 रिकॉर्डिंग में से 2 पर उसका नतीजा pyannote community-1 से खराब रहा।
• एक ही वक्ता। एक वक्ता वाली 14 रिकॉर्डिंग में से 5 में Nemotron 3 को अतिरिक्त वक्ता मिले; pyannote community-1 को 1 में।
• वाक्य के बीच में पैराग्राफ़ का टूटना। 12 अंग्रेज़ी मीटिंग में 25.8% पैराग्राफ़ ब्रेक वाक्य के बीच में पड़े, जबकि pyannote community-1 के साथ 14.6%।

Whisper Notes में Nemotron 3 से सबसे अच्छे नतीजे पाने के सुझाव

• वक्ताओं की संख्या पता हो तो तय कर दें। दो या ज़्यादा वक्ताओं वाली 108 रिकॉर्डिंग पर Nemotron 3 को संख्या बताने से 15 में वक्ताओं की गिनती सही हो गई और किसी में भी बिगड़ी नहीं; त्रुटि दर में कोई साफ़ बदलाव नहीं आया (+0.16 अंक, त्रुटि-सीमा के भीतर)।
• अगर सिर्फ़ एक व्यक्ति बोल रहा है, तो वक्ता पहचान न चलाएँ। इससे कभी-कभार दिखने वाला दूसरा “वक्ता” नहीं आएगा।
• आठ से ज़्यादा वक्ता हों, तो लेबल को पहला ड्राफ़्ट मानें। ज़रूरत हो तो वक्ता व्यू में वक्ताओं को मिलाएँ और उनके नाम बदलें।

Mac के वक्ता व्यू में Not right? से वक्ताओं की संख्या तय करना

वक्ता पहचान iPhone और Mac पर एक ही तरह से, पूरी तरह आपके डिवाइस पर काम करती है। ऐप में इसे कैसे इस्तेमाल करें, यह जानने के लिए Whisper Notes में ऑन-डिवाइस स्पीकर डायरीज़ेशन देखें।

ये कैसे काम करते हैं: pyannote काटता और क्लस्टर करता है, Nemotron 3 वक्ताओं को पहली बार बोलने के क्रम में नंबर देता है

pyannote community-1 तीन चरणों वाली पाइपलाइन है। यह ऑडियो को 10 सेकंड की विंडो में काटता है और हर विंडो में पता लगाता है कि कौन बोल रहा है (हर विंडो में ज़्यादा से ज़्यादा 3 लोग, एक ही पल में ज़्यादा से ज़्यादा 2)। फिर हर बोली वाले हिस्से से एक वॉइसप्रिंट, यानी एम्बेडिंग, निकालता है। आखिर में VBx क्लस्टरिंग मिलते-जुलते वॉइसप्रिंट को वक्ताओं में बाँट देती है। विंडो के अंदर के वक्ता नंबर सिर्फ़ उसी विंडो के लिए होते हैं, इसलिए वक्ताओं की कुल संख्या आखिरी चरण में ही तय होती है।

Nemotron 3 Diarization एक ही मॉडल है: 31 लेयर वाला Transformer एनकोडर, जो हर पल आठ वक्ता ट्रैक को स्कोर देता है। हर ट्रैक को अलग से स्कोर किया जाता है, इसलिए जब कई लोग एक साथ बोलते हैं तो कई ट्रैक सक्रिय होते हैं। यह NVIDIA के Sortformer तरीके पर चलता है और ट्रैक को इस हिसाब से नंबर देता है कि हर व्यक्ति पहली बार कब बोला: सबसे पहले बोलने वाला हमेशा ट्रैक 1 पर होता है, इसलिए मॉडल को कभी अंदाज़ा नहीं लगाना पड़ता कि कोई आवाज़ किस खाने में जाएगी। इसके मॉडल कार्ड में बताए गए स्ट्रीमिंग सेटअप में, आने के क्रम में रखा गया एक स्पीकर कैश पहले के वक्ताओं को याद रखता है, ताकि बाद का कोई हिस्सा उसी नंबर से जोड़ा जा सके।

हर डिज़ाइन की अपनी सीमा है। pyannote community-1 में वक्ताओं की कोई तय सीमा नहीं है, पर यह एक ही पल में ज़्यादा से ज़्यादा दो लोगों को अलग करता है। Nemotron 3 एक साथ बोल रहे कई लोगों को लेबल कर सकता है, पर इसके आठ ट्रैक हैं, इसलिए यह ज़्यादा से ज़्यादा आठ वक्ता ढूँढता है।

चित्र सरल किए गए हैं। pyannote community-1: Whisper Notes में लगभग 21 MB, CC BY 4.0 (मॉडल कार्ड); सेगमेंटेशन मॉडल Plaquet और Bredin (Interspeech 2023) का, एम्बेडिंग WeSpeaker से, क्लस्टरिंग VBx (Landini et al., 2022) से। Nemotron 3 Diarization: 97 MB (Fluid Inference का 8-बिट Core ML कन्वर्ज़न), लगभग 100 मिलियन पैरामीटर, OpenMDW 1.1 (मॉडल कार्ड); तरीका Sortformer और Streaming Sortformer पेपर में है।

हमने कैसे टेस्ट किया

• रिकॉर्डिंग। अंग्रेज़ी और चीनी में 122 सार्वजनिक रिकॉर्डिंग, कुल 25 घंटे, हर एक में 1 से 12 वक्ता: कमरे के दूसरे छोर से रिकॉर्ड हुई मीटिंग, प्रसारण, अर्निंग्स कॉल, और अलग-अलग क्लिप जोड़कर बनी एक वक्ता वाली रिकॉर्डिंग। इसके अलावा अंग्रेज़ी, डच, चीनी और फ़िनिश में 5 दो-व्यक्ति रिकॉर्डिंग, जिनमें से 4 का शब्दशः रेफ़रेंस टेक्स्ट है।
• डेटासेट। AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV और SKN, साथ में हमारी अपनी रिकॉर्डिंग। सिर्फ़ वे डेटासेट जिनके लाइसेंस नतीजे प्रकाशित करने की अनुमति देते हैं; हमारे उपयोगकर्ताओं की कोई रिकॉर्डिंग नहीं।
• पैमाना। डायरीज़ेशन त्रुटि दर, 10 ms के फ़्रेम में स्कोर की गई, बिना collar के, ओवरलैप वाली बोली समेत, हर रिकॉर्डिंग पर औसत।
• सांख्यिकी। पूरी रिकॉर्डिंग के 10,000 बूटस्ट्रैप रीसैंपल से 95% अंतराल; दस से कम रिकॉर्डिंग वाले समूहों के लिए कोई अंतराल नहीं।
• डिवाइस। M5 चिप वाला एक Mac, एक iPhone 15 और एक iPhone 12 mini; सटीकता Mac पर निकाली गई।
• पहले से दर्ज योजना। टेस्ट प्लान 2 नवंबर 2026 को तय कर दिया गया था, और दो-व्यक्ति रिकॉर्डिंग का बँटवारा 4 नवंबर को, उन क्लिप पर कोई भी मॉडल चलने से पहले।

आज़माएँ

iPhone और Mac पर Whisper Notes अब वक्ता पहचान के लिए Nemotron 3 का इस्तेमाल करता है। कोई सवाल हो तो support@whispernotes.app पर लिखें।

iOS के लिए डाउनलोड करें macOS के लिए डाउनलोड करें