Apple SpeechAnalyzer vs Whisper: Apple की नई स्पीच रिकग्निशन कितनी अच्छी है?

आपके पास पहले से मौजूद डिक्टेशन से यह कितना बेहतर है?

अब तक Mac की स्पीच रिकग्निशन SFSpeechRecognizer के दौर वाले इंजन पर आधारित थी, जिसे सिस्टम डिक्टेशन आज भी इस्तेमाल करता है (DictationTranscriber)। macOS 26 और iOS 26 में SpeechAnalyzer API और उसका SpeechTranscriber मॉड्यूल जोड़ा गया है। हमने दोनों को उसी Mac पर FLEURS टेस्ट स्प्लिट में चलाया, हर भाषा में लगभग 150 वाक्य और 30 मिनट।

Apple के दोनों इंजनों द्वारा सही ढंग से मापी गई सभी भाषाएं, Apple Speech की त्रुटि दर के क्रम में; हरा रंग पंक्ति में बेहतर मान दिखाता है। वही रन, वही क्लिप, वही Mac। जापानी, कोरियाई, चीनी और कैंटोनीज़ के लिए CER, बाकी के लिए WER।

दोनों इंजनों द्वारा सही ढंग से मापी गई सभी दस भाषाओं में Apple Speech अधिक सटीक था। फ़्रेंच और जर्मन में आधे से अधिक त्रुटियां, मध्य वाली भाषा में लगभग एक-तिहाई और ब्राज़ीली पुर्तगाली तथा कैंटोनीज़ में लगभग हर सात में से एक त्रुटि कम हुई।

डिक्टेशन अब भी अधिक भाषाओं तक पहुंचता है। इस रन में Apple Speech ने 83 भाषा कॉन्फ़िगरेशन में से 21 में नतीजे दिए, जबकि डिक्टेशन ने 33 में, जिनमें वे तीन भाषाएं भी हैं जो यहां नए इंजन में नहीं हैं: डच, पोलिश और रूसी, क्रमशः 17.34, 13.50 और 13.13। उद्धृत करने के लिए कोई स्थिर सूची भी नहीं है। भाषा एसेट macOS के होते हैं, इसलिए ऐप रनटाइम पर पूछता है कि किसी मशीन पर क्या उपलब्ध है।

तो क्या आप डाउनलोड किए गए मॉडल छोड़ सकते हैं?

छह इंजन, वही क्लिप, एक Mac। नीचे की दस भाषाएं सबसे अधिक इस्तेमाल होने वाली भाषाओं में से हैं और उनका तय क्रम स्कोर से संबंधित नहीं है।

सबसे अधिक इस्तेमाल होने वाली भाषाओं में से दस, हर कॉलम में एक इंजन। हर सेल उस इंजन की त्रुटि दर है; कम बेहतर है। हरा रंग पंक्ति में सबसे कम और सफेद दूसरा सबसे कम मान दिखाता है। जापानी, कोरियाई और चीनी के लिए CER, बाकी के लिए WER; इन्हें कभी एक संख्या में नहीं मिलाया गया। Whisper Notes टीम का अपना FLEURS रन, एक M5 MacBook Air और पढ़कर बोली गई स्पीच।

छोटे नाम: Qwen3-ASR = Qwen3-ASR 1.7B, Whisper Large = Whisper Large V3 Turbo, Parakeet = Parakeet V3, SenseVoice = SenseVoice Small। डैश का अर्थ है कि उस इंजन के पास उस भाषा का मॉडल नहीं है।

दस भाषाओं में से छह में Qwen3-ASR 1.7B की त्रुटि दर सबसे कम रही, बाकी चार में Whisper Large V3 Turbo की और Apple Speech किसी में भी सबसे आगे नहीं रहा। यह पंक्ति के अग्रणी के सबसे करीब कोरियाई में है, 0.77 अंक पीछे, फिर जापानी में 1.06 और चीनी में 1.48 अंक पीछे; चीनी में यह 7.97 पर Whisper Large V3 Turbo के बराबर है। सबसे बड़ा अंतर अंग्रेज़ी में है, 4.49 (Qwen3-ASR 1.7B) के मुकाबले 8.80 (Apple Speech), और डच, पोलिश तथा रूसी में Apple Speech का कोई नतीजा नहीं है।

Whisper Small के मुकाबले Apple Speech उन दस भाषाओं में से आठ में अधिक सटीक था जिन्हें दोनों ने सही ढंग से मापा। यह अंग्रेज़ी में हारा, 7.04 (Whisper Small) के मुकाबले 8.80 (Apple Speech), और ब्राज़ीली पुर्तगाली में, 8.61 के मुकाबले 9.35।

जुलाई में प्रकाशित एक बेंचमार्क ने अंग्रेज़ी में Apple Speech की तुलना Whisper Small से की और Apple को आगे पाया। तुलना में Whisper का कौन सा संस्करण है और कौन-सी क्लिप हैं, दोनों मायने रखते हैं। उस रन में LibriSpeech था, जिसमें ऑडियोबुक के वाचक पढ़ते हैं; हमारे रन में FLEURS है, जिसमें कई अलग-अलग वक्ता विकिपीडिया के वाक्य पढ़ते हैं। हमारा रन अंग्रेज़ी में अंतर दिखाता है, लेकिन उसका कारण नहीं बता सकता।

Whisper Large V3 Turbo के मुकाबले क्रम उलट जाता है। Apple Speech उन दस भाषाओं में से आठ में पीछे रहता है, चीनी में 7.97 पर बराबर है और केवल कैंटोनीज़ में आगे है, 8.69 (Apple Speech) के मुकाबले 36.75 (Whisper Large V3 Turbo) — नीचे कैंटोनीज़ की पंक्ति देखें। Turbo के लिए OpenAI के रिलीज़ नोट्स कैंटोनीज़ को उन भाषाओं में रखते हैं जिनमें मॉडल का प्रदर्शन सबसे अधिक गिरता है, इसलिए 36.75 हमारे रन की कोई विचित्रता नहीं, बल्कि Whisper की जानी-पहचानी कमजोरी है।

कोरियाई में Apple Speech लगभग हर 23 अक्षरों में एक गलती करता है। इस रन का सबसे सटीक मॉडल Qwen3-ASR 1.7B लगभग हर 28 में एक गलती करता है: दोनों की दरें क्रमशः 4.31 (Apple Speech) और 3.54 (Qwen3-ASR 1.7B) हैं।

Parakeet V3 का डाउनलोड 465 MB है और दोनों द्वारा समर्थित हर यूरोपीय भाषा में यह अधिक सटीक है: अंग्रेज़ी में 8.80 (Apple Speech) के मुकाबले 6.89 (Parakeet V3), फ़्रेंच में 7.61 के मुकाबले 5.83, स्पैनिश में 5.41 के मुकाबले 4.86, इतालवी में 4.39 के मुकाबले 3.43 और ब्राज़ीली पुर्तगाली में 9.35 के मुकाबले 6.49; जर्मन में दोनों 6.26 पर बराबर हैं। इसमें जापानी, कोरियाई, चीनी या कैंटोनीज़ नहीं है; इन भाषाओं में दोनों में से केवल Apple Speech उपलब्ध है।

Qwen3-ASR 1.7B जिन छह पंक्तियों में आगे है, उनमें अंग्रेज़ी, जर्मन, फ़्रेंच और स्पैनिश शामिल हैं।

SenseVoice Small यहां 162.3× रियल-टाइम वाला सबसे तेज़ इंजन है। चीनी और अंग्रेज़ी में यह Apple Speech के बराबर है: दोनों की दरें क्रमशः 7.69 (SenseVoice Small) बनाम 7.97 (Apple Speech) और 8.46 बनाम 8.80 हैं। कोरियाई में यह बहुत पीछे है, 7.85 (SenseVoice Small) बनाम 4.31 (Apple Speech)।

आकार और गति

गति उन तेरह भाषाओं में हर इंजन की माध्यिका है जिन्हें यह पोस्ट साफ़ तौर पर मापती है, और केवल वही भाषाएं गिनी गई हैं जिन पर वह चला — यह अलग-अलग आइटम की प्रोसेसिंग थ्रूपुट है, एक डायग्नोस्टिक, उत्पाद की लेटेंसी नहीं। पीक मेमोरी इस रन में प्रोसेस-ग्रुप का अधिकतम मान है। Apple Speech ऐसी macOS सेवा के भीतर डिकोड करता है जिसकी मालिक कॉल करने वाली ऐप नहीं है, इसलिए वहां कोई भी आंकड़ा बाकी पांच के समान अर्थ नहीं रखेगा।

Apple Speech 30.8× रियल-टाइम पर चला, Parakeet V3 के 75.6× और SenseVoice Small के 162.3× से पीछे। इसका भाषा पैक macOS एक बार डाउनलोड करता है और हर ऐप उसे साझा करता है, इसलिए ऐप की अपनी प्रोसेस में इसके लिए कुछ आवंटित नहीं होता। डिकोड करने वाली सर्विस फिर भी मेमरी इस्तेमाल करती है और हम उसे सटीक रूप से किसी के नाम नहीं कर सकते; इसलिए वहां शून्य लिखने के बजाय कोई संख्या नहीं बताते।

Whisper Large V3 Turbo यहां 3.0× रियल-टाइम वाला सबसे धीमा इंजन है और दस में से चार पंक्तियों में इसकी त्रुटि दर सबसे कम है; यह डिस्क पर लगभग 1.6 GB लेता है। Qwen3-ASR 1.7B बाकी छह में आगे है, डिस्क पर लगभग 2.5 GB और 2.43 GiB पीक के साथ। 600 MB वाला Whisper Small बिल्ट-इन इंजन के लिए उचित तुलना है।

Apple Speech किन भाषाओं के लिए अच्छा है?

भाषा के अनुसार:

• अंग्रेज़ी: अच्छा विकल्प नहीं। Apple Speech का स्कोर 8.80 था; Qwen3-ASR 1.7B (4.49) या Whisper Large V3 Turbo (5.49) स्पष्ट रूप से अधिक सटीक है।
• जर्मन: अच्छा विकल्प नहीं। Apple Speech का स्कोर 6.26 था; Qwen3-ASR 1.7B (2.85) या Whisper Large V3 Turbo (4.05) स्पष्ट रूप से अधिक सटीक है।
• डच, रूसी और पोलिश: इन तीनों के लिए Apple Speech का कोई मॉडल नहीं है। Whisper Large V3 Turbo इनमें से हर भाषा में क्रमशः 5.69, 5.13 और 5.45 के साथ सबसे सटीक था।
• जापानी: उपयोग योग्य। Apple Speech का स्कोर 6.36 था और यह Whisper Large V3 Turbo के 5.30 से पीछे है।
• कोरियाई: उपयोग योग्य। Apple Speech का स्कोर 4.31 था और यह Qwen3-ASR 1.7B के 3.54 से पीछे है।
• फ़्रेंच: अच्छा विकल्प नहीं। Apple Speech का स्कोर 7.61 था; Qwen3-ASR 1.7B (4.57) या Parakeet V3 (5.83) स्पष्ट रूप से अधिक सटीक है।
• चीनी: उपयोग योग्य। Apple Speech का स्कोर 7.97 था, जो Whisper Large V3 Turbo के बराबर है; सबसे सटीक Qwen3-ASR 1.7B था, जिसका स्कोर 6.49 था।
• स्पैनिश: अच्छा विकल्प नहीं। Apple Speech का स्कोर 5.41 था; Qwen3-ASR 1.7B (3.38) या Whisper Large V3 Turbo (3.62) स्पष्ट रूप से अधिक सटीक है।

सटीकता में डाउनलोड किए गए मॉडल अब भी जीतते हैं: मुख्य टेबल की हर पंक्ति में Qwen3-ASR 1.7B या Whisper Large V3 Turbo आगे है। कोरियाई, जापानी और चीनी में Apple Speech एक वास्तविक विकल्प है; यूरोपीय भाषाओं में Parakeet V3 बेहतर विकल्प है।

Mac के लिए Whisper Notes में Parakeet V3 अब भी डिफ़ॉल्ट है। हमारी वेबसाइट से डाउनलोड किए गए Mac ऐप में Apple Speech, macOS 26 या बाद के संस्करण पर एक वैकल्पिक मॉडल के रूप में उपलब्ध है, और ऐप कोई भाषा तभी देता है जब macOS बताता है कि आपके Mac पर वह समर्थित है।

Apple Speech इस पोस्ट में Apple के बनाए SpeechTranscriber का छोटा नाम है, जो डिवाइस पर चलने वाला API है और जिसे कोई भी Mac ऐप macOS 26 या बाद के संस्करण में कॉल कर सकती है। यह डाउनलोड किया जाने वाला मॉडल नहीं, सिस्टम का इंजन है: Mac के लिए Whisper Notes इसे हमारी वेबसाइट से डाउनलोड किए गए संस्करण में, macOS से मिलने वाले भाषा पैक के साथ इस्तेमाल कर सकता है। ऐप जो मॉडल खुद डाउनलोड करता है वे अब भी उस संस्करण में Whisper, Parakeet V3, SenseVoice और Qwen3-ASR हैं, और iPhone तथा Mac App Store संस्करण पर Whisper, Parakeet V3 और SenseVoice हैं। हर इंजन की टेबल हमारी Whisper, Parakeet V3 और SenseVoice द्वारा समर्थित भाषाओं की सूची है।

दस भाषाओं से आगे

उसी रन की चार और भाषाएं। कॉलम, रंग और छोटे नाम ऊपर जैसे ही हैं; कैंटोनीज़ के लिए CER और बाकी के लिए WER।

Apple Speech के हिंदी नतीजे को नीचे बताए कारण से उस पंक्ति की रैंकिंग से बाहर रखा गया है। त्रुटि दर 100% से अधिक हो सकती है क्योंकि जोड़े गए इंसर्शन भी अंश में गिने जाते हैं।

इतालवी का 4.39 (Apple Speech), Qwen3-ASR 1.7B और Whisper Large V3 Turbo की 2.58 की बराबरी से पीछे है। कैंटोनीज़ एकमात्र भाषा है जिसमें Apple Speech, Whisper Large V3 Turbo से आगे रहा, 8.69 (Apple Speech) बनाम 36.75 (Whisper Large V3 Turbo), जबकि Qwen3-ASR 1.7B 6.44 के साथ पहले स्थान पर रहा। ब्राज़ीली पुर्तगाली का 9.35 (Apple Speech) उन दो पंक्तियों में से एक है जिनमें Whisper Small का 8.61 आगे है।

हिंदी का नतीजा अलग तरह का है। Apple Speech ने हिंदी को हिंदी की अपनी लिपि में लिखने के बजाय अंग्रेज़ी अक्षरों में लिखा, इसलिए लगभग हर शब्द गलत गिना गया और दर 100% से अधिक हो गई। तेलुगु, उर्दू, पंजाबी, बंगाली, नेपाली, मलयालम, मराठी, कन्नड़, गुजराती और तमिल के नतीजे भी इसी तरह आए, सभी 100% से अधिक, इसलिए उन्हें टेबल से बाहर रखा गया है।

SpeechAnalyzer कैसे काम करता है

SpeechAnalyzer उस स्पीच रिकग्निशन API की जगह लेता है जो Apple के पास iOS 10 से है, और watchOS को छोड़कर हर Apple प्लेटफ़ॉर्म पर उपलब्ध है। ऐप एक SpeechAnalyzer बनाता है, उसे मॉड्यूल देता है और अपने भरे हुए एसिंक्रोनस सीक्वेंस के रूप में ऑडियो भेजता है; SpeechTranscriber वह मॉड्यूल है जो स्पीच को टेक्स्ट में बदलता है। नतीजे दूसरे सीक्वेंस के रूप में लौटते हैं, आम तौर पर दूसरे टास्क पर, और हर बफ़र तथा नतीजे को ऑडियो की अपनी टाइमलाइन के अनुसार टाइमकोड मिलता है।

एक सेशन, तीन टास्क: ऑडियो AsyncSequence के रूप में जाता है, SpeechAnalyzer और SpeechTranscriber उसका विश्लेषण करते हैं, और इंटरफ़ेस के पढ़ने के लिए नतीजे दूसरे AsyncSequence में लौटते हैं। स्रोत: Apple, WWDC25 सेशन 277।

नतीजे दो बार आते हैं। Apple जिसे volatile range कहता है उसके भीतर की कोई भी चीज़ अभी बेहतर नतीजे से बदली जा सकती है; उसके बाहर की हर चीज़ अंतिम है। इस तरह ऐप आपके बोलते समय एक शुरुआती ट्रांसक्रिप्ट दिखाता है और बाद में उसे सुधारता है। Apple ने SpeechTranscriber मॉडल के पांच डिज़ाइन लक्ष्य बताए हैं: लंबा ऑडियो, बातचीत की स्पीच, दूर के वक्ता, कम विलंब और गोपनीयता, यानी यह डिवाइस पर चलता है। Notes, Voice Memos, Journal और कॉल सारांश इसी पर बने हैं।

SpeechTranscriber मॉडल के लिए Apple के बताए पांच डिज़ाइन लक्ष्य। स्रोत: Apple, WWDC25 सेशन 277।

मॉडल किसी ऐप का हिस्सा नहीं हैं। वे AssetInventory के ज़रिए Apple के सर्वर से डाउनलोड होते हैं, सिस्टम उन्हें स्टोर और अपडेट करता है और ऐप उन्हें साझा करते हैं। वे ऐप के डाउनलोड आकार में कुछ नहीं जोड़ते और डिकोडिंग कॉल करने वाली प्रोसेस के बाहर होती है। किसी भाषा या डिवाइस के लिए SpeechTranscriber मॉडल न हो तो DictationTranscriber सिस्टम डिक्टेशन वाले मॉडल से काम संभालता है।

तरीका और सीमाएं

इन टेबलों के छह इंजनों में से पांच ऐसे मॉडल हैं जिन्हें Whisper Notes डाउनलोड करता है। हर इंजन ने एक M5 MacBook Air (32 GB, macOS 27.0) पर वही क्लिप उसी क्रम में, एक बार में एक, ट्रांसक्राइब की। ऑडियो Google FLEURS का रिविज़न 70bb2e84 वाला टेस्ट स्प्लिट है, हर भाषा में लगभग 150 वाक्य और 30 मिनट। डेटासेट के अपने आइटम ID का स्थिर हैश आइटमों का क्रम तय करता है और हम पूरे आइटमों का वह सबसे छोटा क्रम लेते हैं जो तीस मिनट से अधिक हो; इस चुनाव में किसी मॉडल आउटपुट की भूमिका नहीं थी। हर सेल को उसके अपने रिकॉर्ड से दोबारा बनाया और जांचा गया, और सभी 285 पास हुए। जिन भाषाओं में शब्द स्पेस से अलग होते हैं उनमें WER और जापानी, कोरियाई, चीनी तथा कैंटोनीज़ में CER है; इन्हें कभी एक संख्या में नहीं मिलाया गया।

Whisper के कॉलम को OpenAI की अपनी संख्याओं से जांचा जा सकता है। जिन बारह भाषाओं के लिए OpenAI Whisper Large V3 Turbo का FLEURS नतीजा प्रकाशित करता है, उनमें हमारी संख्याएं औसतन 0.7 अंक के भीतर हैं और बारह में से दस इस रन के 95% अंतराल में आती हैं; भारतीय भाषा वाली पंक्तियों से बाहर की ग्यारह भाषाओं में Whisper Small की हमारी संख्याएं Whisper पेपर की हर भाषा वाली टेबल से औसतन 1.0 अंक के भीतर हैं। Apple Speech का कॉलम उन्हीं क्लिप, उसी स्कोरर और उसी नॉर्मलाइज़र से निकला है।

FLEURS साफ़, पढ़कर बोली गई स्पीच है। यहां से यह नहीं पता चलता कि ये इंजन शोर वाले कमरे या दो घंटे की मीटिंग में कैसे काम करते हैं, और वहां उनके बीच कितना अंतर होगा, यह हमने नहीं मापा। सब कुछ एक ही मशीन पर चला। हर भाषा में लगभग 150 वाक्यों के साथ, लगभग एक अंक से कम दूरी वाले दो इंजन बराबर माने जाते हैं; टेबल पहले से सटीक बराबरी को इसी तरह दिखाती हैं, जैसे इतालवी में Qwen3-ASR 1.7B और Whisper Large V3 Turbo दोनों का स्कोर 2.58 है।

अक्सर पूछे जाने वाले सवाल

इसे आज़माएं

यहां के पांच डाउनलोड किए जा सकने वाले मॉडल — Whisper Small, Whisper Large V3 Turbo, Parakeet V3, SenseVoice Small और Qwen3-ASR 1.7B — सभी हमारी वेबसाइट से डाउनलोड किए गए Whisper Notes Mac ऐप में सेटिंग्स, फिर ट्रांसक्रिप्शन मॉडल के अंतर्गत हैं। macOS 26 या बाद के संस्करण पर Apple Speech भी इसी सूची में दिखता है; अगर ऐप पहले से है, तो उसे नवीनतम संस्करण पर अपडेट कर लें।

अगर हमारे आंकड़े किसी भाषा में आपके अनुभव से मेल नहीं खाते, तो ईमेल करें mac@whispernotes.app। पूरे रिलीज़ नोट्स: whispernotes.app/changelog।

स्रोत: Google FLEURS के रिविज़न 70bb2e84 वाले टेस्ट स्प्लिट पर हमारा रन, Apple का SpeechAnalyzer दस्तावेज़ और उससे पहले का तीस भाषाओं वाला Qwen3-ASR रन।

macOS के लिए डाउनलोड करें