हम एक सवाल का जवाब चाहते थे: क्या कोई लोकल मॉडल आपकी भाषा को Whisper Large V3 से ज़्यादा सटीक लिखता है? इसलिए हमने इन मॉडलों को FLEURS डेटासेट पर टेस्ट किया।
FLEURS Google का डेटासेट है — 102 भाषाओं में पढ़कर बोली गई स्पीच। हमने हर भाषा से क़रीब 75 वाक्य लिए और वही क्लिप, उसी क्रम में, पाँच मॉडलों को सुनाए:
- Parakeet V3
- Whisper Large V3 Turbo
- SenseVoice Small
- Whisper Small
- Qwen3-ASR 1.7B
नतीजे कुछ ऐसे दिखते हैं।
Qwen3-ASR 1.7B बनाम Whisper Large V3 Turbo — हमारा अपना FLEURS रन, एक M5 MacBook Air, पढ़कर बोली गई स्पीच, छोटे क्लिप।
| Qwen3-ASR 1.7B | Whisper Large V3 Turbo | |
|---|---|---|
| समर्थित भाषाएँ | 30 | 101 |
| स्पष्ट बढ़त | कैंटोनीज़, हिंदी, थाई, वियतनामी, फ़्रेंच (5) | फ़िनिश, हंगेरियाई, ग्रीक और 8 अन्य भाषाएँ (11) |
| स्पीड | 8.7× रियल-टाइम | 2.4× रियल-टाइम |
| पीक मेमोरी | 2.43 GiB | 1.87 GiB |
| डाउनलोड | क़रीब 2.5 GB | क़रीब 1.6 GB |
अपनी-अपनी मज़बूत भाषाओं के बाहर, दोनों की सटीकता का फ़र्क़ छोटा है।
Whisper Large V3 बनाम Qwen3-ASR: विस्तृत तुलना
पूरी 30 भाषाएँ, Qwen की सबसे बड़ी बढ़त से उसकी सबसे बड़ी हार तक क्रम में। दोनों कॉलम में संख्या जितनी कम हो, उतना बेहतर।
हमारा अपना FLEURS रन, एक M5 MacBook Air, पढ़कर बोली गई स्पीच। चीनी, कैंटोनीज़, जापानी, कोरियाई और थाई के लिए CER, बाक़ी के लिए WER; हरा रंग उस बढ़त पर है जो पेयर्ड 95% एरर बार से बाहर निकल जाती है।
| भाषा | Qwen3-ASR 1.7B | Whisper Large V3 Turbo |
|---|---|---|
| कैंटोनीज़ | 6.00 | 37.97 |
| हिंदी | 13.67 | 30.42 |
| थाई | 5.92 | 12.95 |
| वियतनामी | 5.07 | 9.79 |
| फ़ारसी | 26.98 | 30.03 |
| अरबी | 14.14 | 15.75 |
| इंडोनेशियाई | 4.97 | 6.50 |
| फ़्रेंच | 3.98 | 5.39 |
| चीनी | 5.69 | 6.88 |
| अंग्रेज़ी | 5.07 | 5.92 |
| जर्मन | 3.51 | 4.10 |
| जापानी | 5.39 | 5.71 |
| कोरियाई | 3.51 | 3.70 |
| स्पेनिश | 3.60 | 3.76 |
| इतालवी | 2.98 | 3.05 |
| रूसी | 5.98 | 5.51 |
| पुर्तगाली | 5.64 | 4.91 |
| मैसेडोनियाई | 17.81 | 16.64 |
| मलय | 11.60 | 10.18 |
| डच | 7.65 | 5.63 |
| तुर्की | 8.34 | 5.53 |
| डेनिश | 20.12 | 14.92 |
| पोलिश | 12.78 | 5.32 |
| रोमानियाई | 18.97 | 8.22 |
| फ़िलिपीनो | 20.44 | 9.37 |
| स्वीडिश | 20.04 | 8.72 |
| चेक | 23.92 | 11.15 |
| ग्रीक | 30.20 | 12.97 |
| फ़िनिश | 26.08 | 6.54 |
| हंगेरियाई | 36.35 | 13.66 |
हमारा अपना पेयर्ड रन, FLEURS टेस्ट स्प्लिट, रिवीज़न 70bb2e84, हर भाषा से क़रीब 75 वाक्य, एक M5 MacBook Air।
वो पाँच जो Qwen3-ASR 1.7B साफ़ जीतता है। त्रुटि दर प्रतिशत में, Qwen बनाम Turbo: कैंटोनीज़ (6.0 बनाम 38.0), हिंदी (13.7 बनाम 30.4), थाई (5.9 बनाम 13.0), वियतनामी (5.1 बनाम 9.8), फ़्रेंच (4.0 बनाम 5.4)। कैंटोनीज़ और थाई अक्षर से आँके गए हैं, बाक़ी शब्द से। इसकी बढ़त अक्षर से आँकी जाने वाली भाषाओं में बैठती है: चीनी, कैंटोनीज़, जापानी, कोरियाई और थाई पर इसका औसत 5.3% रहा और Turbo का 13.4%, जबकि शब्द से आँकी जाने वाली बाक़ी पच्चीस पर इसका औसत 14.0% रहा और Turbo का 10.2%।
वो ग्यारह जो Whisper Large V3 Turbo साफ़ जीतता है। त्रुटि दर प्रतिशत में, Qwen बनाम Turbo, सब शब्द से आँकी गईं: हंगेरियाई (36.4 बनाम 13.7), ग्रीक (30.2 बनाम 13.0), फ़िनिश (26.1 बनाम 6.5), चेक (23.9 बनाम 11.2), फ़िलिपीनो (20.4 बनाम 9.4), डेनिश (20.1 बनाम 14.9), स्वीडिश (20.0 बनाम 8.7), रोमानियाई (19.0 बनाम 8.2), पोलिश (12.8 बनाम 5.3), तुर्की (8.3 बनाम 5.5), डच (7.7 बनाम 5.6)।
वो चौदह जो क़रीब या बराबर हैं। अंग्रेज़ी (5.1 बनाम 5.9), जर्मन (3.5 बनाम 4.1), स्पेनिश (3.6 बनाम 3.8), इतालवी (3.0 बनाम 3.1), रूसी (6.0 बनाम 5.5), पुर्तगाली (5.6 बनाम 4.9); चीनी (5.7 बनाम 6.9), जापानी (5.4 बनाम 5.7) और कोरियाई (3.5 बनाम 3.7) अक्षर से आँके गए हैं। इसके बाद अरबी, इंडोनेशियाई, फ़ारसी, मलय और मैसेडोनियाई। यहाँ हर अंतर छोटा है और 95% बैंड के भीतर बैठता है, इसलिए यह रन दोनों मॉडलों को अलग नहीं कर पाता।
कैंटोनीज़ अकेली ऐसी पंक्ति है जो फ़ैसला बदल देती है: 6.00% बनाम 37.97%, और SenseVoice Small — जिसे हमने कैंटोनीज़ का जवाब बताकर छापा था — उन्हीं क्लिप पर 36.71% CER पर रहा। इस पढ़कर बोली गई स्पीच के सेट पर इनमें से कोई भी उस स्तर तक नहीं पहुँचता, इसलिए पुरानी सिफ़ारिश अब इस शर्त के साथ आती है।
Qwen3-ASR 1.7B कितना तेज़ है?
पाँचों इंजन एक ही हार्नेस में एक ही मशीन (M5 MacBook Air) पर मापे गए, इसलिए कम से कम आपस में तुलना करने लायक़ हैं।
उसी FLEURS रन में हर इंजन की अपनी भाषाओं पर रियल-टाइम फ़ैक्टर का मीडियन, एक M5 MacBook Air, पढ़कर बोली गई स्पीच।
| इंजन | भाषाएँ | इस रन में मीडियन स्पीड (छोटे क्लिप) |
|---|---|---|
| SenseVoice Small | 6 विकल्प | 161.0× |
| Parakeet TDT 0.6B v3 | 25 | 82.9× |
| Qwen3-ASR 1.7B | घोषित 30 | 8.7× |
| Whisper Small | 101 | 6.4× |
| Whisper Large V3 Turbo | 101 | 2.4× |
ये छोटे क्लिप वाले हार्नेस के आँकड़े हैं और वही इंजन लंबी रिकॉर्डिंग पर इनसे ऊपर चलते हैं। इस कॉलम को सिर्फ़ इसी एक रन के भीतर इंजनों की आपसी तुलना के लिए पढ़ें, और कहीं नहीं।
Parakeet V3 और SenseVoice Small उसी हार्नेस में Qwen3-ASR से क़रीब एक ऑर्डर ऑफ़ मैग्नीट्यूड तेज़ रहे। छोटे क्लिप के बजाय लंबी फ़ाइलों पर Parakeet एक M4 Pro पर 103× रियल-टाइम तक चला है और SenseVoice 52× या उससे ऊपर — दूसरे ऑडियो पर लिया गया दूसरा माप, इशारा वही।
Qwen3-ASR बीच में बैठता है। इस छोटे-क्लिप रन में यह सबसे धीमा इंजन नहीं था — वो Whisper Large V3 Turbo था — लेकिन भाषा-दर-भाषा इसका उतार-चढ़ाव बाक़ियों से ज़्यादा है, ग्रीक पर 2.7× से जापानी पर 12.4× तक।
Qwen3-ASR मेमोरी और डिस्क में कितना लेता है?
पीक मेमोरी उसी FLEURS रन में आइटम-दर-आइटम देखी गई अधिकतम प्रोसेस मेमोरी है, एक M5 MacBook Air, पढ़कर बोली गई स्पीच, छोटे क्लिप।
| इंजन | डाउनलोड | इस रन में पीक मेमोरी |
|---|---|---|
| Parakeet TDT 0.6B v3 | 465 MB | 0.09 GiB |
| Whisper Small | 600 MB | 0.87 GiB |
| SenseVoice Small | 827 MB | 0.95 GiB |
| Whisper Large V3 Turbo | क़रीब 1.6 GB | 1.87 GiB |
| Qwen3-ASR 1.7B | क़रीब 2.5 GB | 2.43 GiB |
दोनों पैमानों पर Qwen3-ASR पाँचों में सबसे भारी है: डाउनलोड क़रीब 2.5 GB और इस रन में 2.43 GiB पीक प्रोसेस मेमोरी, जबकि Whisper Large V3 Turbo के लिए क़रीब 1.6 GB और 1.87 GiB।
8 GB वाली मशीन पर एक हल्का रास्ता है। Parakeet V3 465 MB और 0.09 GiB में 25 भाषाएँ कवर करता है, और Whisper Small 600 MB और 0.87 GiB में 101।
हमने कैसे मापा: FLEURS, 30 भाषाएँ, एक Mac
Qwen3-ASR 1.7B एक MLX 8-bit बिल्ड के रूप में चला, Whisper Large V3 Turbo Metal पर whisper.cpp की ggml बिल्ड के रूप में। डेटा Google FLEURS टेस्ट स्प्लिट का रिवीज़न 70bb2e84 है (CC-BY-4.0): इसकी 102 भाषाओं में से 83, हर एक से क़रीब 75 वाक्य और 15 मिनट, हर मॉडल के लिए वही क्लिप उसी क्रम में; पेयर्ड तुलना Qwen की 30 पर है। स्पेस से शब्द अलग करने वाली भाषाओं के लिए WER, चीनी, कैंटोनीज़, जापानी, कोरियाई और थाई के लिए CER, दोनों को कभी एक नंबर में नहीं मिलाया गया; एरर बार 10,000 बार के आइटम-लेवल बूटस्ट्रैप से हैं। एक M5 MacBook Air, 32 GB, macOS 26.5, किसी भी मॉडल से कोई ख़ाली आउटपुट या फ़ेल्यर नहीं।
FLEURS पढ़कर बोली गई स्पीच है, न मीटिंग न डिक्टेशन। पढ़ी हुई स्पीच की रैंकिंग हमारे अपने टेस्ट में दो बार असली ऑडियो के सामने टिक नहीं पाई, इसलिए हम इन्हें लंबी रिकॉर्डिंग तक नहीं खींचते: ये टेबल बताती हैं कि कोई मॉडल आपकी भाषा के लिए मुमकिन है या नहीं, यह नहीं कि आपको कितनी सटीकता मिलेगी। Qwen3-ASR 1.7B का असली मीटिंग वाला मूल्यांकन अलग पोस्ट में आएगा।
क्या Whisper Large V3 की जगह Qwen3-ASR इस्तेमाल करें?
भाषा-दर-भाषा, Mac के Whisper Notes के अंदर हम इसका जवाब ऐसे देंगे।
- अगर आप कैंटोनीज़, हिंदी, थाई, वियतनामी या फ़्रेंच लिखवाते हैं: Qwen3-ASR 1.7B चुनें।
- अगर आप चीनी, जापानी, कोरियाई, अंग्रेज़ी, जर्मन, स्पेनिश या इतालवी लिखवाते हैं: यह बाल भर आगे रहा, और हम बाल भर से ज़्यादा का दावा नहीं करेंगे। दोनों में से कोई भी ठीक है, और फ़ारसी, अरबी, इंडोनेशियाई, रूसी, पुर्तगाली, मैसेडोनियाई और मलय पर भी यही बात है।
- अगर आप फ़िनिश, हंगेरियाई, ग्रीक, चेक, स्वीडिश, डेनिश, पोलिश, रोमानियाई, फ़िलिपीनो, तुर्की या डच लिखवाते हैं: Whisper Large V3 Turbo पर बने रहें। ग्यारहों यह साफ़ जीता।
- अगर आपकी चिंता स्पीड या डिस्क है: यह इंजन नहीं। Parakeet V3 और SenseVoice Small एक ऑर्डर ऑफ़ मैग्नीट्यूड तेज़ थे, डाउनलोड के एक अंश में, और Whisper Small 600 MB में 101 भाषाएँ 6.4× पर कवर करता है।
- अगर आप iPhone या Mac App Store बिल्ड पर हैं: यह इंजन वहाँ अभी नहीं पहुँचा है। उन चैनलों पर कैंटोनीज़ के लिए SenseVoice है।
यह Mac के लिए Whisper Notes में अलीबाबा के ओपन Qwen3-ASR का ऑन-डिवाइस पोर्ट है: ओपन वेट्स को 8-bit पर Apple MLX में बदला गया, आपके अपने Mac के GPU पर चलता है, और कोई ऑडियो अलीबाबा के सर्वर तक नहीं जाता। यह वो 0.6B मॉडल नहीं है जिसकी जगह Direct Download (DMG) 1.5.0 में SenseVoice ने ली थी।
इस्तेमाल कैसे करें (Mac Direct Download, DMG 1.6.0 और उसके बाद): सेटिंग्स, फिर ट्रांसक्रिप्शन मॉडल, फिर Qwen3-ASR 1.7B। मॉडल पहली बार इस्तेमाल पर ऐप के अंदर डाउनलोड होता है और क़रीब 2.5 GB का है। इसे Apple silicon पर macOS 15 या उससे नया चाहिए, 16 GB मेमोरी की सलाह है; ऐप का बाक़ी हिस्सा macOS 14 पर चलता है। हर इंजन की भाषा सूची हमारे भाषा समर्थन पेज पर है। लोकल CLI और MCP सर्वर qwen, qwen3 और qwen3-asr तीनों नाम स्वीकार करते हैं।
बदलना न चाहें तो कुछ भी बदलने की ज़रूरत नहीं: Parakeet V3 अब भी डिफ़ॉल्ट है।
अक्सर पूछे जाने वाले सवाल
क्या Qwen3-ASR, Whisper Large V3 Turbo से ज़्यादा सटीक है?
यह भाषा पर निर्भर करता है, और बँटवारा लगभग बराबर का है। Mac के Whisper Notes के अंदर हमारे अपने FLEURS रन में, दोनों मॉडलों की साझा 30 भाषाओं में Qwen3-ASR 1.7B 15 में आगे रहा और Whisper Large V3 Turbo 15 में। Qwen कैंटोनीज़ (6.00% बनाम 37.97% CER), हिंदी (13.67% बनाम 30.42% WER), थाई, वियतनामी और फ़्रेंच में साफ़ आगे था। Turbo फ़िनिश (6.54% बनाम 26.08% WER), हंगेरियाई, ग्रीक, चेक, स्वीडिश, डेनिश, पोलिश, रोमानियाई, फ़िलिपीनो, तुर्की और डच में साफ़ आगे था। तीस में से चौदह अंतर एरर बार के भीतर बैठते हैं और उन्हें बराबरी पढ़ा जाना चाहिए। अगर आपकी भाषा Qwen के जीतने वाले कॉलम में है और आप Whisper Notes के Mac Direct Download (DMG) बिल्ड पर हैं, तो Qwen3-ASR चुनें; बाक़ी हर स्थिति के लिए, और Qwen की 30 से बाहर हर भाषा के लिए, Whisper Large V3 Turbo चुनें, क्योंकि Whisper तक पूरे 101 विकल्प पहुँचते हैं।
क्या मैं iPhone पर या Mac App Store से Qwen3-ASR इस्तेमाल कर सकता हूँ?
आज यह Whisper Notes के Mac Direct Download (DMG) बिल्ड में वर्शन 1.6.0 से आगे मौजूद है। Mac App Store वर्शन में नए इंजन बाद के रिलीज़ में आने की योजना है, और उसकी तारीख़ हमारे पास नहीं है। तब तक iPhone ऐप और Mac App Store बिल्ड में तीन इंजन परिवार हैं — Whisper, Parakeet V3 और SenseVoice — और Qwen जो भी भाषा पहचानता है, वहाँ Whisper भी उसे कवर करता है। मॉडल गिनें तो Mac App Store बिल्ड आज चार देता है और Direct Download बिल्ड पाँच, क्योंकि Whisper Small और Large V3 Turbo दोनों रूपों में आता है। iPhone पर कैंटोनीज़ चाहिए, तो वहाँ SenseVoice इस्तेमाल करें।
चीनी, जापानी और कोरियाई के लिए Qwen3-ASR या SenseVoice?
सटीकता में दोनों क़रीब हैं और स्पीड में बहुत दूर। हमारे FLEURS रन में Qwen3-ASR ने चीनी पर 5.69% CER, जापानी पर 5.39% और कोरियाई पर 3.51% किया; SenseVoice Small ने उन्हीं क्लिप पर 7.06%, 6.85% और 7.82%। उसी रन में SenseVoice मीडियन 161× रियल-टाइम पर चला और Qwen 8.7× पर, डाउनलोड 827 MB बनाम क़रीब 2.5 GB, और SenseVoice iPhone तथा दोनों Mac बिल्ड पर उपलब्ध है। SenseVoice चुनें — सिवाय तब जब आप कैंटोनीज़ लिखवा रहे हों, जहाँ Qwen3-ASR 6.00% CER पर रहा और SenseVoice 36.71% पर, और यह फ़ासला इंतज़ार के लायक़ है।
Qwen3-ASR 1.7B की सिस्टम ज़रूरतें क्या हैं?
macOS 15 या उससे नया चलाने वाला Apple silicon Mac, 16 GB मेमोरी की सलाह के साथ, और मॉडल के लिए क़रीब 2.5 GB डिस्क। यह Mac के बाक़ी Whisper Notes से ऊपर है, जो macOS 14 और उसके बाद पर चलता है। हमारे बेंचमार्क रन में मॉडल 2.43 GiB प्रोसेस मेमोरी तक पहुँचा, पाँचों इंजन में सबसे ऊपर। 8 GB वाले Mac पर Whisper Small वही 101-भाषा सूची 600 MB में कवर करता है और Parakeet V3 25 यूरोपीय भाषाएँ 465 MB में।
Qwen3-ASR इस्तेमाल करते समय क्या ऑडियो मेरा Mac छोड़ता है?
नहीं। अलीबाबा Qwen3-ASR को DashScope की Real-time और FileTrans API के ज़रिए क्लाउड सेवा के रूप में भी देता है, जहाँ ऑडियो उनके सर्वर पर अपलोड होता है। Whisper Notes उनका इस्तेमाल नहीं करता। यह ओपन वेट्स को आपके Mac के GPU पर MLX 8-bit मॉडल के रूप में लोकली चलाता है, बिना अकाउंट और बिना API key के, और नेटवर्क बंद होने पर भी ट्रांसक्रिप्शन चलता है। ऐप के हर इंजन परिवार पर और हर चैनल पर यही बात लागू है।
ये नंबर मेरी रिकॉर्डिंग पर मिलने वाली सटीकता से मेल क्यों नहीं खाते?
क्योंकि FLEURS छोटी, साफ़, पढ़कर बोली गई स्पीच है, और आपकी रिकॉर्डिंग वैसी नहीं है। हमारा रन एक पब्लिक डेटासेट पर किया गया कैलिब्रेशन है: हर भाषा से क़रीब 75 वाक्य, एक M5 MacBook Air, हर मॉडल के लिए वही क्लिप। यह पूछने के लिए काम का है कि कोई मॉडल किसी भाषा के लिए मुमकिन है या नहीं, और यह मीटिंग, शोर वाले ऑडियो, लहजे वाली स्पीच या दो घंटे की फ़ाइल पर आपकी सटीकता की भविष्यवाणी नहीं है।
आज़माइए
Qwen3-ASR 1.7B, Mac के Whisper Notes 1.6.0 और उसके बाद में है, सिर्फ़ Direct Download (DMG) में। सेटिंग्स, फिर ट्रांसक्रिप्शन मॉडल। फ़्री ट्रायल 10,000 शब्द तक चलता है — अपनी भाषा को उससे गुज़ारने और ऊपर की टेबलों से असहमत होने के लिए काफ़ी।
कोई ऐसी भाषा मिले जहाँ हमारे नंबर आपके अनुभव से मेल न खाएँ, तो mac@whispernotes.app पर लिखें। पूरे रिलीज़ नोट्स: whispernotes.app/changelog।
ऊपर की हर बात के स्रोत: Google FLEURS टेस्ट स्प्लिट के रिवीज़न 70bb2e84 पर हमारा रन, Qwen3-ASR 1.7B मॉडल कार्ड, और हमारे भाषा समर्थन पेज पर इंजन-वार भाषा टेबल, जो ऐप के अपने सोर्स से बनती है।
macOS के लिए डाउनलोड करें