আমরা একটা প্রশ্নের উত্তর চেয়েছিলাম: আপনার ভাষায় Whisper Large V3-এর চেয়ে বেশি নির্ভুলভাবে লিখতে পারে, এমন কোনো লোকাল মডেল কি আছে? তাই আমরা এই মডেলগুলোকে FLEURS ডেটাসেটে টেস্ট করেছি।
FLEURS হলো Google-এর ডেটাসেট — 102টি ভাষায় পড়ে শোনানো স্পিচ। প্রতিটি ভাষা থেকে আমরা প্রায় 75টি বাক্য নিয়েছি, আর একই ক্লিপ একই ক্রমে শুনিয়েছি পাঁচটি মডেলকে:
- Parakeet V3
- Whisper Large V3 Turbo
- SenseVoice Small
- Whisper Small
- Qwen3-ASR 1.7B
ফলাফল দেখতে এরকম।
Qwen3-ASR 1.7B বনাম Whisper Large V3 Turbo — আমাদের নিজেদের FLEURS রান, একটা M5 MacBook Air, পড়ে শোনানো স্পিচ, ছোট ক্লিপ।
| Qwen3-ASR 1.7B | Whisper Large V3 Turbo | |
|---|---|---|
| সমর্থিত ভাষা | 30 | 101 |
| স্পষ্ট সুবিধা | ক্যান্টনিজ, হিন্দি, থাই, ভিয়েতনামি, ফরাসি (5) | ফিনিশ, হাঙ্গেরীয়, গ্রিক এবং আরও 8টি ভাষা (11) |
| গতি | 8.7× রিয়েল-টাইম | 2.4× রিয়েল-টাইম |
| পিক মেমরি | 2.43 GiB | 1.87 GiB |
| ডাউনলোড | প্রায় 2.5 GB | প্রায় 1.6 GB |
যে যার সেরা ভাষাগুলোর বাইরে গেলে দুটোর নির্ভুলতার ফারাক ছোট।
Whisper Large V3 বনাম Qwen3-ASR: বিস্তারিত তুলনা
সব 30টি ভাষা, Qwen-এর সবচেয়ে বড় জয় থেকে সবচেয়ে বড় হার পর্যন্ত সাজানো। দুটো কলামেই কম মানে ভালো।
আমাদের নিজেদের FLEURS রান, একটা M5 MacBook Air, পড়ে শোনানো স্পিচ। চীনা, ক্যান্টনিজ, জাপানি, কোরীয় ও থাইয়ের জন্য CER, বাকিগুলোর জন্য WER; সবুজ মানে সেই ব্যবধান পেয়ার্ড 95% এরর বারের বাইরে।
| ভাষা | Qwen3-ASR 1.7B | Whisper Large V3 Turbo |
|---|---|---|
| ক্যান্টনিজ | 6.00 | 37.97 |
| হিন্দি | 13.67 | 30.42 |
| থাই | 5.92 | 12.95 |
| ভিয়েতনামি | 5.07 | 9.79 |
| ফারসি | 26.98 | 30.03 |
| আরবি | 14.14 | 15.75 |
| ইন্দোনেশীয় | 4.97 | 6.50 |
| ফরাসি | 3.98 | 5.39 |
| চীনা | 5.69 | 6.88 |
| ইংরেজি | 5.07 | 5.92 |
| জার্মান | 3.51 | 4.10 |
| জাপানি | 5.39 | 5.71 |
| কোরীয় | 3.51 | 3.70 |
| স্প্যানিশ | 3.60 | 3.76 |
| ইতালীয় | 2.98 | 3.05 |
| রুশ | 5.98 | 5.51 |
| পর্তুগিজ | 5.64 | 4.91 |
| ম্যাসেডোনীয় | 17.81 | 16.64 |
| মালয় | 11.60 | 10.18 |
| ডাচ | 7.65 | 5.63 |
| তুর্কি | 8.34 | 5.53 |
| ড্যানিশ | 20.12 | 14.92 |
| পোলিশ | 12.78 | 5.32 |
| রোমানীয় | 18.97 | 8.22 |
| ফিলিপিনো | 20.44 | 9.37 |
| সুইডিশ | 20.04 | 8.72 |
| চেক | 23.92 | 11.15 |
| গ্রিক | 30.20 | 12.97 |
| ফিনিশ | 26.08 | 6.54 |
| হাঙ্গেরীয় | 36.35 | 13.66 |
আমাদের নিজেদের পেয়ার্ড রান, FLEURS টেস্ট স্প্লিট, রিভিশন 70bb2e84, প্রতি ভাষায় প্রায় 75টি বাক্য, একটা M5 MacBook Air।
যে পাঁচটিতে Qwen3-ASR 1.7B স্পষ্ট জেতে। ত্রুটির হার শতাংশে, Qwen বনাম Turbo: ক্যান্টনিজ (6.0 বনাম 38.0), হিন্দি (13.7 বনাম 30.4), থাই (5.9 বনাম 13.0), ভিয়েতনামি (5.1 বনাম 9.8), ফরাসি (4.0 বনাম 5.4)। ক্যান্টনিজ ও থাই অক্ষর ধরে মাপা, বাকিগুলো শব্দ ধরে। এর সুবিধাটা অক্ষর ধরে মাপা ভাষাগুলোতেই: চীনা, ক্যান্টনিজ, জাপানি, কোরীয় ও থাই মিলিয়ে এর গড় 5.3%, Turbo-র 13.4%; আর শব্দ ধরে মাপা বাকি পঁচিশটিতে এর গড় 14.0%, Turbo-র 10.2%।
যে এগারোটিতে Whisper Large V3 Turbo স্পষ্ট জেতে। ত্রুটির হার শতাংশে, Qwen বনাম Turbo, সবই শব্দ ধরে মাপা: হাঙ্গেরীয় (36.4 বনাম 13.7), গ্রিক (30.2 বনাম 13.0), ফিনিশ (26.1 বনাম 6.5), চেক (23.9 বনাম 11.2), ফিলিপিনো (20.4 বনাম 9.4), ড্যানিশ (20.1 বনাম 14.9), সুইডিশ (20.0 বনাম 8.7), রোমানীয় (19.0 বনাম 8.2), পোলিশ (12.8 বনাম 5.3), তুর্কি (8.3 বনাম 5.5), ডাচ (7.7 বনাম 5.6)।
যে চোদ্দোটি কাছাকাছি বা সমান। ইংরেজি (5.1 বনাম 5.9), জার্মান (3.5 বনাম 4.1), স্প্যানিশ (3.6 বনাম 3.8), ইতালীয় (3.0 বনাম 3.1), রুশ (6.0 বনাম 5.5), পর্তুগিজ (5.6 বনাম 4.9); চীনা (5.7 বনাম 6.9), জাপানি (5.4 বনাম 5.7) ও কোরীয় (3.5 বনাম 3.7) অক্ষর ধরে মাপা। এরপর আরবি, ইন্দোনেশীয়, ফারসি, মালয় ও ম্যাসেডোনীয়। এখানে প্রতিটি ব্যবধানই ছোট এবং 95% ব্যান্ডের ভেতরে পড়ে, তাই এই রান দুটো মডেলকে আলাদা করতে পারে না।
ক্যান্টনিজই একমাত্র সারি যা সিদ্ধান্ত বদলে দেয়: 6.00% বনাম 37.97%, আর SenseVoice Small — যাকে আমরা ক্যান্টনিজের উত্তর হিসেবে লিখেছিলাম — একই ক্লিপে 36.71% CER পেয়েছে। পড়ে শোনানো স্পিচের এই সেটে এর কোনোটিই দাগ ছুঁতে পারেনি, তাই পুরনো সুপারিশটা এখন এই শর্তসহ আসে।
Qwen3-ASR 1.7B কতটা দ্রুত?
পাঁচটি ইঞ্জিনই একই হারনেসে একই মেশিনে (M5 MacBook Air) মাপা, তাই অন্তত নিজেদের মধ্যে তুলনীয়।
একই FLEURS রানে প্রতিটি ইঞ্জিনের নিজের ভাষাগুলোতে রিয়েল-টাইম ফ্যাক্টরের মিডিয়ান, একটা M5 MacBook Air, পড়ে শোনানো স্পিচ।
| ইঞ্জিন | ভাষা | এই রানে মিডিয়ান গতি (ছোট ক্লিপ) |
|---|---|---|
| SenseVoice Small | 6টি বিকল্প | 161.0× |
| Parakeet TDT 0.6B v3 | 25 | 82.9× |
| Qwen3-ASR 1.7B | ঘোষিত 30 | 8.7× |
| Whisper Small | 101 | 6.4× |
| Whisper Large V3 Turbo | 101 | 2.4× |
এগুলো ছোট ক্লিপের হারনেস-সংখ্যা, আর একই ইঞ্জিন লম্বা রেকর্ডিংয়ে এর চেয়ে দ্রুত চলে। এই কলামটা শুধু এই এক রানের ভেতরে ইঞ্জিনগুলোকে পাশাপাশি মেলানোর জন্য পড়ুন, অন্য কিছুর জন্য নয়।
একই হারনেসে Parakeet V3 আর SenseVoice Small Qwen3-ASR-এর চেয়ে প্রায় দশ গুণ দ্রুত ছিল। ছোট ক্লিপের বদলে লম্বা ফাইলে Parakeet একটা M4 Pro-তে 103× রিয়েল-টাইমে চলেছে আর SenseVoice 52× বা তার বেশি — অন্য অডিওতে অন্য একটা মাপ, ইঙ্গিত একই।
Qwen3-ASR পড়ে মাঝখানে। এই ছোট-ক্লিপ রানে এটা সবচেয়ে ধীর ইঞ্জিন ছিল না — সেটা ছিল Whisper Large V3 Turbo — তবে ভাষাভেদে এর ওঠানামা বাকিদের চেয়ে বেশি, গ্রিকে 2.7× থেকে জাপানিতে 12.4× পর্যন্ত।
Qwen3-ASR মেমরি আর ডিস্কে কত নেয়?
পিক মেমরি হলো একই FLEURS রানে আইটেম ধরে ধরে দেখা সর্বোচ্চ প্রসেস মেমরি, একটা M5 MacBook Air, পড়ে শোনানো স্পিচ, ছোট ক্লিপ।
| ইঞ্জিন | ডাউনলোড | এই রানে পিক মেমরি |
|---|---|---|
| Parakeet TDT 0.6B v3 | 465 MB | 0.09 GiB |
| Whisper Small | 600 MB | 0.87 GiB |
| SenseVoice Small | 827 MB | 0.95 GiB |
| Whisper Large V3 Turbo | প্রায় 1.6 GB | 1.87 GiB |
| Qwen3-ASR 1.7B | প্রায় 2.5 GB | 2.43 GiB |
দুই মাপকাঠিতেই Qwen3-ASR পাঁচটির মধ্যে সবচেয়ে ভারী: ডাউনলোড প্রায় 2.5 GB আর এই রানে 2.43 GiB পিক প্রসেস মেমরি, যেখানে Whisper Large V3 Turbo-র জন্য প্রায় 1.6 GB আর 1.87 GiB।
8 GB মেশিনে হালকা একটা পথ আছে। Parakeet V3 465 MB আর 0.09 GiB-তে 25টি ভাষা কভার করে, আর Whisper Small 600 MB আর 0.87 GiB-তে 101টি।
আমরা কীভাবে মেপেছি: FLEURS, 30টি ভাষা, একটা Mac
Qwen3-ASR 1.7B চলেছে MLX 8-bit বিল্ড হিসেবে, Whisper Large V3 Turbo চলেছে Metal-এ whisper.cpp-র ggml বিল্ড হিসেবে। ডেটা হলো Google FLEURS টেস্ট স্প্লিটের রিভিশন 70bb2e84 (CC-BY-4.0): এর 102টি ভাষার মধ্যে 83টি, প্রতিটি থেকে প্রায় 75টি বাক্য আর 15 মিনিট, প্রতিটি মডেলের জন্য একই ক্লিপ একই ক্রমে; পেয়ার্ড তুলনাটা Qwen-এর 30টির উপর। স্পেস দিয়ে শব্দ আলাদা হয় এমন ভাষার জন্য WER, আর চীনা, ক্যান্টনিজ, জাপানি, কোরীয় ও থাইয়ের জন্য CER, দুটোকে কখনো একটা সংখ্যায় মেশানো হয়নি; এরর বার এসেছে 10,000 বার রিস্যাম্পল করা আইটেম-লেভেল বুটস্ট্র্যাপ থেকে। একটা M5 MacBook Air, 32 GB, macOS 26.5, কোনো মডেল থেকেই খালি আউটপুট বা ব্যর্থতা আসেনি।
FLEURS পড়ে শোনানো স্পিচ, মিটিংও নয় ডিক্টেশনও নয়। পড়া স্পিচের র্যাঙ্কিং আমাদের নিজেদের টেস্টে দুবার আসল অডিওর সামনে টেকেনি, তাই আমরা এগুলোকে লম্বা রেকর্ডিং পর্যন্ত টেনে নিই না: এই টেবিলগুলো বলে একটা মডেল আপনার ভাষার জন্য সম্ভাব্য কি না, আপনি কত নির্ভুলতা পাবেন তা নয়। Qwen3-ASR 1.7B-র আসল মিটিংয়ের মূল্যায়ন আলাদা একটা পোস্টে আসবে।
Whisper Large V3-এর বদলে কি Qwen3-ASR ব্যবহার করবেন?
ভাষা ধরে ধরে, Mac-এর Whisper Notes-এর ভেতরে আমরা এভাবে উত্তর দেব।
- আপনি যদি ক্যান্টনিজ, হিন্দি, থাই, ভিয়েতনামি বা ফরাসি ট্রান্সক্রাইব করেন: Qwen3-ASR 1.7B বেছে নিন।
- আপনি যদি চীনা, জাপানি, কোরীয়, ইংরেজি, জার্মান, স্প্যানিশ বা ইতালীয় ট্রান্সক্রাইব করেন: এটা চুল পরিমাণ এগিয়ে ছিল, আর ওই চুল পরিমাণের বেশি আমরা দাবি করব না। দুটোর যেকোনোটাই চলবে, আর ফারসি, আরবি, ইন্দোনেশীয়, রুশ, পর্তুগিজ, ম্যাসেডোনীয় ও মালয়ের বেলাতেও একই কথা।
- আপনি যদি ফিনিশ, হাঙ্গেরীয়, গ্রিক, চেক, সুইডিশ, ড্যানিশ, পোলিশ, রোমানীয়, ফিলিপিনো, তুর্কি বা ডাচ ট্রান্সক্রাইব করেন: Whisper Large V3 Turbo-তেই থাকুন। এগারোটিতেই এটা স্পষ্ট জিতেছে।
- আপনার চিন্তা যদি গতি বা ডিস্ক হয়: এই ইঞ্জিন নয়। Parakeet V3 আর SenseVoice Small প্রায় দশ গুণ দ্রুত ছিল, ডাউনলোডের একটা ভগ্নাংশে, আর Whisper Small 600 MB-তে 101টি ভাষা কভার করে 6.4×-এ।
- আপনি যদি iPhone বা Mac App Store বিল্ডে থাকেন: ইঞ্জিনটা সেখানে এখনও পৌঁছায়নি। ওই চ্যানেলগুলোতে ক্যান্টনিজের জন্য SenseVoice-ই বেছে নেওয়ার মডেল।
এটা Mac-এর জন্য Whisper Notes-এ আলিবাবার ওপেন Qwen3-ASR-এর অন-ডিভাইস পোর্ট: ওপেন ওয়েট 8-bit-এ Apple MLX-এ রূপান্তরিত, চলে আপনার নিজের Mac-এর GPU-তে, কোনো অডিও আলিবাবার সার্ভারে যায় না। Direct Download (DMG) 1.5.0-তে SenseVoice যে 0.6B মডেলটির জায়গা নিয়েছিল, এটা সেই মডেল নয়।
ব্যবহার করবেন যেভাবে (Mac Direct Download, DMG 1.6.0 ও তার পরের ভার্সন): সেটিংস, তারপর ট্রান্সক্রিপশন মডেল, তারপর Qwen3-ASR 1.7B। মডেলটা প্রথম ব্যবহারের সময় অ্যাপের ভেতরেই ডাউনলোড হয় এবং প্রায় 2.5 GB। এর জন্য Apple silicon-এ macOS 15 বা তার পরের ভার্সন লাগে, 16 GB মেমরি সুপারিশ করা হয়; অ্যাপের বাকি অংশ macOS 14-এ চলে। ইঞ্জিন ধরে ধরে ভাষার তালিকা আছে আমাদের ভাষা সমর্থন পেজে। লোকাল CLI আর MCP সার্ভার qwen, qwen3 ও qwen3-asr — তিনটে নামই নেয়।
বদলাতে না চাইলে কিছুই বদলাতে হবে না: Parakeet V3 এখনও ডিফল্ট।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
Qwen3-ASR কি Whisper Large V3 Turbo-র চেয়ে বেশি নির্ভুল?
এটা ভাষার উপর নির্ভর করে, আর ভাগাভাগিটা প্রায় সমান। Mac-এর Whisper Notes-এর ভেতরে আমাদের নিজেদের FLEURS রানে, দুটো মডেলের সাধারণ 30টি ভাষার মধ্যে Qwen3-ASR 1.7B এগিয়ে ছিল 15টিতে আর Whisper Large V3 Turbo 15টিতে। Qwen স্পষ্ট এগিয়ে ছিল ক্যান্টনিজে (6.00% বনাম 37.97% CER), হিন্দিতে (13.67% বনাম 30.42% WER), থাই, ভিয়েতনামি ও ফরাসিতে। Turbo স্পষ্ট এগিয়ে ছিল ফিনিশে (6.54% বনাম 26.08% WER), হাঙ্গেরীয়, গ্রিক, চেক, সুইডিশ, ড্যানিশ, পোলিশ, রোমানীয়, ফিলিপিনো, তুর্কি ও ডাচে। ত্রিশটির মধ্যে চোদ্দোটি ব্যবধান এরর বারের ভেতরে পড়ে এবং সেগুলো সমতা হিসেবেই পড়া উচিত। আপনার ভাষা যদি Qwen-এর জেতা কলামে থাকে আর আপনি Whisper Notes-এর Mac Direct Download (DMG) বিল্ডে থাকেন, তবে Qwen3-ASR বেছে নিন; বাকি সব ক্ষেত্রে, এবং Qwen-এর 30টির বাইরের প্রতিটি ভাষার জন্য, Whisper Large V3 Turbo বেছে নিন, কারণ Whisper পুরো 101টি বিকল্পেই পৌঁছায়।
iPhone-এ বা Mac App Store থেকে কি Qwen3-ASR ব্যবহার করা যায়?
আজকের দিনে এটা আছে Whisper Notes-এর Mac Direct Download (DMG) বিল্ডে, ভার্সন 1.6.0 থেকে। Mac App Store ভার্সনে নতুন ইঞ্জিনগুলো পরের রিলিজে আসার পরিকল্পনা আছে, তবে তারিখ আমাদের কাছে নেই। ততদিন iPhone অ্যাপ আর Mac App Store বিল্ডে তিনটি ইঞ্জিন পরিবার আছে — Whisper, Parakeet V3 ও SenseVoice — আর Qwen যে ভাষাগুলো চেনে, সেখানে Whisper-ও সেগুলো কভার করে। মডেল হিসেবে গুনলে Mac App Store বিল্ড আজ চারটি দেয় আর Direct Download বিল্ড পাঁচটি, কারণ Whisper আসে Small এবং Large V3 Turbo — দুই রূপেই। iPhone-এ ক্যান্টনিজ দরকার হলে সেখানে SenseVoice ব্যবহার করুন।
চীনা, জাপানি ও কোরীয়ের জন্য Qwen3-ASR না SenseVoice?
নির্ভুলতায় দুটো কাছাকাছি, গতিতে অনেক দূরে। আমাদের FLEURS রানে Qwen3-ASR চীনায় পেয়েছে 5.69% CER, জাপানিতে 5.39% আর কোরীয়তে 3.51%; SenseVoice Small একই ক্লিপে পেয়েছে 7.06%, 6.85% ও 7.82%। ওই রানে SenseVoice চলেছে মিডিয়ান 161× রিয়েল-টাইমে, Qwen 8.7×-এ; ডাউনলোড 827 MB বনাম প্রায় 2.5 GB; আর SenseVoice পাওয়া যায় iPhone এবং দুটো Mac বিল্ডেই। SenseVoice বেছে নিন — যদি না আপনি ক্যান্টনিজ ট্রান্সক্রাইব করেন, যেখানে Qwen3-ASR পেয়েছে 6.00% CER আর SenseVoice 36.71%, আর ব্যবধানটা অপেক্ষার মূল্য দেওয়ার মতো বড়।
Qwen3-ASR 1.7B-র সিস্টেম রিকোয়ারমেন্ট কী?
macOS 15 বা তার পরের ভার্সন চলা একটা Apple silicon Mac, 16 GB মেমরি সুপারিশসহ, আর মডেলের জন্য প্রায় 2.5 GB ডিস্ক। এটা Mac-এর Whisper Notes-এর বাকি অংশের চেয়ে বেশি, যা macOS 14 ও তার পরে চলে। আমাদের বেঞ্চমার্ক রানে মডেলটা 2.43 GiB প্রসেস মেমরিতে পৌঁছেছে, পাঁচটি ইঞ্জিনের মধ্যে সবচেয়ে বেশি। 8 GB-র Mac-এ Whisper Small একই 101-ভাষার তালিকা কভার করে 600 MB-তে আর Parakeet V3 25টি ইউরোপীয় ভাষা কভার করে 465 MB-তে।
Qwen3-ASR ব্যবহার করলে অডিও কি আমার Mac ছেড়ে যায়?
না। আলিবাবা Qwen3-ASR-কে DashScope-এর Real-time ও FileTrans API দিয়ে ক্লাউড সার্ভিস হিসেবেও দেয়, যেখানে অডিও তাদের সার্ভারে আপলোড হয়। Whisper Notes সেগুলো ব্যবহার করে না। এটা ওপেন ওয়েটকে MLX 8-bit মডেল হিসেবে আপনার Mac-এর GPU-তে লোকালি চালায়, কোনো অ্যাকাউন্ট নেই, কোনো API key নেই, আর নেটওয়ার্ক বন্ধ থাকলেও ট্রান্সক্রিপশন চলে। অ্যাপের প্রতিটি ইঞ্জিন পরিবারের ক্ষেত্রেই, প্রতিটি চ্যানেলেই কথাটা সত্যি।
এই সংখ্যাগুলো আমার রেকর্ডিংয়ে পাওয়া নির্ভুলতার সঙ্গে মেলে না কেন?
কারণ FLEURS ছোট, পরিষ্কার, পড়ে শোনানো স্পিচ, আর আপনার রেকর্ডিং তা নয়। আমাদের রানটা একটা পাবলিক ডেটাসেটে করা ক্যালিব্রেশন: প্রতি ভাষায় প্রায় 75টি বাক্য, একটা M5 MacBook Air, প্রতিটি মডেলের জন্য একই ক্লিপ। কোনো মডেল কোনো ভাষার জন্য সম্ভাব্য কি না — এটা জিজ্ঞেস করতে কাজে লাগে, আর মিটিং, শব্দমাখা অডিও, অ্যাকসেন্টওয়ালা কথা বা দুই ঘণ্টার ফাইলে আপনি কত নির্ভুলতা পাবেন তার ভবিষ্যদ্বাণী এটা নয়।
ব্যবহার করে দেখুন
Qwen3-ASR 1.7B আছে Mac-এর Whisper Notes 1.6.0 ও তার পরের ভার্সনে, শুধু Direct Download (DMG)-এ। সেটিংস, তারপর ট্রান্সক্রিপশন মডেল। ফ্রি ট্রায়ালে 10,000 শব্দ পাওয়া যায় — নিজের ভাষাটা চালিয়ে দেখে উপরের টেবিলগুলোর সঙ্গে দ্বিমত করার জন্য যথেষ্ট।
এমন কোনো ভাষা পেলে যেখানে আমাদের সংখ্যা আপনার অভিজ্ঞতার সঙ্গে মেলে না, mac@whispernotes.app-এ লিখুন। পূর্ণ রিলিজ নোট: whispernotes.app/changelog।
উপরের সবকিছুর সূত্র: Google FLEURS টেস্ট স্প্লিটের রিভিশন 70bb2e84-এ আমাদের রান, Qwen3-ASR 1.7B মডেল কার্ড, এবং আমাদের ভাষা সমর্থন পেজে থাকা ইঞ্জিনভিত্তিক ভাষার টেবিল, যেটা অ্যাপের নিজের সোর্স থেকে তৈরি হয়।
macOS-এর জন্য ডাউনলোড করুন