Whisper Notes-এ শুধু Whisper নয়, মোট ছয়টি স্পিচ মডেল আছে, আর সবগুলোই অফলাইনে চলে:
- Parakeet (বিল্ট-ইন)
- Whisper Large V3 Turbo
- Whisper Small
- Qwen3-ASR 1.7B (Mac)
- SenseVoice Small
- Apple Speech (Mac, macOS 26 বা পরের ভার্সন)
কোনটা সবচেয়ে নির্ভুল, তা নির্ভর করে আপনি কোন ভাষায় কথা বলেন তার ওপর।
কোন মডেল সবচেয়ে নির্ভুল?
আমরা একই MacBook Air (M5)-এ প্রতিটি মডেল আলাদা করে পরীক্ষা করেছি। ফলাফল নিচে দেওয়া হলো (ত্রুটির হার, যত কম তত ভালো; প্রতিটি সারির সবচেয়ে কম মানটি সবুজ রঙে):
| ভাষা | Parakeet | Whisper Large V3 Turbo | Whisper Small | Qwen3-ASR 1.7B1 | SenseVoice Small | Apple Speech1 |
|---|---|---|---|---|---|---|
| ইংরেজি | 5.89% | 5.49% | 7.04% | 4.49% | 8.46% | 8.80% |
| জার্মান | 5.19% | 4.05% | 8.67% | 2.85% | — | 6.26% |
| ওলন্দাজ | 7.89% | 5.69% | 16.75% | 7.36% | — | — |
| জাপানি | — | 5.30% | 11.37% | 5.74% | 6.78% | 6.36% |
| পোলিশ | 6.59% | 5.45% | 15.81% | 12.59% | — | — |
| রুশ | 6.17% | 5.13% | 11.37% | 5.65% | — | — |
| ফরাসি | 5.19% | 5.97% | 13.24% | 4.57% | — | 7.61% |
| স্প্যানিশ | 3.95% | 3.62% | 6.22% | 3.38% | — | 5.41% |
| কোরিয়ান | — | 4.25% | 7.30% | 3.54% | 7.85% | 4.31% |
| ইউক্রেনীয় | 5.11% | 6.33% | 17.48% | — | — | — |
| চীনা | — | 7.97% | 20.50% | 6.49% | 7.69% | 7.97% |
| ক্যান্টনিজ | — | —2 | —2 | 6.44% | —2 | 8.69% |
| ইতালীয় | 2.62% | 2.58% | 7.64% | 2.58% | — | 4.39% |
| পর্তুগিজ | 5.81% | 5.44% | 8.61% | 5.17% | — | 9.35% |
| সুইডিশ | 13.30% | 8.78% | 21.66% | 19.80% | — | — |
| তুর্কি | — | 5.95% | 14.24% | 8.81% | — | — |
| চেক | 11.03% | 11.94% | 38.71% | 24.59% | — | — |
| নরওয়েজীয় | — | 8.99% | 24.50% | — | — | — |
| ফিনিশ | 10.44% | 7.11% | 25.91% | 27.71% | — | — |
| আরবি | — | 15.72% | 32.81% | 14.32% | — | — |
| স্লোভাক | 8.79% | 9.59% | 32.43% | — | — | — |
| ডেনিশ | 15.92% | 13.63% | 34.14% | 22.24% | — | — |
| হিন্দি | — | 29.64% | 61.26% | 13.19% | — | —3 |
| থাই | — | 13.40% | 23.52% | 6.53% | — | — |
| ইন্দোনেশীয় | — | 6.31% | 16.31% | 4.91% | — | — |
| হাঙ্গেরীয় | 13.74% | 14.59% | 40.65% | 36.63% | — | — |
| ভিয়েতনামী | — | 8.10% | 18.12% | 4.91% | — | — |
| মালয় | — | 9.22% | 19.72% | 10.62% | — | — |
| গ্রিক | 34.00% | 13.94% | 31.64% | 30.22% | — | — |
| রোমানীয় | 9.68% | 8.36% | 29.45% | 20.20% | — | — |
| ফিলিপিনো | — | 9.72% | 25.60% | 23.31% | — | — |
| বুলগেরীয় | 12.44% | 14.54% | 39.68% | — | — | — |
| স্লোভেনীয় | 20.32% | 19.15% | 48.54% | — | — | — |
| এস্তোনীয় | 15.56% | 19.08% | 50.84% | — | — | — |
| ক্রোয়েশীয় | 12.49% | 11.49% | 33.76% | — | — | — |
| লিথুয়ানীয় | 17.97% | 23.28% | 67.23% | — | — | — |
| মাল্টিজ | 19.38% | 74.35% | 95.68% | — | — | — |
| আইসল্যান্ডীয় | — | 19.75% | 73.96% | — | — | — |
| কাতালান | — | 5.80% | 15.51% | — | — | — |
| গ্যালিশীয় | — | 12.23% | 31.09% | — | — | — |
| ম্যাসেডোনীয় | — | 17.46% | 37.11% | 18.57% | — | — |
| বসনীয় | — | 14.85% | 39.60% | — | — | — |
চীনা, জাপানি, কোরিয়ান, ক্যান্টনিজ ও থাইয়ে অক্ষর ত্রুটির হার (CER), বাকি সব ভাষায় শব্দ ত্রুটির হার (WER)। যে ভাষা টেবিলে নেই, তার জন্য দেখুন সমর্থিত ভাষা।
1 শুধু Mac-এ। আপাতত আমাদের ওয়েবসাইটের Mac অ্যাপে আছে; Mac App Store ভার্সনে আনার কাজ চলছে। 2 SenseVoice Small আর Whisper-এর ক্যান্টনিজ স্কোর আমরা এখনো দেখাচ্ছি না, কারণ এই পরীক্ষায় এদের স্কোর ঠিকভাবে মাপা হচ্ছে কি না, তা এখনো নিশ্চিত হইনি। 3 Apple Speech হিন্দির পুরোটাই ইংরেজি হরফে লিখেছে, তাই এর ত্রুটির হার মাপা যায়নি।
কোনটা সবচেয়ে দ্রুত? এক ঘণ্টার অডিওতে কত সময় লাগে?
| মডেল | গতি (× রিয়েল-টাইম) | এক ঘণ্টার অডিওতে লাগে | ডাউনলোড | মেমরি |
|---|---|---|---|---|
| SenseVoice Small | 115–131× | প্রায় 30 সেকেন্ড | প্রায় 450 MB | প্রায় 700 MB |
| Parakeet | 75.8× | প্রায় 50 সেকেন্ড | বিল্ট-ইন (প্রায় 630 MB) | প্রায় 800 MB |
| Apple Speech | 19.7× | প্রায় 3 মিনিট | macOS নিজেই সামলায় | — |
| Qwen3-ASR 1.7B | 7.6× | প্রায় 8 মিনিট | প্রায় 2.5 GB | প্রায় 2.6 GB |
| Whisper Small | 6.5× | প্রায় 9 মিনিট | প্রায় 400 MB | প্রায় 1 GB |
| Whisper Large V3 Turbo | 2.7× | প্রায় 22 মিনিট | প্রায় 2 GB | প্রায় 2.4 GB |
গতি, ডাউনলোড আর মেমরির সংখ্যাগুলো Mac অ্যাপে প্রতিটি মডেলের কার্ডে যেমন লেখা আছে, তেমনই দেওয়া হয়েছে। গতিতে শুধু মডেলের প্রসেসিং সময় ধরা হয়েছে; এক ঘণ্টার অডিওর সময়গুলো সেই গতি থেকেই হিসাব করা।
সবচেয়ে নির্ভুল মডেলগুলোই প্রায়ই সবচেয়ে ধীর; রেকর্ডিং যত লম্বা, অপেক্ষাও তত বেশি।
iPhone আর Mac-এ কোন কোন মডেল পাওয়া যায়?
| মডেল | iPhone | Mac |
|---|---|---|
| Parakeet | হ্যাঁ, বিল্ট-ইন | হ্যাঁ, বিল্ট-ইন |
| Whisper Large V3 Turbo | না | হ্যাঁ |
| Whisper Small | হ্যাঁ | হ্যাঁ |
| Qwen3-ASR 1.7B | না | হ্যাঁ (Beta)1 |
| SenseVoice Small | হ্যাঁ | হ্যাঁ |
| Apple Speech | না | হ্যাঁ (macOS 26 বা পরের ভার্সন)1 |
সবুজ মানে পাওয়া যায়, অ্যাম্বার মানে পাওয়া যায় না। 1 আপাতত আমাদের ওয়েবসাইটের Mac অ্যাপে আছে; Mac App Store ভার্সনে আনার কাজ চলছে।
iPhone-এও আমরা আরও মডেল আনতে চাই। সবচেয়ে বেশি অনুরোধ আসে Whisper Large V3-এর জন্য, কিন্তু পুরো মডেলই হোক বা ছোট করা ভার্সন, এটি চলে শুধু একেবারে নতুন কয়েকটা iPhone-এ; বেশিরভাগ ফোনে চলে না। Qwen3-ASR 1.7B-এর বেলাতেও একই কথা। নতুন মডেল আর আমাদের এখনকার মডেলগুলোর ছোট ভার্সন আমরা নিয়মিত পরীক্ষা করে দেখছি। সম্প্রতি আমরা ডিফল্ট মডেল Parakeet V3-এর জায়গায় Parakeet Ultra এনেছি; 25টি ভাষায় এটি V3-এর চেয়ে প্রায় 24% কম ভুল করে। বিস্তারিত পড়ুন Parakeet Ultra vs Parakeet V3-এ।
মডেল কীভাবে বদলাবেন?
Mac-এ Settings (সেটিংস) খুলে Transcription Model (ট্রান্সক্রিপশন মডেল) অংশে কোনো মডেলের কার্ডে ক্লিক করলেই সেটি ডাউনলোড হবে বা চালু হয়ে যাবে; প্রতিটি কার্ডের Supported Languages (সমর্থিত ভাষা) লিংকে গেলে প্রতিটি ভাষায় সেই মডেলের ত্রুটির হার দেখা যায়।
Mac অ্যাপে Settings → Transcription Model
আমরা কীভাবে পরীক্ষা করেছি?
পরীক্ষায় আমরা ব্যবহার করেছি FLEURS-এর জোরে পড়া বাক্য: 83টি ভাষা-সেটে মোট 12,090টি বাক্য; সব মডেল চালানো হয়েছে একই MacBook Air (M5)-এ। Whisper-এর যে ফল আমরা পেয়েছি, তা OpenAI-এর প্রকাশিত সংখ্যার খুব কাছাকাছি। এই বাক্যগুলো শান্ত পরিবেশে স্পষ্ট করে পড়া; মিটিং বা শোরগোলের মধ্যে করা রেকর্ডিংয়ে ত্রুটির হার বেশি হবে।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
সবচেয়ে ভালো Whisper মডেল কোনটা?
Whisper Large V3 Turbo। টেবিলের প্রতিটি ভাষায় এটি Whisper Small-এর চেয়ে বেশি নির্ভুল, যেমন ইংরেজিতে 5.49% বনাম 7.04%; তবে এটি অনেক ধীর, আর iPhone অ্যাপে আছে শুধু Whisper Small।
জাপানি ভাষার জন্য সবচেয়ে ভালো মডেল কোনটা?
Whisper Large V3 Turbo, অক্ষর ত্রুটির হার 5.30%; এরপর Qwen3-ASR 1.7B, 5.74%। iPhone-এ SenseVoice Small ব্যবহার করুন (6.78%)।
ম্যান্ডারিন চীনার জন্য সবচেয়ে ভালো মডেল কোনটা?
Mac-এ Qwen3-ASR 1.7B, অক্ষর ত্রুটির হার 6.49%। এরপর SenseVoice Small, 7.69%; এটি iPhone-এও চলে।
কোন Parakeet মডেল সবচেয়ে ভালো?
Parakeet Ultra। 25টি ভাষায় এটি Parakeet V3-এর চেয়ে প্রায় 24% কম ভুল করে (10.63% বনাম 13.99%), আর এটি iPhone অ্যাপে (1.8.9 ও পরের ভার্সন) এবং আমাদের ওয়েবসাইটের Mac অ্যাপে (1.6.4 ও পরের ভার্সন) বিল্ট-ইন আছে।
বিস্তারিত বেঞ্চমার্ক