Apple SpeechAnalyzer vs Whisper: Apple-এর নতুন স্পিচ রিকগনিশন কতটা ভালো?

আপনার আগে থেকেই থাকা ডিকটেশনের চেয়ে এটি কতটা ভালো?

এত দিন Mac-এর স্পিচ রিকগনিশনে SFSpeechRecognizer যুগের ইঞ্জিন ব্যবহৃত হয়েছে, যেটি সিস্টেম ডিকটেশন এখনো ব্যবহার করে (DictationTranscriber)। macOS 26 ও iOS 26-এ যোগ হয়েছে SpeechAnalyzer API এবং এর SpeechTranscriber মডিউল। একই Mac-এ FLEURS টেস্ট স্প্লিটের প্রতি ভাষায় প্রায় 150টি বাক্য ও 30 মিনিট দিয়ে আমরা দুটিই চালিয়েছি।

Apple-এর দুটি ইঞ্জিনে সঠিকভাবে মাপা সব ভাষা, Apple Speech-এর ত্রুটির হার অনুযায়ী সাজানো; সবুজ রং সারির ভালো মানটি দেখায়। একই রান, একই ক্লিপ, একই Mac। জাপানি, কোরীয়, চীনা ও ক্যান্টনিজের জন্য CER, বাকিগুলোর জন্য WER।

দুটি ইঞ্জিনেই সঠিকভাবে মাপা দশটি ভাষার প্রতিটিতে Apple Speech বেশি নির্ভুল। ফরাসি ও জার্মানে এটি অর্ধেকেরও বেশি ত্রুটি কমিয়েছে, মাঝের ভাষায় প্রায় এক-তৃতীয়াংশ এবং ব্রাজিলীয় পর্তুগিজ ও ক্যান্টনিজে প্রায় প্রতি সাতটি ত্রুটির একটি কমিয়েছে।

ডিকটেশন এখনো বেশি ভাষায় পৌঁছায়। এই রানে Apple Speech 83টি ভাষা কনফিগারেশনের 21টিতে ফল দিয়েছে, আর ডিকটেশন 33টিতে; এর মধ্যে নতুন ইঞ্জিনে না থাকা ডাচ, পোলিশ ও রুশ ভাষার ফল যথাক্রমে 17.34, 13.50 ও 13.13। উদ্ধৃত করার মতো কোনো স্থায়ী তালিকাও নেই। ভাষার অ্যাসেট macOS-এর, তাই কোনো মেশিনে কী আছে তা অ্যাপ রানটাইমে জেনে নেয়।

তাহলে কি আপনি ডাউনলোড করা মডেলগুলো বাদ দিতে পারেন?

ছয়টি ইঞ্জিন, একই ক্লিপ, একটি Mac। নিচের দশটি ভাষা সবচেয়ে বেশি ব্যবহৃত ভাষাগুলোর মধ্যে পড়ে; তাদের নির্ধারিত ক্রমের সঙ্গে স্কোরের কোনো সম্পর্ক নেই।

সবচেয়ে বেশি ব্যবহৃত ভাষাগুলোর মধ্যে দশটি, প্রতি কলামে একটি ইঞ্জিন। প্রতিটি সেলে সেই ইঞ্জিনের ত্রুটির হার; কম মান ভালো। সবুজ সারির সর্বনিম্ন এবং সাদা দ্বিতীয় সর্বনিম্ন মান দেখায়। জাপানি, কোরীয় ও চীনার জন্য CER, বাকিগুলোর জন্য WER; কখনো এক সংখ্যায় মেশানো হয়নি। Whisper Notes দলের নিজেদের চালানো FLEURS রান, একটি M5 MacBook Air এবং পড়ে শোনানো স্পিচ।

সংক্ষিপ্ত নাম: Qwen3-ASR = Qwen3-ASR 1.7B, Whisper Large = Whisper Large V3 Turbo, Parakeet = Parakeet V3, SenseVoice = SenseVoice Small। ড্যাশ মানে ওই ভাষার জন্য ইঞ্জিনটির কোনো মডেল নেই।

দশটি ভাষার ছয়টিতে Qwen3-ASR 1.7B-এর ত্রুটির হার সর্বনিম্ন, বাকি চারটিতে Whisper Large V3 Turbo-এর; Apple Speech কোনো সারিতেই প্রথম নয়। সারির সেরা ফলের সবচেয়ে কাছে এটি কোরীয়তে, 0.77 পয়েন্ট পিছিয়ে; এরপর জাপানিতে 1.06 ও চীনায় 1.48 পয়েন্ট পিছিয়ে। চীনায় 7.97 নিয়ে এটি Whisper Large V3 Turbo-এর সমান। সবচেয়ে বড় ব্যবধান ইংরেজিতে, 8.80 (Apple Speech) বনাম 4.49 (Qwen3-ASR 1.7B); ডাচ, পোলিশ ও রুশের জন্য Apple Speech-এর কোনো ফল নেই।

Whisper Small-এর তুলনায়, দুটিতে সঠিকভাবে মাপা দশটি ভাষার আটটিতে Apple Speech বেশি নির্ভুল। এটি ইংরেজিতে 8.80 (Apple Speech) বনাম 7.04 (Whisper Small) এবং ব্রাজিলীয় পর্তুগিজে 9.35 বনাম 8.61 নিয়ে পিছিয়ে।

জুলাইয়ে প্রকাশিত একটি বেঞ্চমার্ক ইংরেজিতে Apple Speech-কে Whisper Small-এর সঙ্গে তুলনা করে Apple-কে এগিয়ে পেয়েছিল। তুলনায় Whisper-এর কোন সংস্করণ ও কোন ক্লিপ আছে, দুটিই গুরুত্বপূর্ণ। সেই রানে ছিল LibriSpeech, যেখানে অডিওবুকের বর্ণনাকারীরা পড়েন; আমাদের রানে FLEURS, যেখানে অনেক ভিন্ন বক্তা উইকিপিডিয়ার বাক্য পড়েন। আমাদের রান ইংরেজিতে ব্যবধানটি দেখায়, তবে তার কারণ বলতে পারে না।

Whisper Large V3 Turbo-এর তুলনায় ক্রমটি উল্টে যায়। দশটি ভাষার আটটিতে Apple Speech পিছিয়ে, চীনায় 7.97 নিয়ে সমান এবং শুধু ক্যান্টনিজে এগিয়ে, 8.69 (Apple Speech) বনাম 36.75 (Whisper Large V3 Turbo) — নিচের ক্যান্টনিজ সারি দেখুন। Turbo-এর জন্য OpenAI-এর রিলিজ নোটে ক্যান্টনিজকে মডেলটির সবচেয়ে বেশি অবনতি হওয়া ভাষাগুলোর একটি বলা হয়েছে; তাই 36.75 আমাদের রানের অস্বাভাবিক ফল নয়, Whisper-এর পরিচিত দুর্বলতা।

কোরীয় ভাষায় Apple Speech প্রায় প্রতি 23টি অক্ষরে একটি ভুল করে। এই রানের সবচেয়ে নির্ভুল মডেল Qwen3-ASR 1.7B প্রায় প্রতি 28টিতে একটি ভুল করে; তাদের হার যথাক্রমে 4.31 (Apple Speech) ও 3.54 (Qwen3-ASR 1.7B)।

Parakeet V3-এর ডাউনলোড 465 MB এবং দুটির সমর্থিত প্রতিটি ইউরোপীয় ভাষায় এটি বেশি নির্ভুল: ইংরেজিতে 6.89 (Parakeet V3) বনাম 8.80 (Apple Speech), ফরাসিতে 5.83 বনাম 7.61, স্প্যানিশে 4.86 বনাম 5.41, ইতালীয়তে 3.43 বনাম 4.39 এবং ব্রাজিলীয় পর্তুগিজে 6.49 বনাম 9.35; জার্মানে দুটিই 6.26। এতে জাপানি, কোরীয়, চীনা বা ক্যান্টনিজ নেই; এসব ভাষায় দুটির মধ্যে শুধু Apple Speech পাওয়া যায়।

Qwen3-ASR 1.7B যে ছয়টি সারিতে এগিয়ে, তার মধ্যে ইংরেজি, জার্মান, ফরাসি ও স্প্যানিশ আছে।

SenseVoice Small এখানে 162.3× রিয়েল-টাইম গতির দ্রুততম ইঞ্জিন। চীনা ও ইংরেজিতে এটি Apple Speech-এর সমান: ফল যথাক্রমে 7.69 (SenseVoice Small) বনাম 7.97 (Apple Speech) এবং 8.46 বনাম 8.80। কোরীয়তে এটি অনেক পিছিয়ে, 7.85 (SenseVoice Small) বনাম 4.31 (Apple Speech)।

আকার ও গতি

এই পোস্ট যে তেরোটি ভাষা পরিষ্কারভাবে মাপে সেগুলোর মধ্যে প্রতিটি ইঞ্জিনের মধ্যম মানই গতি, শুধু যেগুলোতে সেটি চলেছে সেগুলো গণনা করে — এটি আলাদা আইটেম প্রক্রিয়াকরণের থ্রুপুট, একটি ডায়াগনস্টিক, পণ্যের লেটেন্সি নয়। সর্বোচ্চ মেমরি এই রানে প্রসেস-গ্রুপের সর্বোচ্চ মান। Apple Speech এমন macOS সার্ভিসে ডিকোড করে যার মালিক কল করা অ্যাপ নয়, তাই সেখানকার কোনো সংখ্যা অন্য পাঁচটির মতো একই অর্থ দেবে না।

Apple Speech 30.8× রিয়েল-টাইমে চলেছে, Parakeet V3-এর 75.6× ও SenseVoice Small-এর 162.3× থেকে পিছিয়ে। এর ভাষার প্যাক macOS একবার ডাউনলোড করে এবং প্রতিটি অ্যাপ সেটি ভাগ করে নেয়, তাই অ্যাপের নিজস্ব প্রসেসে তার জন্য কিছু বরাদ্দ হয় না। ডিকোড করা সার্ভিসটি তবু মেমরি ব্যবহার করে, কিন্তু সেটি আমরা নির্ভরযোগ্যভাবে কোনো একটির নামে দিতে পারি না; তাই শূন্য লেখার বদলে কোনো সংখ্যা দিইনি।

Whisper Large V3 Turbo এখানে 3.0× রিয়েল-টাইম গতির সবচেয়ে ধীর ইঞ্জিন, আর দশটির চারটি সারিতে এর ত্রুটির হার সর্বনিম্ন; ডিস্কে এটি প্রায় 1.6 GB নেয়। বাকি ছয়টিতে Qwen3-ASR 1.7B এগিয়ে, ডিস্কে প্রায় 2.5 GB ও পিক 2.43 GiB। 600 MB-এর Whisper Small বিল্ট-ইন ইঞ্জিনটির সঙ্গে যুক্তিসঙ্গত তুলনা।

কোন ভাষার জন্য Apple Speech ভালো?

ভাষা অনুযায়ী:

• ইংরেজি: ভালো বিকল্প নয়। Apple Speech-এর স্কোর 8.80; Qwen3-ASR 1.7B (4.49) বা Whisper Large V3 Turbo (5.49) স্পষ্টতই বেশি নির্ভুল।
• জার্মান: ভালো বিকল্প নয়। Apple Speech-এর স্কোর 6.26; Qwen3-ASR 1.7B (2.85) বা Whisper Large V3 Turbo (4.05) স্পষ্টতই বেশি নির্ভুল।
• ডাচ, রুশ ও পোলিশ: এই তিন ভাষায় Apple Speech-এর কোনো মডেল নেই। Whisper Large V3 Turbo যথাক্রমে 5.69, 5.13 ও 5.45 নিয়ে প্রতিটিতে সবচেয়ে নির্ভুল ছিল।
• জাপানি: ব্যবহারযোগ্য। Apple Speech-এর স্কোর 6.36, যা Whisper Large V3 Turbo-এর 5.30-এর পেছনে।
• কোরীয়: ব্যবহারযোগ্য। Apple Speech-এর স্কোর 4.31, যা Qwen3-ASR 1.7B-এর 3.54-এর পেছনে।
• ফরাসি: ভালো বিকল্প নয়। Apple Speech-এর স্কোর 7.61; Qwen3-ASR 1.7B (4.57) বা Parakeet V3 (5.83) স্পষ্টতই বেশি নির্ভুল।
• চীনা: ব্যবহারযোগ্য। Apple Speech-এর স্কোর 7.97, যা Whisper Large V3 Turbo-এর সমান; সবচেয়ে নির্ভুল ছিল Qwen3-ASR 1.7B 6.49 স্কোর নিয়ে।
• স্প্যানিশ: ভালো বিকল্প নয়। Apple Speech-এর স্কোর 5.41; Qwen3-ASR 1.7B (3.38) বা Whisper Large V3 Turbo (3.62) স্পষ্টতই বেশি নির্ভুল।

নির্ভুলতায় ডাউনলোড করা মডেলগুলো এখনো জেতে: মূল টেবিলের প্রতিটি সারিতে Qwen3-ASR 1.7B অথবা Whisper Large V3 Turbo এগিয়ে। কোরীয়, জাপানি ও চীনা ভাষায় Apple Speech বাস্তবসম্মত বিকল্প; ইউরোপীয় ভাষাগুলোর জন্য Parakeet V3 ভালো পছন্দ।

Mac-এর জন্য Whisper Notes-এ Parakeet V3 এখনও ডিফল্ট। আমাদের ওয়েবসাইট থেকে ডাউনলোড করা Mac অ্যাপে macOS 26 বা পরের সংস্করণে Apple Speech একটি ঐচ্ছিক মডেল হিসেবে পাওয়া যায়, আর অ্যাপ কোনো ভাষা তখনই দেয় যখন macOS জানায় যে আপনার Mac-এ সেটি সমর্থিত।

Apple Speech এই পোস্টে Apple-এর তৈরি SpeechTranscriber-এর সংক্ষিপ্ত নাম, ডিভাইসে চলা API-টি যেকোনো Mac অ্যাপ macOS 26 বা পরের সংস্করণে কল করতে পারে। এটি আপনার ডাউনলোড করা মডেল নয়, সিস্টেমের ইঞ্জিন: Mac-এর জন্য Whisper Notes আমাদের ওয়েবসাইট থেকে ডাউনলোড করা সংস্করণে macOS-এর দেওয়া ভাষা প্যাক নিয়ে এটি ব্যবহার করতে পারে। অ্যাপ নিজে যে মডেলগুলো ডাউনলোড করে সেগুলো এখনও ওই সংস্করণে Whisper, Parakeet V3, SenseVoice ও Qwen3-ASR, আর iPhone ও Mac App Store সংস্করণে Whisper, Parakeet V3 ও SenseVoice। প্রতি ইঞ্জিনের টেবিলটা হলো আমাদের Whisper, Parakeet V3 ও SenseVoice যেসব ভাষা সাপোর্ট করে তার তালিকা।

দশটি ভাষার বাইরে

একই রানের আরও চারটি ভাষা। কলাম, রং ও সংক্ষিপ্ত নাম ওপরের মতোই; ক্যান্টনিজের জন্য CER এবং বাকিগুলোর জন্য WER।

নিচে ব্যাখ্যা করা কারণে Apple Speech-এর হিন্দি ফলটি ওই সারির র‌্যাঙ্কিং থেকে বাদ রাখা হয়েছে। যোগ করা অংশও লবের মধ্যে গণনা হয় বলে ত্রুটির হার 100% ছাড়াতে পারে।

ইতালীয়তে 4.39 (Apple Speech), Qwen3-ASR 1.7B ও Whisper Large V3 Turbo-এর 2.58-এর সমান সেরা ফলের পিছনে। ক্যান্টনিজ একমাত্র ভাষা যেখানে Apple Speech, Whisper Large V3 Turbo-কে হারিয়েছে, 8.69 (Apple Speech) বনাম 36.75 (Whisper Large V3 Turbo); Qwen3-ASR 1.7B 6.44 নিয়ে প্রথম। ব্রাজিলীয় পর্তুগিজে 9.35 (Apple Speech) সেই দুই সারির একটি যেখানে Whisper Small-এর 8.61 এগিয়ে।

হিন্দির ফলটি অন্য রকম। Apple Speech হিন্দিকে হিন্দির নিজস্ব লিপিতে না লিখে ইংরেজি অক্ষরে লিখেছে, তাই প্রায় প্রতিটি শব্দ ভুল হিসেবে গণনা হয়েছে এবং হার 100% ছাড়িয়েছে। তেলুগু, উর্দু, পাঞ্জাবি, বাংলা, নেপালি, মালয়ালম, মারাঠি, কন্নড়, গুজরাটি ও তামিলের ফলও একই রকম, সবই 100%-এর বেশি; তাই সেগুলো টেবিল থেকে বাদ দেওয়া হয়েছে।

SpeechAnalyzer কীভাবে কাজ করে

SpeechAnalyzer, iOS 10 থেকে Apple-এর থাকা স্পিচ রিকগনিশন API-টির জায়গা নেয় এবং watchOS ছাড়া প্রতিটি Apple প্ল্যাটফর্মে পাওয়া যায়। একটি অ্যাপ SpeechAnalyzer তৈরি করে, তাতে মডিউল যোগ করে এবং নিজের পূরণ করা অ্যাসিঙ্ক্রোনাস সিকোয়েন্সে অডিও পাঠায়; SpeechTranscriber হলো স্পিচকে টেক্সটে বদলানো মডিউল। ফল সাধারণত অন্য টাস্কে দ্বিতীয় একটি সিকোয়েন্স হিসেবে ফেরে, আর প্রতিটি বাফার ও ফল অডিওর নিজস্ব টাইমলাইনে টাইমকোড করা থাকে।

একটি সেশন, তিনটি টাস্ক: অডিও AsyncSequence হিসেবে যায়, SpeechAnalyzer ও SpeechTranscriber সেটি বিশ্লেষণ করে এবং ইন্টারফেসের পড়ার জন্য ফল দ্বিতীয় AsyncSequence হিসেবে ফেরে। উৎস: Apple, WWDC25 সেশন 277।

ফল দুইবার আসে। Apple যাকে volatile range বলে তার ভেতরের যেকোনো কিছু আরও ভালো ফল দিয়ে বদলানো যেতে পারে; বাইরের সবকিছু চূড়ান্ত। এভাবেই অ্যাপ আপনি কথা বলার সময় প্রাথমিক ট্রান্সক্রিপ্ট দেখায় এবং পরে তা সংশোধন করে। SpeechTranscriber মডেলের জন্য Apple পাঁচটি ডিজাইন লক্ষ্য জানায়: দীর্ঘ অডিও, কথোপকথনের স্পিচ, দূরের বক্তা, কম বিলম্ব এবং গোপনীয়তা, অর্থাৎ এটি ডিভাইসে চলে। Notes, Voice Memos, Journal ও কল সারাংশ এর ওপর তৈরি।

SpeechTranscriber মডেলের জন্য Apple-এর ঘোষিত পাঁচটি ডিজাইন লক্ষ্য। উৎস: Apple, WWDC25 সেশন 277।

মডেলগুলো কোনো অ্যাপের অংশ নয়। AssetInventory-এর মাধ্যমে Apple-এর সার্ভার থেকে এগুলো ডাউনলোড হয়, সিস্টেম সংরক্ষণ ও আপডেট করে এবং অ্যাপগুলো ভাগ করে নেয়। এগুলো অ্যাপের ডাউনলোড আকারে কিছু যোগ করে না, আর ডিকোডিং কল করা প্রসেসের বাইরে হয়। কোনো ভাষা বা ডিভাইসের জন্য SpeechTranscriber মডেল না থাকলে DictationTranscriber সিস্টেম ডিকটেশনের মডেল দিয়ে কাজটি নেয়।

পদ্ধতি ও সীমাবদ্ধতা

এই টেবিলের ছয়টি ইঞ্জিনের পাঁচটি এমন মডেল যা Whisper Notes ডাউনলোড করে। প্রতিটি ইঞ্জিন একটি M5 MacBook Air-এ (32 GB, macOS 27.0) একই ক্লিপ একই ক্রমে, একবারে একটি করে ট্রান্সক্রাইব করেছে। অডিওটি Google FLEURS-এর রিভিশন 70bb2e84-এর টেস্ট স্প্লিট, প্রতি ভাষায় প্রায় 150টি বাক্য ও 30 মিনিট। ডেটাসেটের নিজস্ব আইটেম ID-এর স্থির হ্যাশ আইটেমগুলোকে ক্রমে রাখে এবং আমরা সম্পূর্ণ আইটেমের সবচেয়ে ছোট রান নিই যা ত্রিশ মিনিট ছাড়ায়; এই বাছাইয়ে কোনো মডেল আউটপুটের ভূমিকা ছিল না। প্রতিটি সেল তার নিজস্ব রেকর্ড থেকে আবার তৈরি ও পরীক্ষা করা হয়েছে, এবং সব 285টি পাস করেছে। যেসব ভাষায় শব্দ স্পেস দিয়ে আলাদা, সেখানে WER; জাপানি, কোরীয়, চীনা ও ক্যান্টনিজের জন্য CER। এগুলোকে কখনো একটি সংখ্যায় মেশানো হয়নি।

Whisper-এর কলাম OpenAI-এর নিজস্ব সংখ্যার সঙ্গে যাচাই করা যায়। যে বারোটি ভাষার জন্য OpenAI Whisper Large V3 Turbo-এর FLEURS ফল প্রকাশ করেছে, সেখানে আমাদের সংখ্যা গড়ে 0.7 পয়েন্টের মধ্যে এবং বারোটির দশটি এই রানের 95% ব্যবধানের মধ্যে পড়ে; ভারতীয় ভাষার সারিগুলোর বাইরে এগারোটি ভাষায় Whisper Small-এর আমাদের সংখ্যা Whisper গবেষণাপত্রের প্রতি ভাষার টেবিলের গড়ে 1.0 পয়েন্টের মধ্যে। Apple Speech-এর কলাম একই ক্লিপ, একই স্কোরার ও একই নরমালাইজার দিয়ে তৈরি।

FLEURS পরিষ্কার, পড়ে শোনানো স্পিচ। এই রান বলে না যে কোলাহলপূর্ণ ঘর বা দুই ঘণ্টার মিটিংয়ে ইঞ্জিনগুলো কেমন করবে, আর সেখানে তাদের ব্যবধান কত হবে তা আমরা মাপিনি। সবকিছু একই মেশিনে চলেছে। প্রতি ভাষায় প্রায় 150টি বাক্যে, প্রায় এক পয়েন্টের কম ব্যবধানের দুটি ইঞ্জিনকে সমান ধরা হয়; টেবিল আগে থেকেই নির্ভুল সমতা এভাবেই দেখায়, যেমন ইতালীয়তে Qwen3-ASR 1.7B ও Whisper Large V3 Turbo দুটির স্কোরই 2.58।

সাধারণ জিজ্ঞাসা

চেষ্টা করে দেখুন

এখানকার ডাউনলোডযোগ্য পাঁচটি মডেল — Whisper Small, Whisper Large V3 Turbo, Parakeet V3, SenseVoice Small ও Qwen3-ASR 1.7B — সবই আমাদের ওয়েবসাইট থেকে ডাউনলোড করা Whisper Notes Mac অ্যাপে সেটিংস, তারপর ট্রান্সক্রিপশন মডেল-এর অধীনে আছে। macOS 26 বা পরের সংস্করণে Apple Speech-ও একই তালিকায় থাকে; অ্যাপটি আগে থেকেই থাকলে সর্বশেষ সংস্করণে আপডেট করে নিন।

আমাদের সংখ্যা কোনো ভাষায় আপনার অভিজ্ঞতার সঙ্গে না মিললে ইমেল করুন mac@whispernotes.app। সম্পূর্ণ রিলিজ নোট: whispernotes.app/changelog।

উৎস: Google FLEURS-এর রিভিশন 70bb2e84-এর টেস্ট স্প্লিটে আমাদের রান, Apple-এর SpeechAnalyzer নথি এবং আগের ত্রিশ-ভাষার Qwen3-ASR রান।

macOS-এর জন্য ডাউনলোড করুন