Whisper আর্কিটেকচার ডায়াগ্রাম: Transformer এনকোডার অডিও স্পেকট্রোগ্রাম পড়ে, ডিকোডার লেখা তৈরি করে

Whisper ট্রান্সক্রিপশন গাইড ২০২৬: নির্ভুলতা, মডেল সাইজ ও অফলাইন ব্যবহার

২ জুলাই, ২০২৬(আপডেট: ৩১ অক্টোবর, ২০২৬)
·
পড়তে 9 মিনিট
·Whisper Notes Team

Whisper ট্রান্সক্রিপশন মানে OpenAI-এর Whisper দিয়ে কথাকে টেক্সটে রূপান্তর করা — এটি একটি ওপেন-সোর্স AI মডেল, যা ক্লাউডে, সার্ভারে, কিংবা সম্পূর্ণভাবে আপনার নিজের ডিভাইসে চালানো যায়। এই গাইডে থাকছে Whisper কীভাবে কাজ করে, কোন মডেল সাইজ বেছে নেবেন, এর প্রকৃত নির্ভুলতা কতটা, আর Mac বা iPhone-এ অফলাইনে চালানোর দ্রুততম উপায়।

Whisper আসলে কী?

Whisper একটি অটোমেটিক স্পিচ রিকগনিশন (ASR) মডেল, যা OpenAI ২০২২ সালের সেপ্টেম্বরে MIT লাইসেন্সে প্রকাশ করে। এটি একটি encoder-decoder ট্রান্সফরমার, ৬,৮০,০০০ ঘণ্টারও বেশি বহুভাষিক অডিওতে প্রশিক্ষিত, এবং প্রায় ১০০টি ভাষায় ট্রান্সক্রিপশনের পাশাপাশি ইংরেজিতে অনুবাদও করতে পারে।

আপনার জন্য সবচেয়ে গুরুত্বপূর্ণ অংশটি হলো: মডেলের ওয়েটগুলো উন্মুক্ত। Google বা Amazon-এর স্পিচ API-এর মতো নয় — Whisper-কে অন্য কারও সার্ভারে চলতে হয় না। এটি লোকালভাবে চালানোর জন্য একটি সম্পূর্ণ ইকোসিস্টেম রয়েছে — whisper.cpp, faster-whisper, আর Whisper Notes-এর মতো নেটিভ অ্যাপ। এ কারণেই সত্যিকারের অফলাইন, ব্যক্তিগত ট্রান্সক্রিপশন সম্ভব হয়।

কোড না লিখে কি Whisper চালানো যায়? হ্যাঁ: GUI অ্যাপ Whisper মডেল ডাউনলোড করে আপনার হয়ে লোকালি চালায় — রেকর্ডিং ইমপোর্ট করলেই ট্রান্সক্রিপ্ট পাবেন, Python, টার্মিনাল বা API key ছাড়াই। Mac ও iPhone-এ Whisper Notes এটা করে, Mac-এ MacWhisper, আর Windows, Mac ও Linux-এ Buzz (বিনামূল্যে ও ওপেন সোর্স)।

Whisper মডেলের সাইজ: কোনটি ব্যবহার করবেন

Whisper ছয়টি প্রধান সাইজে আসে। যত বড়, তত নির্ভুল — আর তত ধীর:

মডেল প্যারামিটার গতি যার জন্য সেরা
tiny 39M দ্রুততম দ্রুত খসড়া, দুর্বল হার্ডওয়্যার
base 74M খুব দ্রুত সহজ, পরিষ্কার অডিও
small 244M দ্রুত মোবাইলে গতি/নির্ভুলতার ভালো ভারসাম্য
medium 769M মাঝারি আজকাল খুব কমই সঠিক পছন্দ
large-v3 1.55B সবচেয়ে ধীর সর্বোচ্চ নির্ভুলতা, কঠিন অডিও
large-v3-turbo 809M large-v3-এর চেয়ে ~৫ গুণ দ্রুত যে সংস্করণ বেশিরভাগ টুলে থাকে

প্রায় সবার জন্যই উত্তরটি large-v3-turbo: এটি large-v3-এর encoder ধরে রাখে, কিন্তু decoder-এর লেয়ার ৩২ থেকে কমিয়ে ৪-এ নামায় — অনেক কম কম্পিউটে প্রায় একই নির্ভুলতা। আমরা এর বিস্তারিত বেঞ্চমার্ক করেছি Whisper Large V3 Turbo vs V3-তে।

Whisper ট্রান্সক্রিপশন কতটা নির্ভুল?

পরিষ্কার ইংরেজি অডিওতে বড় মডেলগুলো Open ASR Leaderboard-এ প্রায় ৫-৮% ওয়ার্ড এরর রেটে (WER) পৌঁছায়। ব্যাকগ্রাউন্ড শব্দ, ভারী উচ্চারণভঙ্গি, একসাথে কথা বলা আর কম-রিসোর্সের ভাষায় নির্ভুলতা কমে যায়।

Whisper-এর একটি কুখ্যাত দুর্বলতা: নীরবতার সময় হ্যালুসিনেশন। এর অটোরিগ্রেসিভ decoder মাঝে মাঝে কেউ কথা না বললেও পুনরাবৃত্ত বাক্যাংশ বা সাবটাইটেল ক্রেডিট বানিয়ে ফেলে। আমাদের নির্দিষ্ট নীরবতা-পরীক্ষায় NVIDIA-র Parakeet V3 কোনো বানানো শব্দ তৈরি করেনি; এটি ওই পরীক্ষার সীমার মধ্যে পাওয়া ফল, কোনো স্পিচ মডেলই অভ্রান্ত — এমন দাবি নয় (সম্পূর্ণ Parakeet V3 vs Whisper বেঞ্চমার্ক)।

চীনা, জাপানি ও কোরিয়ানের জন্য Whisper-ই একমাত্র বিকল্প নয়: দেখুন SenseVoice vs Qwen3-ASR।

Whisper ট্রান্সক্রিপশন চালানোর ৫টি উপায়

পদ্ধতি খরচ প্রাইভেসি সেটআপ
OpenAI API প্রতি অডিও মিনিটে পেমেন্ট অডিও আপলোড হয় API কী + কোড
openai-whisper (রেফারেন্স Python) বিনামূল্যে ১০০% লোকাল Python এনভায়রনমেন্ট, GPU থাকা ভালো
whisper.cpp / faster-whisper বিনামূল্যে ১০০% লোকাল কমান্ড লাইন
নেটিভ অ্যাপ (Whisper Notes) iPhone-এ $7.99 একবার; Mac-এ $14, প্রতি সপ্তাহে ৫,০০০ শব্দ ফ্রি ১০০% অন-ডিভাইস কিছুই না
ওয়েব ডেমো টুল সীমিত ফ্রি টিয়ার অডিও আপলোড হয় কিছুই না

সহজ নিয়ম: আপনি যদি টার্মিনালেই দিন কাটান, faster-whisper চমৎকার। যদি কোনো প্রোডাক্ট বানান, API-ই যুক্তিসঙ্গত (ডেভেলপারদের জন্য প্রতি অডিও মিনিটে $0.006)। আর যদি শুধু Python না ছুঁয়ে নিজের রেকর্ডিং ব্যক্তিগতভাবে টেক্সটে রূপান্তর করতে চান, নেটিভ অ্যাপ ব্যবহার করুন — Whisper Mac অ্যাপগুলোর অস্তিত্বের পুরো কারণই এটি।

অফলাইন টুলগুলো আরও বিস্তৃতভাবে যাচাই করতে চান — Windows ও Android-এর বিকল্পসহ? দেখুন আমাদের সম্পূর্ণ অফলাইন স্পিচ-টু-টেক্সট গাইড।

Whisper vs নতুন লোকাল মডেল (২০২৬)

লোকাল ট্রান্সক্রিপশনের যুগ Whisper-ই শুরু করেছিল, কিন্তু এখন সে আর একা নয়। নিচের গতিগুলো M4 Pro Mac-এ মাপা:

মডেল ভাষা গতি বিশেষত্ব
Whisper Large V3 Turbo ১০০+ ১৪.৩x রিয়েলটাইম (M4 Pro) সবচেয়ে বিস্তৃত ভাষা কভারেজ
Parakeet V3 ২৫ (ইউরোপীয়) রিয়েল-টাইমের প্রায় ৭৪× (Mac) 6.32% WER, নীরবতায় কোনো হ্যালুসিনেশন নেই
SenseVoice Small zh, ja, ko, yue, en ১১৫–১৩১x রিয়েলটাইম (মডেল কার্ড) চীনা, জাপানি, কোরিয়ানের জন্য সেরা

তিনটি মডেলই Whisper Notes-এ লোকালভাবে চলে; iPhone-এ Whisper-এর বিকল্প হলো Whisper Small। মডেল বেছে নিতে হয় Settings (সেটিংস)-এ। পাশাপাশি তুলনার বেঞ্চমার্ক রয়েছে আমাদের Whisper মডেল তুলনা পেজে।

Mac ও iPhone-এ Whisper ট্রান্সক্রিপশন অফলাইনে যেভাবে চালাবেন

কোনো কমান্ড লাইন নেই, Python নেই, ক্লাউড নেই:

  1. Mac-এর জন্য Whisper Notes ডাউনলোড করুন (সপ্তাহে ৫,০০০ শব্দ ফ্রি) অথবা iPhone-এর জন্য ($7.99 একবার)।
  2. মডেল বেছে নিন: বিস্তৃত ভাষা কভারেজের জন্য Whisper Large V3 Turbo, ইংরেজিতে গতির জন্য Parakeet, দ্রুত চীনা, জাপানি ও কোরিয়ানের জন্য SenseVoice, অথবা Mac-এ এই ভাষাগুলোতে কম ভুলের জন্য Qwen3-ASR 1.7B (Beta)। একবার ডাউনলোড হয়, তারপর চিরকাল অফলাইনে কাজ করে।
  3. সরাসরি রেকর্ড করুন, Fn চেপে ধরে যেকোনো অ্যাপে ডিক্টেট করুন (আমাদের ওয়েবসাইটের Mac অ্যাপে), অথবা অডিও-ভিডিও ফাইল ফেলে দিন (MP3, WAV, M4A, MP4)।
  4. প্রসেসিংয়ের সাথে সাথেই টেক্সট আসতে থাকে। TXT বা SRT হিসেবে এক্সপোর্ট করুন।

"অফলাইন" নিয়ে সন্দেহ? আগে এয়ারপ্লেন মোড চালু করুন। ট্রান্সক্রিপশন পূর্ণ গতিতেই চলবে — কিছুই আপলোড হয় না, কখনোই না।

বাংলায় Whisper ট্রান্সক্রিপশন কতটা নির্ভুল? কোন মডেল বেছে নেবেন?

বাংলার জন্য সঠিক পছন্দ Whisper Large V3 Turbo: এর কভার করা ১০০+ ভাষার মধ্যে বাংলা রয়েছে — যেখানে Parakeet (শুধু ইউরোপীয় ভাষা) ও SenseVoice (চীনা/জাপানি/কোরিয়ান) বাংলা সমর্থন করে না। ~2GB-এর এই মডেলটি Mac-এ Whisper Notes-এ একবার ডাউনলোড হয়, তারপর সম্পূর্ণ অফলাইনে চলে; iPhone-এ Whisper-এর বিকল্প হলো Whisper Small, সেটিও পুরোপুরি অফলাইনে চলে। পরিষ্কার অডিও ও কাছের মাইক্রোফোনে ফলাফল সবচেয়ে ভালো; আঞ্চলিক উচ্চারণ বা মিশ্র বাংলা-ইংরেজিতে নির্ভুলতা কিছুটা কমতে পারে — তাই কেনার আগে Mac-এ প্রতি সপ্তাহের ফ্রি ৫,০০০ শব্দে নিজের আসল রেকর্ডিং দিয়ে যাচাই করে নিন।

সচরাচর জিজ্ঞাসিত প্রশ্ন

Whisper ট্রান্সক্রিপশন কি বিনামূল্যে?

মডেলটি নিজে বিনামূল্যে ও ওপেন সোর্স (MIT লাইসেন্স)। whisper.cpp-এর মতো কমান্ড-লাইন টুল দিয়ে চালাতে কোনো খরচ নেই, তবে সেটআপ লাগে। OpenAI-এর API প্রতি অডিও মিনিটে চার্জ করে। নেটিভ অ্যাপগুলো ছোট একটি ফি-র বিনিময়ে মডেল প্যাকেজ করে দেয় — Whisper Notes iPhone-এ $7.99 আর Mac-এ $14, দুটোই একবারের কেনা; Mac-এ প্রতি সপ্তাহে ৫,০০০ শব্দ ফ্রি।

Whisper ট্রান্সক্রিপশন কি অফলাইনে চলতে পারে?

হ্যাঁ — ওপেন ওয়েটের মূল উদ্দেশ্যই এটি। মডেল ফাইলটি একবার আপনার ডিভাইসে এলে আর ইন্টারনেট লাগে না। Whisper Notes CoreML/Metal-এর মাধ্যমে Apple Silicon-এ Whisper Large V3 Turbo চালায়, সম্পূর্ণ অফলাইনে। এয়ারপ্লেন মোড দিয়ে যাচাই করে নিতে পারেন।

কোন Whisper মডেল সবচেয়ে নির্ভুল?

কাঁচা নির্ভুলতায় large-v3 সেরা। large-v3-turbo WER-এ এক শতাংশের ভগ্নাংশ ব্যবধানে তার সমান, অথচ প্রায় ৫ গুণ দ্রুত চলে — এজন্যই আজ অনেক টুলই এটি সঙ্গে দেয়।

Whisper কি আমার ভাষা সমর্থন করে?

Whisper প্রায় ১০০টি ভাষা কভার করে, উচ্চ-রিসোর্সের ভাষায় (ইংরেজি, স্প্যানিশ, জার্মান, ফরাসি ইত্যাদি) সবচেয়ে শক্তিশালী। চীনা, জাপানি, কোরিয়ান ও ক্যান্টনিজে SenseVoice Apple Silicon-এ অনেক দ্রুত, আর Mac-এ Qwen3-ASR 1.7B (Beta) কম ভুল করে; জাপানি ও কোরিয়ানে Whisper Large V3 Turbo-ও SenseVoice-এর কাছাকাছি বা তার চেয়ে ভালো। Whisper যেসব ভাষা সমর্থন করে তার পুরো তালিকা আমাদের ভাষা পেজে আছে, Parakeet ও SenseVoice-এর সঙ্গে একই টেবিলে।

iPhone-এর জন্য কি কোনো Whisper ট্রান্সক্রিপশন অ্যাপ আছে?

হ্যাঁ। Whisper Notes iPhone-এর নিউরাল ইঞ্জিনের জন্য অপ্টিমাইজ করা Whisper মডেল চালায় (iPhone 12 ও নতুন) — রেকর্ড করুন, Voice Memos বা Files থেকে ইমপোর্ট করুন, আর পুরো ট্রান্সক্রিপশন ডিভাইসেই পান, $7.99-এ, কোনো সাবস্ক্রিপশন ছাড়া।