Nemotron 3 vs pyannote: ডায়ারাইজেশন ত্রুটির হার 16.0% → 9.9%

Nemotron 3 ডায়ারাইজেশন ত্রুটির হার 16.0% থেকে কমিয়ে 9.9% করেছে

ডায়ারাইজেশন ত্রুটির হার (DER) তিন ধরনের ভুল যোগ করে পাওয়া যায়, আর মাপা হয় কথার সময় ধরে: ভুল বক্তার নামে যাওয়া কথা, মডেল যে কথা ধরতে পারেনি, আর যে আওয়াজকে কথা বলে ধরা হয়েছে। বক্তা শনাক্তকরণ মাপার এটাই প্রচলিত মানদণ্ড। নিচের টেবিলে এর পাশাপাশি রাখা হয়েছে ব্যবহারকারীদের চোখে সবচেয়ে বেশি পড়া সমস্যাগুলো, আর Mac ও iPhone-এ দুই মডেলের গতি ও মেমরি।

এখানে এবং নিচের প্রতিটি টেবিল ও চার্টে সবুজ রং ভালো মানটি দেখায়, যখন পার্থক্য ত্রুটির সীমার বাইরে: নির্ভুলতার ক্ষেত্রে 95% আস্থা ব্যবধানে শূন্য পড়ে না; গতি ও মেমরির ক্ষেত্রে পার্থক্যটি বারবার চালানোর ওঠানামার চেয়ে অনেক বড়। ত্রুটির হার যত কম, তত ভালো। নির্ভুলতার সারিগুলো 122টি পাবলিক রেকর্ডিং থেকে (25 ঘণ্টা, ইংরেজি ও চীনা)। গতি ও মেমরি মাপা হয়েছে দুই মডেলকেই Core ML-এ চালিয়ে, Nemotron 3 চলেছে Neural Engine-এ; Mac-এর সময় শুধু প্রসেসিংয়ের, আর iPhone-এর সময় শনাক্তকরণ শুরু থেকে ফলাফল পর্যন্ত।

এই উন্নতি শুধু কয়েকটি রেকর্ডিং থেকে আসেনি। নিচের চার্টে 122টি রেকর্ডিংয়ের প্রতিটির পরিবর্তন দেখানো হয়েছে, সবচেয়ে বেশি কমা থেকে সবচেয়ে বেশি বাড়া পর্যন্ত সাজিয়ে:

প্রতিটি বার একটি রেকর্ডিং, আর Nemotron 3-এ তার ত্রুটির হার কত পয়েন্ট বদলেছে তা দেখায়: শূন্যের নিচে মানে কমেছে, ওপরে মানে বেড়েছে।

তিন ক্ষেত্রে Nemotron 3 খারাপ করে: আটজনের বেশি বক্তার রেকর্ডিং, একজন বক্তার রেকর্ডিং, আর বাক্যের মাঝখানে অনুচ্ছেদ ভাঙা।

ভুল বক্তার নামে কথা যাওয়া প্রায় বন্ধ: 4.5% → 1.0%

তিন ধরনের ভুলের মধ্যে পাঠক প্রথমে খেয়াল করেন ভুল বক্তার নামে যাওয়া কথা: শব্দগুলো ঠিক, কিন্তু নাম ভুল। Nemotron 3-এ এই ভুল প্রায় নেই, আর বাদ পড়া কথাও কমেছে।

122টি রেকর্ডিংয়ের গড়, কথার সময়ের শতাংশে; প্রতিটি সারির দুটি বারই শূন্য থেকে শুরু। ভুল বক্তা আর বাদ পড়া কথার হ্রাস ত্রুটির সীমার বাইরে। আওয়াজকে কথা ধরার পার্থক্য সীমার মধ্যে, তাই সেই বারটি হালকা ধূসর। মানগুলো রাউন্ড করা, তাই যোগফল মোটের সঙ্গে হুবহু না-ও মিলতে পারে।

80% রেকর্ডিংয়ে বক্তার সংখ্যা সঠিক, আগে ছিল 52%

বক্তা কম পাওয়া মানে দুটি কণ্ঠ এক হয়ে গেছে, ফলে দুজনের কথা একটি লেবেলের নিচে চলে আসে। pyannote community-1-এর সবচেয়ে সাধারণ ভুল ছিল এটাই, আর Nemotron 3 এটা অনেক কম করে।

122টি রেকর্ডিংয়ে প্রতিটি মডেল কতজন বক্তা পেয়েছে, আসল সংখ্যার সঙ্গে তুলনা করে। pyannote community-1 বেশিরভাগ সময় কম পেয়েছে। Nemotron 3 বেশিবার সঠিক, আর ভুল হলে বেশি পাওয়া ও কম পাওয়া প্রায় সমান।

মিটিং, সম্প্রচার আর দুই থেকে আটজন বক্তার রেকর্ডিংয়ে ভালো

রেকর্ডিংভেদে কাঠিন্য অনেক আলাদা: ঘরের অন্য প্রান্ত থেকে রেকর্ড করা মিটিং সবচেয়ে কঠিন, সম্প্রচার সবচেয়ে সহজ। রেকর্ডিংয়ের ধরন, ভাষা আর বক্তার সংখ্যা ধরে ভাগ করলে, অন্তত দশটি রেকর্ডিং আছে এমন প্রতিটি দলে ত্রুটির হার কমেছে; একজন বক্তার দলে পার্থক্য ত্রুটির সীমার মধ্যে। নয় থেকে বারোজন বক্তার তিনটি রেকর্ডিংয়ে ফল খারাপ হয়েছে, তবে পরীক্ষা করার মতো যথেষ্ট রেকর্ডিং নেই।

প্রতিটি দলের দুটি বারই শূন্য থেকে শুরু: ধূসর pyannote community-1, সবুজ Nemotron 3, আর প্রতিটি বারের শেষের সংখ্যাটি গড় ত্রুটির হার। সবুজ মানে ত্রুটির সীমার বাইরে হ্রাস, হালকা ধূসর মানে সীমার মধ্যে পার্থক্য, হলুদ মানে বৃদ্ধি। আর্থিক ফলাফল ঘোষণার 6টি কল মোট হিসাবে ধরা আছে, তবে আলাদা দল বানানোর মতো যথেষ্ট নয়।

ট্রান্সক্রিপ্ট গোছানো: প্রতি 10 মিনিটে হাতে সংশোধন 28.9 থেকে কমে 18.9

শেষ পর্যন্ত ত্রুটির হার মানে আপনার হাতের কাজ: বক্তা ভিউ ঠিক করতে কতবার মেলাতে, ভাগ করতে আর বক্তা বদলাতে হয়। শব্দ ধরে ধরে রেফারেন্স আছে এমন দুজনের 4টি রেকর্ডিংয়ে (2টি ডাচ, 1টি চীনা, 1টি ফিনিশ) আমরা এমন সংশোধনের ন্যূনতম সংখ্যা গুনেছি। পাঠকের চোখে পড়ে আরেকটি ভুল: একজনের বাক্য দুই বক্তার মধ্যে ভাগ হয়ে যাওয়া। ঘরের অন্য প্রান্ত থেকে রেকর্ড করা 12টি ইংরেজি মিটিংয়ে দুই মডেলই এটা কদাচিৎ করে, আর পার্থক্য ত্রুটির সীমার মধ্যে।

হাতে সংশোধনের হিসাব মাত্র 4টি রেকর্ডিং থেকে, যা পরিসংখ্যানগত পরীক্ষা বা সাধারণ সিদ্ধান্তের জন্য যথেষ্ট নয়। ভাগ হওয়া বাক্য মানে একজনের বলা বাক্য, যার লেখা দুই বক্তার অনুচ্ছেদে চলে গেছে।

Nemotron 3 দ্রুততর, আর মেমরি লাগে সাত ভাগের এক ভাগেরও কম

ডিভাইসে নির্ভুলতার মতোই গতি আর মেমরিও গুরুত্বপূর্ণ। টেবিলে Core ML-এ চলা দুই মডেলের প্রসেসিং সময় ও মেমরি দেখানো হয়েছে, Nemotron 3 চলেছে Neural Engine-এ। আমরা যত ডিভাইসে পরীক্ষা করেছি, সবগুলোতেই Nemotron 3 দ্রুততর এবং অনেক কম মেমরি নেয়। 4 GB মেমরির পুরোনো iPhone-এ এর গুরুত্ব সবচেয়ে বেশি।

কয়েকবার চালানোর মধ্যমা (iPhone 15-এ pyannote community-1 একবার চালানো হয়েছে), সবই 10 জন বক্তার একই 55 মিনিটের আর্থিক ফলাফল ঘোষণার কলে। দুই মডেলই Core ML-এ চলে, Nemotron 3 Neural Engine-এ। Mac-এর সময় শুধু প্রসেসিংয়ের, অডিও ডিকোড বা মডেল লোড ছাড়া। iPhone-এর সময় শনাক্তকরণ শুরু থেকে ফলাফল পর্যন্ত, মডেল লোডসহ, আর pyannote community-1-এর ক্ষেত্রে তার সঙ্গে আসা পোস্ট-প্রসেসিংসহ। ফোনগুলো USB-তে যুক্ত ছিল, আর প্রতিবার ফোন ঠান্ডা অবস্থায় চালানো শুরু হয়েছে।

Core ML প্রথমবার Neural Engine-এ কোনো মডেল চালানোর সময় সেটিকে ওই ডিভাইসের জন্য কম্পাইল করে: Mac-এ প্রায় 7 সেকেন্ড, iPhone 15-এ প্রায় এক মিনিট। এরপর মডেল লোড হতে এক সেকেন্ডেরও কম লাগে।

যেখানে pyannote community-1 এখনো ভালো

• আটজনের বেশি বক্তা। Nemotron 3 সর্বোচ্চ আটজনকে লেবেল করে; নয় থেকে বারোজন বক্তার আমাদের 3টি রেকর্ডিংয়ের 2টিতে এটি pyannote community-1-এর চেয়ে খারাপ করেছে।
• একজন বক্তা। একজন বক্তার 14টি রেকর্ডিংয়ের 5টিতে Nemotron 3 বাড়তি বক্তা পেয়েছে; pyannote community-1 পেয়েছে 1টিতে।
• বাক্যের মাঝখানে ভাঙা। 12টি ইংরেজি মিটিংয়ে অনুচ্ছেদ ভাঙার 25.8% পড়েছে বাক্যের মাঝখানে, pyannote community-1-এ যা ছিল 14.6%।

Whisper Notes-এ Nemotron 3 থেকে সেরা ফল পাওয়ার কয়েকটি টিপস

• বক্তার সংখ্যা জানা থাকলে সেট করে দিন। দুই বা তার বেশি বক্তার 108টি রেকর্ডিংয়ে Nemotron 3-কে সংখ্যাটি বলে দিলে 15টিতে বক্তার সংখ্যা ঠিক হয়েছে, একটিতেও ভুল হয়নি; ত্রুটির হারে স্পষ্ট কোনো পরিবর্তন নেই (+0.16 পয়েন্ট, ত্রুটির সীমার মধ্যে)।
• একজনই কথা বললে বক্তা শনাক্তকরণ বাদ দিন। তাহলে মাঝেমধ্যে যে দ্বিতীয় একজন "বক্তা" চলে আসে, সেটা আর হবে না।
• আটজনের বেশি বক্তা হলে লেবেলগুলোকে প্রথম খসড়া হিসেবে ধরুন। দরকার হলে বক্তা ভিউতে বক্তাদের মিলিয়ে দিন ও নাম বদলান।

Mac-এর বক্তা ভিউতে Not right? থেকে বক্তার সংখ্যা সেট করা

বক্তা শনাক্তকরণ iPhone ও Mac-এ একইভাবে কাজ করে, পুরোটাই আপনার ডিভাইসে। অ্যাপে কীভাবে ব্যবহার করবেন, দেখুন Whisper Notes-এ অন-ডিভাইস স্পিকার ডায়ারাইজেশন।

কীভাবে কাজ করে: pyannote কেটে দল বানায়, Nemotron 3 বক্তাদের নম্বর দেয় কে আগে কথা বলেছেন সেই ক্রমে

pyannote community-1 তিন ধাপের একটি পাইপলাইন। প্রথমে অডিওকে 10 সেকেন্ডের উইন্ডোতে কেটে প্রতিটিতে কে কথা বলছেন তা খোঁজে (প্রতি উইন্ডোতে সর্বোচ্চ 3 জন, একই মুহূর্তে সর্বোচ্চ 2 জন)। তারপর কথার প্রতিটি অংশ থেকে একটি কণ্ঠছাপ, বা এমবেডিং, বের করে। শেষে VBx ক্লাস্টারিং কাছাকাছি কণ্ঠছাপগুলোকে এক একজন বক্তায় জড়ো করে। উইন্ডোর ভেতরের বক্তা-নম্বর শুধু সেই উইন্ডোর জন্য, তাই মোট বক্তার সংখ্যা ঠিক হয় একেবারে শেষ ধাপে।

Nemotron 3 Diarization একটিই মডেল: 31 স্তরের একটি Transformer এনকোডার, যা প্রতি মুহূর্তে আটটি বক্তা-ট্র্যাকের প্রত্যেকটিকে স্কোর দেয়। প্রতিটি ট্র্যাকের স্কোর আলাদাভাবে হয়, তাই কয়েকজন একসঙ্গে কথা বললে কয়েকটি ট্র্যাক সক্রিয় থাকে। এটি NVIDIA-র Sortformer পদ্ধতি অনুসরণ করে এবং প্রত্যেকে প্রথম কখন কথা বলেছেন সেই ক্রমে ট্র্যাকগুলোর নম্বর দেয়: যিনি প্রথম কথা বলেন তিনি সবসময় ট্র্যাক 1-এ, তাই কোন কণ্ঠ কোন জায়গায় যাবে, মডেলকে তা অনুমান করতে হয় না। মডেল কার্ডে বর্ণিত স্ট্রিমিং সেটআপে আগমনের ক্রমে সাজানো একটি বক্তা-ক্যাশ আগের বক্তাদের মনে রাখে, ফলে পরের অংশকে একই নম্বরের সঙ্গে মেলানো যায়।

প্রতিটি নকশার নিজস্ব সীমা আছে। pyannote community-1-এ বক্তার সংখ্যার নির্দিষ্ট সীমা নেই, কিন্তু একই মুহূর্তে সর্বোচ্চ দুজনকে আলাদা করতে পারে। Nemotron 3 একসঙ্গে কথা বলা কয়েকজনকে লেবেল করতে পারে, কিন্তু এর ট্র্যাক আটটি, তাই সর্বোচ্চ আটজন বক্তা খুঁজে পায়।

নকশাগুলো সরলীকৃত। pyannote community-1: Whisper Notes-এ প্রায় 21 MB, CC BY 4.0 (মডেল কার্ড); সেগমেন্টেশন মডেল Plaquet ও Bredin (Interspeech 2023)-এর, এমবেডিং WeSpeaker থেকে, ক্লাস্টারিং VBx (Landini et al., 2022) দিয়ে। Nemotron 3 Diarization: 97 MB (Fluid Inference-এর 8-bit Core ML রূপান্তর), প্রায় 100 মিলিয়ন প্যারামিটার, OpenMDW 1.1 (মডেল কার্ড); পদ্ধতির বিবরণ Sortformer ও Streaming Sortformer গবেষণাপত্রে।

আমরা কীভাবে পরীক্ষা করেছি

• রেকর্ডিং। ইংরেজি ও চীনা ভাষার 122টি পাবলিক রেকর্ডিং, মোট 25 ঘণ্টা, প্রতিটিতে 1 থেকে 12 জন বক্তা: ঘরের অন্য প্রান্ত থেকে রেকর্ড করা মিটিং, সম্প্রচার, আর্থিক ফলাফল ঘোষণার কল, আর আলাদা ক্লিপ জোড়া দিয়ে বানানো একজন বক্তার রেকর্ডিং। সঙ্গে ইংরেজি, ডাচ, চীনা ও ফিনিশ ভাষায় দুজনের 5টি রেকর্ডিং, যার 4টিতে শব্দ ধরে ধরে রেফারেন্স আছে।
• ডেটাসেট। AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV ও SKN, সঙ্গে আমাদের নিজেদের রেকর্ডিং। শুধু সেই ডেটাসেট, যাদের লাইসেন্স ফলাফল প্রকাশের অনুমতি দেয়; আমাদের ব্যবহারকারীদের কোনো রেকর্ডিং নেই।
• মাপকাঠি। ডায়ারাইজেশন ত্রুটির হার, 10 ms ফ্রেমে collar ছাড়া হিসাব করা, একসঙ্গে বলা কথাসহ, প্রতি রেকর্ডিংয়ে গড় করা।
• পরিসংখ্যান। পুরো রেকর্ডিং ধরে 10,000 বার বুটস্ট্র্যাপ রিস্যাম্পলিং থেকে 95% আস্থা ব্যবধান; দশটির কম রেকর্ডিংয়ের দলে কোনো ব্যবধান দেওয়া হয়নি।
• ডিভাইস। M5 চিপের একটি Mac, একটি iPhone 15 আর একটি iPhone 12 mini; নির্ভুলতা হিসাব করা হয়েছে Mac-এ।
• আগাম নিবন্ধন। পরীক্ষার পরিকল্পনা 2026 সালের 2 নভেম্বর চূড়ান্ত করা হয়, আর দুজনের রেকর্ডিংয়ের ভাগ 4 নভেম্বর, ওই ক্লিপগুলোতে কোনো মডেল চালানোর আগেই।

ব্যবহার করে দেখুন

iPhone ও Mac-এর Whisper Notes এখন বক্তা শনাক্তকরণে Nemotron 3 ব্যবহার করে। কোনো প্রশ্ন থাকলে লিখুন support@whispernotes.app-এ।

iOS-এর জন্য ডাউনলোড করুন macOS-এর জন্য ডাউনলোড করুন