عند تفريغ مقابلة أو اجتماع يشارك فيه عدة أشخاص، لا بد من معرفة من قال كل جملة. يُجري Whisper Notes التعرف على الكلام والتعرف على المتحدثين دون اتصال، على iPhone أو Mac، لذا يجب أن يوازن كل نموذج نعتمده بين الدقة والسرعة، وكانت الدقة دائمًا أولويتنا. استبدلنا مؤخرًا نموذج التعرف على المتحدثين المدمج، pyannote community-1، بنموذج Nemotron 3 Diarization من NVIDIA، وقارنّا بينهما على 122 تسجيلًا عامًا يتراوح عدد المتحدثين فيها بين واحد واثني عشر: انخفض معدل خطأ فصل المتحدثين (DER) من 16.0% إلى 9.9%.
يخفّض Nemotron 3 معدل خطأ فصل المتحدثين من 16.0% إلى 9.9%
يجمع معدل خطأ فصل المتحدثين (DER) ثلاثة أنواع من الأخطاء، مقيسةً بزمن الكلام: كلام نُسب إلى الشخص الخطأ، وكلام فات النموذج، وضجيج حُسب كلامًا. وهو المقياس المعتمد لفصل المتحدثين. يضعه الجدول إلى جانب المشكلات التي يلاحظها المستخدمون أكثر من غيرها، وإلى جانب سرعة النموذجين واستهلاكهما للذاكرة على Mac وiPhone.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| معدل خطأ فصل المتحدثين، 122 تسجيلًا | 16.0% | 9.9% |
| عدد المتحدثين صحيح | 52% من التسجيلات | 80% من التسجيلات |
| كلام نُسب إلى الشخص الخطأ | 4.5% | 1.0% |
| ساعة من الصوت على Mac (M5) | نحو 22 ثانية | نحو 8.5 ثانية |
| الذاكرة على Mac | 0.88 GB | 0.12 GB |
| تسجيل مدته 55 دقيقة على iPhone 15 | نحو 27 ثانية | نحو 12 ثانية |
| ذاكرة إضافية على iPhone 15 | نحو 830 MB | نحو 30 MB |
| أقصى عدد للمتحدثين | لا حد ثابت (حتى 10 في التطبيق) | 8 |
يشير الأخضر، هنا وفي كل الجداول والرسوم التالية، إلى القيمة الأفضل حين يتجاوز الفرق هامش الخطأ: في الدقة يعني ذلك أن مجال الثقة 95% لا يشمل الصفر، وفي السرعة والذاكرة أن الفرق أكبر بكثير من التفاوت بين مرات التشغيل. في معدلات الخطأ، الأقل أفضل. صفوف الدقة مأخوذة من 122 تسجيلًا عامًا (25 ساعة، بالإنجليزية والصينية). أُخذت قياسات السرعة والذاكرة والنموذجان يعملان عبر Core ML، وNemotron 3 على Neural Engine؛ أزمنة Mac للمعالجة فقط، وأزمنة iPhone من بدء التعرف حتى ظهور النتيجة.
لا يأتي هذا الانخفاض من بضعة تسجيلات. يعرض الرسم التالي التغير في كل تسجيل من التسجيلات الـ122، من أكبر انخفاض إلى أكبر ارتفاع:
يمثل كل عمود تسجيلًا واحدًا، ويبيّن بكم نقطة تغيّر معدل خطئه مع Nemotron 3: تحت الصفر انخفض، وفوقه ارتفع.
يكون Nemotron 3 أسوأ في ثلاث حالات: التسجيلات التي فيها أكثر من ثمانية متحدثين، والتسجيلات التي فيها متحدث واحد، وفواصل الفقرات التي تقع في منتصف الجملة.
الخلط بين المتحدثين يكاد يختفي: 4.5% ← 1.0%
من بين أنواع الخطأ الثلاثة، الكلام المنسوب إلى الشخص الخطأ هو أول ما يلاحظه القارئ: الكلمات صحيحة لكن الاسم خطأ. ومع Nemotron 3 يكاد هذا الخطأ يختفي، وينخفض الكلام الفائت أيضًا.
متوسط التسجيلات الـ122، بالنسبة المئوية من زمن الكلام؛ ويبدأ الشريطان في كل صف من الصفر. يتجاوز انخفاض الكلام المنسوب إلى متحدث خطأ والكلام الفائت هامش الخطأ. أما الفرق في الضجيج المحسوب كلامًا فيقع ضمنه، لذلك لون شريطه رمادي فاتح. القيم مقرّبة، فقد لا يساوي مجموعها الإجمالي تمامًا.
عدد المتحدثين صحيح في 80% من التسجيلات بعد أن كان 52%
حين يجد النموذج متحدثين أقل من العدد الحقيقي، فهذا يعني أنه دمج صوتين في صوت واحد، فتظهر مداخلات شخصين تحت تسمية واحدة. كان هذا أكثر أخطاء pyannote community-1 شيوعًا، ويقع فيه Nemotron 3 أقل بكثير.
عدد المتحدثين الذي وجده كل نموذج مقارنةً بالعدد الحقيقي في التسجيلات الـ122. وجد pyannote community-1 في الغالب عددًا أقل. أما Nemotron 3 فيصيب أكثر، وحين يخطئ يزيد العدد بقدر ما ينقصه.
أفضل في الاجتماعات والبث والتسجيلات التي فيها من متحدثَين إلى ثمانية
تتفاوت صعوبة التسجيلات كثيرًا: الاجتماعات المسجلة من طرف القاعة الآخر هي الأصعب، والبث هو الأسهل. عند التقسيم حسب نوع التسجيل واللغة وعدد المتحدثين، ينخفض معدل الخطأ في كل مجموعة فيها عشرة تسجيلات على الأقل؛ وفي مجموعة المتحدث الواحد يقع الفرق ضمن هامش الخطأ. ساءت النتيجة في التسجيلات الثلاثة التي فيها من تسعة إلى اثني عشر متحدثًا، لكن عددها أقل من أن يُختبر إحصائيًا.
يبدأ الشريطان في كل مجموعة من الصفر: الرمادي pyannote community-1، والأخضر Nemotron 3، والرقم في نهاية كل شريط هو متوسط معدل الخطأ. يدل الأخضر على انخفاض يتجاوز هامش الخطأ، والرمادي الفاتح على فرق ضمنه، والكهرماني على ارتفاع. تدخل 6 مكالمات لإعلان النتائج في الإجمالي، لكنها أقل من أن تشكّل مجموعة مستقلة.
تنقيح النص: التعديلات اليدوية لكل 10 دقائق تنخفض من 28.9 إلى 18.9
في النهاية يتحول معدل الخطأ إلى عمل: عدد مرات الدمج والتقسيم وتغيير المتحدث اللازمة ليصبح عرض المتحدثين صحيحًا. أحصينا أقل عدد ممكن من هذه التعديلات على 4 تسجيلات لشخصين لها نص مرجعي كلمةً بكلمة (2 بالهولندية، و1 بالصينية، و1 بالفنلندية). وهناك خطأ آخر يلاحظه القراء: جملة شخص واحد مقسومة بين متحدثَين. في 12 اجتماعًا بالإنجليزية مسجلةً من طرف القاعة الآخر، نادرًا ما يقع النموذجان في ذلك، والفرق بينهما ضمن هامش الخطأ.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| تعديلات يدوية لكل 10 دقائق، 4 تسجيلات لشخصين | 28.9 | 18.9 |
| جملة مقسومة بين متحدثَين، 12 اجتماعًا بالإنجليزية | 0.58% من الجمل | 0.88% من الجمل |
عدد التعديلات اليدوية مأخوذ من 4 تسجيلات فقط، وهذا أقل من أن يسمح باختبار إحصائي أو حكم عام. الجملة المقسومة هي جملة قالها شخص واحد ووُزّع نصها على فقرتي متحدثَين.
Nemotron 3 أسرع ويحتاج إلى أقل من سُبع الذاكرة
على الجهاز، تهم السرعة والذاكرة بقدر ما تهم الدقة. يعرض الجدول زمن المعالجة والذاكرة للنموذجين وهما يعملان عبر Core ML، وNemotron 3 على Neural Engine. على كل جهاز اختبرناه، كان Nemotron 3 أسرع واستهلك ذاكرة أقل بكثير، وهذا أهم ما يكون على أجهزة iPhone الأقدم ذات الذاكرة 4 GB.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Mac (M5) | ||
| ساعة من الصوت | نحو 22 ثانية | نحو 8.5 ثانية |
| الذاكرة | 0.88 GB | 0.12 GB |
| iPhone 15 | ||
| تسجيل مدته 55 دقيقة | 26.6 ثانية | 11.8 ثانية |
| ذاكرة إضافية أثناء التعرف | 833 MB | 30 MB |
| iPhone 12 mini | ||
| تسجيل مدته 55 دقيقة | 30.1 ثانية | 17.2 ثانية |
| ذروة ذاكرة التطبيق أثناء التعرف | 638 MB | 71 MB |
القيمة الوسيطة لعدة مرات تشغيل (شُغّل pyannote community-1 مرة واحدة على iPhone 15)، وكلها على مكالمة إعلان النتائج نفسها، ومدتها 55 دقيقة وفيها 10 متحدثين. يعمل النموذجان عبر Core ML، وNemotron 3 على Neural Engine. أزمنة Mac للمعالجة فقط، دون فك ترميز الصوت أو تحميل النموذج. أما أزمنة iPhone فتمتد من بدء التعرف حتى النتيجة، وتشمل تحميل النموذج، وفي حالة pyannote community-1 المعالجة اللاحقة التي كانت ترافقه. كانت الهواتف موصولة عبر USB، وبدأ كل تشغيل والهاتف بارد.
في أول مرة يشغّل فيها Core ML نموذجًا على Neural Engine، يُترجِم (compile) النموذج لذلك الجهاز: نحو 7 ثوانٍ على Mac ونحو دقيقة على iPhone 15. بعد ذلك يستغرق تحميل النموذج جزءًا من الثانية.
أين يتفوق pyannote community-1 حتى الآن
- أكثر من ثمانية متحدثين. يسمّي Nemotron 3 ثمانية أشخاص على الأكثر؛ ومن بين 3 تسجيلات لدينا فيها من تسعة إلى اثني عشر متحدثًا، كان أسوأ من pyannote community-1 في 2 منها.
- متحدث واحد. في 14 تسجيلًا لمتحدث واحد، وجد Nemotron 3 متحدثين إضافيين في 5 منها، وpyannote community-1 في تسجيل واحد فقط.
- فواصل في منتصف الجملة. في 12 اجتماعًا بالإنجليزية، وقع 25.8% من فواصل الفقرات في منتصف جملة، مقابل 14.6% مع pyannote community-1.
نصائح للحصول على أفضل نتيجة من Nemotron 3 في Whisper Notes
- حدّد عدد المتحدثين إن كنت تعرفه. في 108 تسجيلات فيها متحدثان أو أكثر، أدى إخبار Nemotron 3 بالعدد إلى تصحيح عدد المتحدثين في 15 تسجيلًا، ولم يفسده في أي منها، دون تغيّر واضح في معدل الخطأ (+0.16 نقطة، ضمن الهامش).
- إذا كان شخص واحد فقط يتكلم، فلا تشغّل التعرف على المتحدثين. بذلك تتجنب ظهور «متحدث» ثانٍ أحيانًا.
- مع أكثر من ثمانية متحدثين، اعتبر التسميات مسودة أولى. ادمج المتحدثين وأعد تسميتهم في عرض المتحدثين عند الحاجة.
تحديد عدد المتحدثين من Not right? في عرض المتحدثين على Mac
يعمل التعرف على المتحدثين بالطريقة نفسها على iPhone وMac، وبالكامل على جهازك. لمعرفة طريقة استخدامه في التطبيق، راجع يتعرّف Whisper Notes الآن على المتحدثين.
كيف يعملان: pyannote يقطّع ويجمّع، وNemotron 3 يرقّم المتحدثين بترتيب أول كلامهم
pyannote community-1 سلسلة من ثلاث خطوات. يقطّع الصوت إلى نوافذ زمنية مدة كل منها 10 ثوانٍ، ويحدد من يتكلم في كل نافذة (حتى 3 أشخاص في النافذة، وحتى 2 في اللحظة نفسها). ثم يستخرج بصمة صوتية، أي تضمينًا (embedding)، لكل مقطع كلام. وأخيرًا يضم تجميع VBx البصمات المتشابهة في متحدثين. أرقام المتحدثين داخل النافذة لا تصح إلا لتلك النافذة، لذلك لا يتحدد العدد الكلي للمتحدثين إلا في الخطوة الأخيرة.
Nemotron 3 Diarization نموذج واحد: مُرمِّز Transformer من 31 طبقة يعطي في كل لحظة درجة لكل مسار من ثمانية مسارات للمتحدثين. يُقيَّم كل مسار على حدة، لذلك إذا تكلم عدة أشخاص معًا نشطت عدة مسارات. يتبع النموذج نهج Sortformer من NVIDIA ويرقّم المسارات بحسب وقت أول كلام لكل شخص: أول من يتكلم يكون دائمًا على المسار 1، فلا يضطر النموذج إلى تخمين الخانة التي ينتمي إليها صوت ما. وفي إعداد البث المتدفق (streaming) الموصوف في بطاقة النموذج، يحتفظ النموذج بذاكرة مؤقتة للمتحدثين السابقين مرتّبة حسب ترتيب ظهورهم، فيمكن ربط مقطع لاحق بالرقم نفسه.
لكل تصميم حدّه. ليس لـpyannote community-1 حد ثابت لعدد المتحدثين، لكنه لا يفصل أكثر من شخصين في اللحظة نفسها. ويستطيع Nemotron 3 تسمية عدة أشخاص يتكلمون معًا، لكن لديه ثمانية مسارات، فلا يجد أكثر من ثمانية متحدثين.
المخططات مبسّطة. pyannote community-1: نحو 21 MB في Whisper Notes، بترخيص CC BY 4.0 (بطاقة النموذج)؛ نموذج التقطيع من عمل Plaquet وBredin (Interspeech 2023)، والتضمينات من WeSpeaker، والتجميع بطريقة VBx (Landini وآخرون، 2022). Nemotron 3 Diarization: بحجم 97 MB (تحويل Core ML بدقة 8 بت من Fluid Inference)، ونحو 100 مليون معامل، بترخيص OpenMDW 1.1 (بطاقة النموذج)؛ والطريقة موصوفة في ورقتي Sortformer وStreaming Sortformer.
كيف اختبرنا
- التسجيلات. 122 تسجيلًا عامًا، 25 ساعة، بالإنجليزية والصينية، في كل منها من 1 إلى 12 متحدثًا: اجتماعات مسجلة من طرف القاعة الآخر، وبرامج بث، ومكالمات إعلان نتائج، وتسجيلات لمتحدث واحد جُمعت من مقاطع منفصلة. وأيضًا 5 تسجيلات لشخصين بالإنجليزية والهولندية والصينية والفنلندية، 4 منها لها نص مرجعي كلمةً بكلمة.
- مجموعات البيانات. AMI وAISHELL-4 وAliMeeting وVoxConverse وEarnings-21 وLibriSpeech وIFADV وSKN، إضافة إلى تسجيلاتنا الخاصة. استخدمنا فقط مجموعات البيانات التي تسمح تراخيصها بنشر النتائج، ولم نستخدم أي تسجيلات من مستخدمينا.
- المقياس. معدل خطأ فصل المتحدثين، محسوبًا على إطارات مدتها 10 مللي ثانية دون هامش تسامح (collar)، مع احتساب الكلام المتداخل، ومتوسطًا لكل تسجيل.
- الإحصاء. مجالات ثقة 95% من 10,000 إعادة معاينة bootstrap لتسجيلات كاملة؛ ولا مجالات للمجموعات التي فيها أقل من عشرة تسجيلات.
- الأجهزة. جهاز Mac بشريحة M5، وiPhone 15، وiPhone 12 mini؛ وحُسبت الدقة على Mac.
- التسجيل المسبق. جُمّدت خطة الاختبار في 2 نوفمبر 2026، وتقسيم التسجيلات الثنائية في 4 نوفمبر، قبل تشغيل أي نموذج على تلك المقاطع.
تفاصيل الاختبار كاملة
الاختيار. حُددت الأسئلة والقواعد لاختبار مرجعي أكبر قبل أي تشغيل؛ واخترنا هذه المجموعة الفرعية حسب الترخيص لا حسب النتائج، وأعدنا حساب الأرقام من المخرجات نفسها وبطريقة الاحتساب نفسها. التسجيلات أحادية المتحدث المجمّعة من مقاطع LibriSpeech وAISHELL-4 تُحتسب ضمن مصدرها. ننشر النتائج الإجمالية فقط، ولا ننشر الصوت أو النص المرجعي أبدًا.
| مجموعة البيانات | الترخيص | التسجيلات المستخدمة |
|---|---|---|
| AMI Meeting Corpus | CC BY 4.0 | 16 اجتماعًا و16 مقتطفًا مدة كل منها دقيقة |
| AISHELL-4 | CC BY-SA 4.0 | 5 اجتماعات و5 مقتطفات و5 تسجيلات مجمّعة لمتحدث واحد |
| AliMeeting | CC BY-SA 4.0 | 8 اجتماعات و8 مقتطفات وتسجيل واحد لشخصين |
| VoxConverse | CC BY 4.0 (تبقى حقوق الفيديو لأصحابها) | 30 برنامج بث و18 مقتطفًا |
| Earnings-21 | CC BY-SA 4.0 | 6 مكالمات إعلان نتائج وتسجيل واحد لشخصين |
| LibriSpeech | CC BY 4.0 | 5 تسجيلات مجمّعة لمتحدث واحد |
| IFADV | GNU GPL v2 أو أحدث | تسجيلان لشخصين |
| عينات لهجات فنلندية من SKN | CC BY (معهد لغات فنلندا) | تسجيل واحد لشخصين |
التراخيص كما تذكرها صفحة كل مجموعة بيانات، وقد راجعناها في نوفمبر 2026.
مجالات الثقة. انخفض معدل الخطأ الإجمالي بمقدار 6.0 نقاط (من 4.5 إلى 7.6). وانخفض الكلام الفائت بمقدار 2.3 نقطة (من 1.3 إلى 3.4)، والكلام المنسوب إلى متحدث خطأ بمقدار 3.4 نقطة (من 2.4 إلى 4.6)؛ وانخفض الضجيج المحسوب كلامًا بمقدار 0.30 نقطة، ضمن هامش الخطأ (من −0.02 إلى 0.62). وارتفعت نسبة التسجيلات التي عدد متحدثيها صحيح بمقدار 27.9 نقطة (من 17.2 إلى 38.5). في المجموعات، لا يشمل أي مجال الصفرَ باستثناء مجموعة المتحدث الواحد. وفي الاجتماعات الإنجليزية الـ12، يشمل مجال الجمل المقسومة الصفر، أما مجال الفواصل في منتصف الجملة فلا يشمله.
الاحتساب. تتطابق أداة الاحتساب لدينا مع pyannote.metrics بفارق لا يتجاوز 0.003 نقطة.
أكثر من ثمانية متحدثين. نتائج هذه التسجيلات حساسة للفروق الصغيرة في الشريحة وفك ترميز الصوت. في مكالمة إعلان النتائج التي مدتها 55 دقيقة وفيها 10 متحدثين، تراوحت نتيجة Nemotron 3 بين 30.6% و42.8% باختلاف الشرائح والإعدادات ومفككات ترميز الصوت، بينما سجّل pyannote community-1 نسبة 21.6%.
إعدادات المعالجة اللاحقة. اختيرت بعض إعدادات المعالجة اللاحقة بعد التسجيل المسبق، على تسجيلات ضبط منفصلة فقط؛ واستُخدمت تسجيلات الاختبار لعرض النتائج فقط.
القيود. قيست الدقة بالإنجليزية والصينية فقط؛ وعدد التعديلات اليدوية مأخوذ من 4 تسجيلات. أزمنة Mac مأخوذة من جهاز Mac بشريحة M5 كان يؤدي أعمالًا أخرى ويعمل بنسخة تجريبية من macOS؛ وكانت الهواتف موصولة عبر USB، لذلك لم يُقس استهلاك البطارية.
جرّبه
يستخدم Whisper Notes على iPhone وMac الآن Nemotron 3 للتعرف على المتحدثين. إذا كانت لديك أسئلة، راسلنا على support@whispernotes.app.
تحميل لنظام iOS