Коли ви розшифровуєте інтерв'ю або зустріч кількох людей, важливо знати, хто сказав кожне речення. Whisper Notes розпізнає мовлення й визначає мовців офлайн, безпосередньо на iPhone або Mac, тож кожна модель у застосунку має поєднувати точність і швидкість, і точність для нас завжди на першому місці. Нещодавно ми замінили вбудовану модель діаризації pyannote community-1 на Nemotron 3 Diarization від NVIDIA і порівняли їх на 122 відкритих записах, у яких говорять від однієї до дванадцяти людей: частка помилок діаризації (DER) знизилася з 16,0 % до 9,9 %.
Nemotron 3 знижує частку помилок діаризації з 16,0 % до 9,9 %
Частка помилок діаризації (DER) складається з трьох видів помилок, виміряних за часом мовлення: мовлення, приписане іншій людині, пропущене мовлення та шум, сприйнятий як мовлення. Це стандартна міра якості діаризації. У таблиці вона стоїть поруч із проблемами, які користувачі помічають найчастіше, а також зі швидкістю й пам'яттю обох моделей на Mac та iPhone.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Частка помилок діаризації, 122 записи | 16,0 % | 9,9 % |
| Кількість мовців визначено правильно | 52 % записів | 80 % записів |
| Мовлення, приписане іншій людині | 4,5 % | 1,0 % |
| 1 година аудіо на Mac (M5) | близько 22 с | близько 8,5 с |
| Пам'ять на Mac | 0,88 ГБ | 0,12 ГБ |
| 55-хвилинний запис, iPhone 15 | близько 27 с | близько 12 с |
| Додаткова пам'ять на iPhone 15 | близько 830 МБ | близько 30 МБ |
| Максимум мовців | Без жорсткого обмеження (у застосунку до 10) | 8 |
Зеленим тут і в усіх таблицях та графіках нижче позначено краще значення, якщо різниця перевищує похибку: для точності — якщо 95-відсотковий інтервал не містить нуля, для швидкості й пам'яті — якщо розрив набагато більший за розкид між запусками. Частка помилок: що менше, то краще. Рядки про точність отримано на 122 відкритих записах (25 годин, англійською та китайською). Швидкість і пам'ять виміряно для обох моделей під час роботи через Core ML, Nemotron 3 — на Neural Engine; для Mac указано лише час обробки, для iPhone — час від початку визначення до результату.
Зниження не зводиться до кількох окремих записів. Графік показує зміну на кожному зі 122 записів — від найбільшого зниження до найбільшого зростання:
Кожен стовпчик — один запис: на скільки пунктів змінилася його частка помилок із Nemotron 3. Нижче нуля — знизилася, вище нуля — зросла.
Nemotron 3 гірша у трьох випадках: на записах, де мовців більше восьми, на записах з одним мовцем і в розривах абзаців посеред речення.
Плутанина мовців майже зникла: 4,5 % → 1,0 %
Із трьох видів помилок першим впадає в око мовлення, приписане іншій людині: слова правильні, а ім'я — ні. З Nemotron 3 таких помилок майже не лишається, і пропущеного мовлення теж стає менше.
Середнє за 122 записами, у відсотках від часу мовлення; обидва стовпчики в кожному рядку починаються з нуля. Зниження для мовлення, приписаного іншій людині, і для пропущеного мовлення більше за похибку. Різниця для шуму, сприйнятого як мовлення, укладається в похибку, тому цей стовпчик світло-сірий. Значення округлено, тож у сумі вони можуть не збігатися з підсумком.
Правильна кількість мовців у 80 % записів замість 52 %
Якщо модель знаходить замало мовців, це означає, що два голоси злилися в один, і репліки двох людей потрапляють під одну мітку. Це найчастіша помилка pyannote community-1, а Nemotron 3 робить її набагато рідше.
Скільки мовців знайшла кожна модель порівняно з реальною кількістю, на 122 записах. pyannote community-1 здебільшого недораховує мовців. Nemotron 3 влучає частіше, а коли помиляється, то знаходить зайвих мовців так само часто, як і недораховує.
Краще на зустрічах, в ефірах і на записах із двома–вісьмома мовцями
Записи дуже різняться за складністю: зустрічі, записані віддаленим мікрофоном, — найважчі, ефіри — найпростіші. Якщо розбити записи за типом, мовою й кількістю мовців, у кожній групі, де щонайменше десять записів, частка помилок нижча; для групи з одним мовцем різниця в межах похибки. На трьох записах із дев'ятьма–дванадцятьма мовцями результат погіршився, але їх замало для перевірки.
Обидва стовпчики в кожній групі починаються з нуля: сірий — pyannote community-1, зелений — Nemotron 3, число в кінці стовпчика — середня частка помилок. Зелений означає зниження більше за похибку, світло-сірий — різницю в межах похибки, жовтий — зростання. 6 дзвінків щодо фінансових результатів враховано в загальних підсумках, але для окремої групи їх замало.
Редагування розшифровки: з 28,9 до 18,9 ручних виправлень на 10 хвилин
Зрештою частка помилок перетворюється на роботу: скільки разів треба об'єднати чи розділити абзаци й змінити мовця, щоб у режимі мовців усе було правильно. Ми порахували мінімальну кількість таких виправлень на 4 записах двох співрозмовників, для яких є пословна еталонна розшифровка (2 нідерландською, 1 китайською, 1 фінською). Ще одна помітна помилка — коли речення однієї людини розрізано між двома мовцями. На 12 англійських зустрічах, записаних далеким мікрофоном, обидві моделі роблять це рідко, і різниця в межах похибки.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Ручних виправлень на 10 хвилин, 4 записи двох співрозмовників | 28,9 | 18,9 |
| Речення розрізано між двома мовцями, 12 англійських зустрічей | 0,58 % речень | 0,88 % речень |
Кількість ручних виправлень отримано лише на 4 записах: цього замало для статистичної перевірки чи загального висновку. Розрізане речення — це речення однієї людини, текст якого потрапив в абзаци двох мовців.
Nemotron 3 швидша й потребує менш ніж сьому частину пам'яті
На пристрої швидкість і пам'ять важать не менше за точність. У таблиці — час обробки й пам'ять обох моделей під час роботи через Core ML, Nemotron 3 — на Neural Engine. На кожному пристрої, який ми перевірили, Nemotron 3 швидша й витрачає набагато менше пам'яті. Найбільше це важить на старіших iPhone із 4 ГБ пам'яті.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Mac (M5) | ||
| 1 година аудіо | близько 22 с | близько 8,5 с |
| Пам'ять | 0,88 ГБ | 0,12 ГБ |
| iPhone 15 | ||
| 55-хвилинний запис | 26,6 с | 11,8 с |
| Додаткова пам'ять під час визначення | 833 МБ | 30 МБ |
| iPhone 12 mini | ||
| 55-хвилинний запис | 30,1 с | 17,2 с |
| Пікова пам'ять застосунку під час визначення | 638 МБ | 71 МБ |
Медіана кількох запусків (pyannote community-1 на iPhone 15 запускали один раз), щоразу той самий 55-хвилинний дзвінок щодо фінансових результатів із 10 мовцями. Обидві моделі працюють через Core ML, Nemotron 3 — на Neural Engine. Для Mac указано лише час обробки, без декодування аудіо та завантаження моделі. Для iPhone час відлічується від початку визначення до результату й охоплює завантаження моделі, а для pyannote community-1 — ще й постобробку, з якою вона постачалася. Телефони були під'єднані через USB, а перед кожним запуском телефон був холодним.
Коли Core ML уперше запускає модель на Neural Engine, він компілює її під цей пристрій: близько 7 секунд на Mac і близько хвилини на iPhone 15. Після цього модель завантажується за частку секунди.
Де pyannote community-1 досі краща
- Більше восьми мовців. Nemotron 3 розмічає не більше восьми людей. Із 3 наших записів із дев'ятьма–дванадцятьма мовцями на 2 її результат гірший, ніж у pyannote community-1.
- Один мовець. На 14 записах з одним мовцем Nemotron 3 знайшла зайвих мовців у 5, pyannote community-1 — в 1.
- Розриви посеред речення. На 12 англійських зустрічах 25,8 % розривів абзаців припало на середину речення, у pyannote community-1 — 14,6 %.
Як отримати від Nemotron 3 у Whisper Notes найкращий результат
- Укажіть кількість мовців, якщо знаєте її. На 108 записах із двома й більше мовцями вказана кількість мовців виправила підрахунок Nemotron 3 у 15 записах і в жодному не зробила його хибним, а частка помилок помітно не змінилася (+0,16 в. п., у межах похибки).
- Якщо говорить одна людина, не запускайте визначення мовців. Так не з'явиться випадковий другий «мовець».
- Якщо мовців більше восьми, вважайте мітки чернеткою. За потреби об'єднайте й перейменуйте мовців у режимі мовців.
Кількість мовців задається через Not right? у режимі мовців на Mac
Визначення мовців працює однаково на iPhone і Mac, повністю на пристрої. Як користуватися ним у застосунку, читайте в статті Whisper Notes тепер визначає мовців.
Як вони влаштовані: pyannote розрізає й кластеризує, Nemotron 3 нумерує мовців у порядку першої репліки
pyannote community-1 — конвеєр із трьох кроків. Спершу він розрізає аудіо на 10-секундні вікна й у кожному знаходить, хто говорить (до 3 людей у вікні, до 2 одночасно). Потім для кожного фрагмента мовлення видобувається голосовий відбиток, або ембединг. Насамкінець кластеризація VBx об'єднує схожі відбитки в мовців. Номери мовців діють лише всередині свого вікна, тому загальна кількість мовців визначається тільки на останньому кроці.
Nemotron 3 Diarization — одна модель: 31-шаровий кодувальник Transformer, який у кожен момент оцінює вісім доріжок мовців. Кожна доріжка оцінюється окремо, тому, коли кілька людей говорять одночасно, активні кілька доріжок. Модель дотримується підходу Sortformer від NVIDIA й нумерує доріжки за тим, коли людина вперше заговорила: перший, хто заговорив, завжди на доріжці 1, тож моделі не треба вгадувати, до якого слота віднести голос. У потоковому режимі, який описано в картці моделі, попередніх мовців запам'ятовує кеш, упорядкований за часом появи, тож пізніший фрагмент можна віднести до того самого номера.
Кожен підхід має свою межу. pyannote community-1 не обмежує кількість мовців, але в один момент розділяє не більше двох людей. Nemotron 3 розмічає кількох людей, що говорять одночасно, але доріжок у неї вісім, тому вона знаходить не більше восьми мовців.
Схеми спрощено. pyannote community-1: близько 21 МБ у Whisper Notes, CC BY 4.0 (картка моделі); модель сегментації — Plaquet і Bredin (Interspeech 2023), ембединги — WeSpeaker, кластеризація — VBx (Landini та ін., 2022). Nemotron 3 Diarization: 97 МБ (8-бітна конвертація в Core ML від Fluid Inference), близько 100 мільйонів параметрів, OpenMDW 1.1 (картка моделі); метод описано в статтях Sortformer і Streaming Sortformer.
Як ми тестували
- Записи. 122 відкриті записи, 25 годин, англійською та китайською, від 1 до 12 мовців у кожному: зустрічі, записані віддаленим мікрофоном, ефіри, дзвінки щодо фінансових результатів і записи одного мовця, склеєні з окремих фрагментів. Ще 5 записів двох співрозмовників англійською, нідерландською, китайською та фінською; для 4 з них є пословна еталонна розшифровка.
- Набори даних. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV і SKN, а також наші власні записи. Лише набори, ліцензії яких дозволяють публікувати результати; записів наших користувачів тут немає.
- Метрика. Частка помилок діаризації, кадри по 10 мс без допуску на межах (collar), з урахуванням мовлення, що накладається, середнє за записами.
- Статистика. 95-відсоткові інтервали за 10 000 бутстреп-вибірок цілих записів; для груп, де менше десяти записів, інтервали не наводимо.
- Пристрої. Mac із чипом M5, iPhone 15 та iPhone 12 mini; точність обчислювали на Mac.
- Попередня реєстрація. План тесту зафіксували 2 листопада 2026 року, а набір записів двох співрозмовників — 4 листопада, до того як будь-яка модель обробила ці фрагменти.
Усі подробиці тесту
Відбір. Питання й правила зафіксували для більшого бенчмарку до першого запуску. Цю підмножину ми вибрали за ліцензією, а не за результатами, і перерахували цифри з тих самих результатів моделей за тією самою методикою оцінювання. Записи одного мовця, склеєні з фрагментів LibriSpeech та AISHELL-4, зараховано до свого джерела. Ми публікуємо лише зведені результати — без аудіо й еталонних текстів.
| Набір даних | Ліцензія | Використані записи |
|---|---|---|
| AMI Meeting Corpus | CC BY 4.0 | 16 зустрічей і 16 однохвилинних фрагментів |
| AISHELL-4 | CC BY-SA 4.0 | 5 зустрічей, 5 фрагментів, 5 склеєних записів одного мовця |
| AliMeeting | CC BY-SA 4.0 | 8 зустрічей, 8 фрагментів, 1 запис двох співрозмовників |
| VoxConverse | CC BY 4.0 (авторські права на відео лишаються за власниками) | 30 ефірів і 18 фрагментів |
| Earnings-21 | CC BY-SA 4.0 | 6 дзвінків щодо фінансових результатів, 1 запис двох співрозмовників |
| LibriSpeech | CC BY 4.0 | 5 склеєних записів одного мовця |
| IFADV | GNU GPL v2 або новіша | 2 записи двох співрозмовників |
| Зразки фінських діалектів SKN | CC BY (Інститут мов Фінляндії) | 1 запис двох співрозмовників |
Ліцензії вказано так, як їх наведено на сторінці кожного набору даних; перевірено в листопаді 2026 року.
Інтервали. Загальна частка помилок знизилася на 6,0 в. п. (від 4,5 до 7,6). Пропущене мовлення скоротилося на 2,3 в. п. (від 1,3 до 3,4), мовлення, приписане іншій людині, — на 3,4 в. п. (від 2,4 до 4,6); шум, сприйнятий як мовлення, — на 0,30 в. п., у межах похибки (від −0,02 до 0,62). Частка записів із правильною кількістю мовців зросла на 27,9 в. п. (від 17,2 до 38,5). У групах усі інтервали, крім групи з одним мовцем, не містять нуля. На 12 англійських зустрічах інтервал для розрізаних речень містить нуль, а для розривів посеред речення — ні.
Оцінювання. Наша програма оцінювання розходиться з pyannote.metrics не більше ніж на 0,003 в. п.
Більше восьми мовців. Результати на таких записах чутливі до невеликих відмінностей у чипі й декодуванні аудіо. На 55-хвилинному дзвінку щодо фінансових результатів із 10 мовцями частка помилок Nemotron 3 коливалася від 30,6 % до 42,8 % залежно від чипа, налаштувань і аудіодекодера; у pyannote community-1 — 21,6 %.
Налаштування постобробки. Частину налаштувань постобробки вибрано після попередньої реєстрації, лише на окремих записах для налаштування; тестові записи використано тільки для звіту про результати.
Обмеження. Точність вимірювали лише англійською та китайською; кількість ручних виправлень отримано на 4 записах. Заміри на Mac зроблено на Mac з M5, де паралельно виконувалася інша робота й стояла бета-версія macOS. Телефони були під'єднані через USB, тому витрату батареї не вимірювали.
Спробуйте
Whisper Notes на iPhone і Mac тепер визначає мовців за допомогою Nemotron 3. Якщо маєте запитання, пишіть на support@whispernotes.app.
Завантажити для iOS