Whisper Large V3 Turbo vs V3: в 5 раз быстрее на Mac (бенчмарк)

V3 Turbo vs V3: что изменилось

Turbo — это не новая архитектура. Это тот же самый Whisper Large-v3, у которого декодер урезан с 32 слоёв до 4, а затем дообучен для восстановления точности. Энкодер остался без изменений.

Методика: один и тот же 10-минутный аудиофайл расшифровывался в одной и той же сборке Whisper Notes на каждом из указанных устройств. Время — реальные секунды от старта расшифровки до финального текста; между V3 и Turbo менялась только модель.

Задача перевода была явно исключена из обучающих данных Turbo. Полная модель Large-v3 её поддерживает, но в Whisper Notes есть только Turbo — в версии для Mac с нашего сайта ИИ-ассистент может перевести расшифровку локальной моделью Gemma.

Базовая модель: что такое Whisper Large-v3?

Whisper Large-v3 — флагманская открытая модель распознавания речи от OpenAI, выпущенная в ноябре 2023 года. У неё 1,55B параметров, на входе — спектрограмма со 128 мел-полосами, обучение шло на 5 миллионах часов аудио (1 млн часов со слабой разметкой + 4 млн с псевдоразметкой), поддерживаются 100+ языков. В Hugging Face Open ASR Leaderboard её средний WER — около 7,4 % — тот потолок точности, с которым Turbo сравнивается на протяжении всей статьи. Как Turbo выглядит на фоне остальных моделей Whisper Notes на каждом из 42 языков — в нашем сравнении моделей Whisper.

Бенчмарк скорости: Whisper Notes на Apple Silicon

В Whisper Notes для Mac Turbo работает через CoreML на Neural Engine. Обработка 10 минут аудио:

Ускорение в 5× характерно именно для Whisper Notes на Apple Silicon, где уменьшенный декодер выигрывает от оптимизации Neural Engine. На GPU с фреймворками вроде faster-whisper разрыв сужается до ~2,7× (см. бенчмарки сообщества ниже).

Оговорка о строках iPhone и iPad: это прогоны для оценки самой модели на этом железе, а не список моделей в приложении для iPhone. В Whisper Notes для iPhone модели Large V3 Turbo нет, и это осознанное решение — почему, объясняет таблица по устройствам ниже.

Точность: сравнение WER

Hugging Face Open ASR Leaderboard тестирует обе модели на одних и тех же англоязычных датасетах. WER (коэффициент ошибок слов) Turbo отличается от V3 менее чем на полпункта по каждому бенчмарку:

V3 немного точнее на каждом датасете, но разница невелика — 0,39 процентных пункта в среднем. В большинстве реальных сценариев расшифровки вы не заметите разницы.

На оценке длинных записей YouTube-commons (одном из крупнейших открытых ASR-бенчмарков) Turbo показывает 13.40% WER против 13.20% у V3 — при этом работая со скоростью 129.5× от реального времени против 55.3×. Это в 2,3× быстрее при практически идентичной точности на реальном аудио.

Насколько точен Turbo в русском, корейском и других языках?

Все бенчмарки выше — английские. Согласно карточке модели OpenAI, урезанный до 4 слоёв декодер Turbo теряет в неанглийских языках чуть больше точности, чем в английском, и сильнее всего — в языках с малым объёмом данных. В русском и большинстве европейских языков Turbo держится близко к полному Large-v3 — а если вы пользуетесь Whisper Notes, встроенная модель Parakeet (Parakeet Ultra от Moondream, дообученная версия NVIDIA Parakeet V3) покрывает русский и ещё 24 европейских языка; Parakeet V3 работал со скоростью около 60× реального времени на Apple Silicon.

Для китайского, японского, корейского и кантонского SenseVoice работает гораздо быстрее — 115–131× от реального времени, а на Mac меньше всего ошибается Qwen3-ASR 1.7B (Beta). На японском и корейском Turbo держится достойно: в нашем прогоне FLEURS он ошибался там реже, чем SenseVoice. В Whisper Notes SenseVoice есть и на iPhone, и на Mac, где он работает рядом с Turbo, так что модель можно подбирать под язык, а не прогонять всё через одну.

Turbo, Parakeet или SenseVoice: какую локальную модель выбрать?

Large-v3 Turbo — модель Whisper с самым широким охватом языков из тех, что можно запустить локально. Но для большинства конкретных задач она не лучшая: на Apple Silicon с ней соперничают два специалиста, которые обходят её в своих языках. В Whisper Notes на Mac пять моделей, одинаковых в версии из Mac App Store и в версии с нашего сайта: Parakeet, SenseVoice Small, Whisper Small, Whisper Large V3 Turbo и Qwen3-ASR 1.7B (Beta). Выбор почти целиком зависит от того, на каком языке вы говорите и какое у вас железо, а не от рейтингов.

Все модели рядом. Каждое число в таблице взято из наших тестов на Apple Silicon или из опубликованных бенчмарков, перечисленных под ней:

WER на английском — среднее по англоязычным датасетам Hugging Face Open ASR Leaderboard; зелёным отмечен лучший результат в столбце. SenseVoice Small и Whisper Small в этот прогон не входили, поэтому эти ячейки мы оставили пустыми, а не стали угадывать. В среднем по 25 европейским языкам FLEURS: 12,0 % у Parakeet V3, 12,6 % у полного Whisper Large V3 и 29,8 % у Whisper Small; Turbo на этом многоязычном наборе отдельно не тестировался. Скорость — коэффициент реального времени из наших прогонов на Apple Silicon, кроме двух множителей «от полного Large-v3». Размеры загрузки измерены в версии Whisper Notes для Mac. Память — пиковый объём процесса каждого движка в нашем прогоне FLEURS на MacBook Air M5; так измерены Parakeet V3, SenseVoice Small и Whisper Small. 2,4 ГБ у Whisper Large V3 Turbo — рабочий объём, который указывает приложение, а не измеренный нами пик. Оба соотношения скоростей посчитаны по коэффициентам реального времени на одном и том же аудио на M4 Pro: Parakeet V3 — на 5-минутном английском файле, SenseVoice Small — на 27-минутном китайском подкасте; Whisper Small ни на одном из них не замеряли. Тест с подкастом проводился на более ранней версии приложения; нынешняя скорость SenseVoice Small из карточки модели, 115–131×, примерно та же.

Все эти модели работают полностью на устройстве, а движок выбирается в настройках: в приложении для iPhone есть Parakeet, Whisper Small и SenseVoice Small, в обеих версиях для Mac к ним добавляются Whisper Large V3 Turbo и Qwen3-ASR 1.7B (Beta).

Один набор моделей, подобранный под каждое устройство

Какие из них можно загрузить, зависит от устройства. В двух версиях для Mac — из Mac App Store и с нашего сайта — модели одинаковые, в приложении для iPhone их меньше:

Последняя строка — продуктовое решение, а не недосмотр. Turbo — это загрузка около 2 ГБ и примерно 2,4 ГБ памяти во время работы. Для Mac на Apple Silicon это разумно, для большинства iPhone — нет: там то же место и та же память дают набор моделей быстрее и, в своих языках, точнее. Поэтому в приложении для iPhone Parakeet встроен, а Whisper Small и SenseVoice Small можно скачать отдельно. Parakeet отвечает за 25 европейских языков (6,32 % WER на английском), SenseVoice — за китайский, японский, корейский и кантонский, а Whisper Small — запасной вариант на 100 языков, который спокойно помещается в память телефона. Каждому устройству — свои модели, а не один и тот же файл на 2 ГБ везде, куда он технически влезает.

У каждой модели выше есть и слабое место, о котором лучше знать заранее, — см. раздел «В чём ошибается каждая модель» ниже. Все модели рядом, с долей ошибок на 42 языках, — в нашем сравнении моделей Whisper.

Бенчмарки сообщества: GPU и CPU

Независимые бенчмарки от сообществ faster-whisper и whisper.cpp показывают стабильные результаты на разном оборудовании. Расшифровка 13 минут аудио с faster-whisper на GPU:

Источник: бенчмарк faster-whisper на GPU NVIDIA, валидационный сплит LibriSpeech clean. Turbo int8 использует всего 1,5 ГБ VRAM — помещается в GPU с 2 ГБ.

Пакетная обработка на RTX 3060 Laptop (6 ГБ VRAM, точность int8) ещё больше увеличивает преимущество:

Источник: бенчмарк NilaierMusic, Intel i7-12650H + RTX 3060 Laptop 6 ГБ, французское аудио, точность int8.

При пакетной обработке Turbo показывает лучший WER среди всех протестированных моделей (7,7%), одновременно являясь самым быстрым. Это оптимальный выбор для продакшена.

Turbo vs Medium vs все размеры моделей Whisper

До появления Turbo обычным компромиссом была Medium: приемлемая точность при терпимой скорости. Turbo делает этот компромисс ненужным — со своими 809M параметров он едва больше Medium (769M), но выдаёт точность класса Large в несколько раз быстрее. Вот всё семейство моделей бок о бок:

Выпущенный 30 сентября 2024 года, Turbo насчитывает 809M параметров. Если раньше вы выбирали Medium ради экономии места или скорости, то теперь Turbo обходит её и по точности, и по скорости при примерно том же размере.

Из этой таблицы в Whisper Notes есть только две строки — Whisper Small и Whisper Large V3 Turbo. Tiny, base и medium убраны намеренно: на Apple Silicon каждую из них превосходит другая модель из набора. Всё, для чего вы запустили бы tiny или base, Parakeet сделает быстрее и гораздо точнее; всё, ради чего брали medium, Turbo сделает лучше при похожем размере. Whisper Small остался, потому что это самая маленькая модель, которая покрывает все 100 языков.

Известные ограничения (и как Whisper Notes их решает)

В чём ошибается каждая модель

У каждой модели в этом наборе есть то, что ей действительно не даётся. Whisper — и Small, и Large V3 Turbo — галлюцинирует на тишине. Его декодер авторегрессионный: он предсказывает следующий токен, даже если слушать уже нечего. Поэтому тихий отрезок может превратиться в повторяющуюся фразу, случайную строку из титров или гладкое предложение, которого никто не произносил. С 4-слойным декодером Turbo на очень коротких или шумных клипах это случается чуть чаще, чем у полного Large-v3. Определение голосовой активности убирает большую часть таких ошибок, потому что тишина просто не доходит до модели, а Parakeet V3 в наших тестах на тишине выдумывал заметно меньше слов. Но ни одна модель распознавания речи не заслуживает слова «никогда», так что расшифровку стоит перечитать, прежде чем на неё полагаться.

У Parakeet жёсткий потолок в 25 языков, и все они европейские. Нет китайского, японского, корейского, кантонского, арабского, хинди, тайского, иврита. Если речь выйдет за пределы этого набора, он не предупредит, а просто уверенно выдаст бессмыслицу. У SenseVoice Small набор ещё уже: английский, упрощённый и традиционный китайский, кантонский, японский и корейский — и больше ничего. На своём материале это самая быстрая модель здесь, на всём остальном — неподходящий инструмент. Whisper Small требует меньше всех ресурсов и ошибается чаще всех: 29,8 % WER в среднем по 25 европейским языкам FLEURS против 12,0 % у Parakeet V3. Сильнее всего это видно на именах собственных, терминах и речи с акцентом.

И все они требуют места и железа. Это настоящие файлы на диске, а не обращение к API: Turbo — загрузка около 2 ГБ и примерно 2,4 ГБ памяти во время расшифровки, SenseVoice Small — около 450 МБ, Whisper Small — 600 МБ, а Parakeet встроен в приложение. Набор рассчитан на Apple Silicon: macOS 14 и новее на M1 и более новых чипах, iOS 18 и новее на iPhone; версия из Mac App Store ставится и на Mac на Intel, но без SenseVoice, Qwen3-ASR и быстрой живой расшифровки. Версий для Windows и Android нет, и Whisper Notes — не инструмент для живых субтитров: полная расшифровка появляется после остановки записи. Пока вы записываете на iPhone или записываете встречу на Mac, живая расшифровка показывает слова через несколько секунд на 25 европейских языках Parakeet; на Mac другие языки обновляются примерно раз в 30 секунд.

Какую модель выбрать?

Whisper Large-v3 Turbo: частые вопросы

Сравниваете все локальные варианты? Все модели распознавания речи в Whisper Notes — от Parakeet и Whisper до Qwen3-ASR и SenseVoice — сопоставлены по каждому языку на нашей странице сравнения моделей Whisper. Только знакомитесь с Whisper? Начните с гида по транскрибации Whisper — что это за модель, какие есть способы её запустить и во сколько это обойдётся.

Скачать для iOS Скачать для macOS