Parakeet V3 vs Whisper: 10배 빠르고, 높은 정확도 (벤치마크)

기본 모델을 바꾼 이유

Whisper는 좋은 모델이지만, 본질적으로 범용 모델입니다. 100개 이상의 언어를 지원하고, 번역도 하고, 타임스탬프도 생성하는 만능 도구죠. 대신 속도를 희생합니다. 영어 받아쓰기처럼 빠르게 글자만 나오면 되는 상황에서는 너무 무겁습니다.

가장 답답했던 건 Fn 키로 시스템 전체 음성 입력을 사용할 때였습니다. 약 1분 정도 말하고 나면 전사 결과가 나타나기까지 3~5초를 기다려야 합니다. 이 대기 시간이 흐름을 완전히 끊어버립니다. 말을 끝냈는데 커서만 깜빡이고, 아무것도 나타나지 않는 그 순간 — 음성 입력의 매력이 사라집니다.

Parakeet는 이 문제를 완전히 해결했습니다. 말을 멈추는 순간 글자가 나타날 정도로 빠릅니다. 말하면 바로 글자가 거기에 있습니다. 이 느낌 — 끊김 없이 대기 시간 제로인 흐름 — 을 한번 경험하면 Whisper로 돌아가기 정말 어렵습니다.

Parakeet V3는 얼마나 빠른가

숫자로 보는 것이 가장 확실합니다. 같은 Mac에서 같은 35분짜리 오디오 파일을 처리한 결과입니다:

10배 빠릅니다. 게다가 모델 크기가 더 작아서(6억 vs 8억 파라미터) 메모리와 배터리 소모도 적습니다.

Parakeet v3가 이렇게 빠른 이유

Whisper는 오디오를 책을 소리 내어 읽듯 처리합니다 — 한 프레임씩, 한 단어씩, 절대 건너뛰지 않습니다. 무음 구간에서도 계속 처리하고, 다음 단어를 추측합니다. 꼼꼼하긴 하지만 느립니다.

Parakeet는 근본적으로 다른 접근 방식을 취합니다. 먼저 오디오 신호를 8배로 압축해서 중요한 정보만 남깁니다. 그다음 프레임을 하나씩 처리하는 대신, 어떤 단어를 말했는지뿐만 아니라 그 단어가 얼마나 오래 지속되는지까지 예측하고 바로 다음으로 건너뜁니다. 무음? 통째로 건너뜁니다. 긴 모음? 수십 번 반복하지 않고 한 번의 예측으로 끝냅니다.

결과적으로 사람의 뇌처럼 음성을 처리하는 모델이 만들어졌습니다 — 의미 있는 단어에 집중하고 빈 구간은 무시합니다. 더 적은 파라미터, 더 높은 정확도로 10배의 속도를 달성할 수 있는 이유입니다.

벤치마크: Parakeet v3 vs Whisper

Parakeet v3는 FLEURS, CoVoST, MLS 벤치마크에서 파라미터 수 2~4배인 모델과 대등하거나 더 우수한 성능

Hugging Face Open ASR Leaderboard에서 Parakeet v3는 단 6억 파라미터로 1위를 차지했습니다. Whisper Large V3의 15.5억 파라미터의 절반도 안 됩니다:

다국어 WER: 전체 25개 언어

위의 리더보드는 영어만 다룹니다. 여기서는 전체 그림을 보여드립니다 — Whisper Notes에서 사용할 수 있는 세 가지 모델이 Parakeet가 지원하는 전체 25개 언어에서 어떻게 비교되는지, FLEURS 벤치마크로 측정했습니다. WER이 낮을수록 = 전사 오류가 적습니다. 각 행에서 Large V3와 Parakeet 중 더 좋은 값을 강조 표시했습니다:

WER(%)은 FLEURS 기준. Whisper Small 데이터는 Radford 등에서, Large V3 및 Parakeet V3 데이터는 NVIDIA Canary-1B-v2 논문에서 인용.

개별 언어 대부분에서는 Whisper Large V3가 근소하게 앞서지만, Parakeet V3는 평균적으로 근접하고(12.0% vs 12.6%), 그리스어, 프랑스어, 에스토니아어, 몰타어에서는 앞서며, Whisper Small의 평균 오류율을 약 60% 줄입니다. 실질적인 강점은 그 조합입니다: Large V3급 다국어 정확도를 약 23배의 속도로, 더 작은 런타임 용량과 저희 받아쓰기 테스트에서 훨씬 안정적인 무음 처리와 함께 제공합니다.

무음에서 환각이 더 적은 이유

Whisper로 받아쓰기를 해보신 적이 있다면, 무음 구간에서 모델이 환각을 일으키는 것을 경험하셨을 겁니다. 문구를 반복하거나, 없는 단어를 만들어내거나, 갑자기 "Subtitles by Amara.org" 같은 엉뚱한 텍스트가 나타나죠. Whisper의 자기회귀 디코더가 전사할 내용이 없어도 항상 텍스트를 생성하려 하기 때문입니다.

Parakeet의 트랜스듀서 아키텍처는 텍스트 토큰을 억지로 만들어내는 대신 빈 출력을 낼 수 있습니다. 저희 시스템 전체 받아쓰기 테스트에서, 이 덕분에 Whisper보다 멈춤 구간을 반복되거나 무관한 텍스트로 채울 가능성이 훨씬 낮습니다. 그래도 음성 모델이므로 정확한 표현은 "훨씬 낮다"이지 "절대 없다"가 아닙니다.

Parakeet가 지원하는 언어

Parakeet v3는 25개 언어를 지원합니다: 불가리아어, 크로아티아어, 체코어, 덴마크어, 네덜란드어, 영어, 에스토니아어, 핀란드어, 프랑스어, 독일어, 그리스어, 헝가리어, 이탈리아어, 라트비아어, 리투아니아어, 몰타어, 폴란드어, 포르투갈어, 루마니아어, 러시아어, 슬로바키아어, 슬로베니아어, 스페인어, 스웨덴어, 우크라이나어.

유럽 대부분을 커버하지만, 중국어, 일본어, 한국어, 아랍어, 힌디어는 지원하지 않습니다. 중국어, 일본어, 한국어, 광둥어라면 SenseVoice를 선택하세요. 아랍어, 힌디어 등 Parakeet가 지원하지 않는 언어에는 Whisper Large V3 Turbo를 사용하세요.

모델 선택기: Parakeet V3(기본), SenseVoice Small, Whisper Small, Whisper Large V3 Turbo — 모두 로컬에서 실행

Parakeet V2는 어떤가요?

V2를 사용해 보셨다면 V3와의 차이가 궁금하실 겁니다. V2는 영어 전용 모델로, 영어 정확도가 실제로 V3보다 약간 높습니다(WER 6.05% vs 6.32%). V3는 그 미세한 차이를 25개 언어 지원으로 바꿨습니다. 두 모델 모두 Whisper보다 훨씬 정확합니다.

요약하면: 영어만 필요하다면 V2와 V3 모두 훌륭합니다. Whisper Notes는 대부분의 사용자에게 다국어 지원이 중요하기 때문에 V3를 기본으로 사용합니다. 영어 정확도 차이는 무시할 수 있는 수준입니다.

WhisperKit은 어떤가요?

WhisperKit은 Apple 기기에서 Whisper 모델을 실행하기 위한 Argmax의 오픈소스 Swift 프레임워크입니다. 최종 사용자용 앱이 아니라 개발자 툴킷이며, 실행하는 것도 Whisper이지 Parakeet(NVIDIA의 모델 제품군)가 아닙니다. 직접 Swift 코드를 작성하지 않고 WhisperKit 스타일의 온디바이스 전사를 원한다면, Whisper Notes가 같은 아이디어를 완성된 앱으로 제공합니다: Parakeet V3, Whisper Large V3 Turbo, SenseVoice — 모두 Mac과 iPhone에서 로컬로 실행됩니다.

로컬 옵션을 전부 비교해 보고 싶으신가요? Whisper 계열, Parakeet V3, SenseVoice, Voxtral 등 모든 온디바이스 음성 인식 모델을 Whisper 모델 비교 페이지에서 나란히 비교할 수 있습니다. Whisper 자체가 처음이라면 Whisper 전사 가이드부터 시작하세요 — 모델이 무엇인지, 실행하는 모든 방법, 비용까지 정리되어 있습니다.

자주 묻는 질문

직접 사용해 보세요

Parakeet v3는 지금 Mac 버전에서 바로 사용할 수 있습니다 — 최신 DMG를 다운로드하시면 됩니다. (업데이트: 최신 iOS 버전에서도 Parakeet를 사용할 수 있습니다.)

질문이나 피드백이 있으시면 support@whispernotes.app으로 이메일을 보내주세요.

iOS용 다운로드 macOS용 다운로드