Nemotron 3 vs pyannote: 화자 분할 오류율 16.0% → 9.9%

Nemotron 3는 화자 분할 오류율을 16.0%에서 9.9%로 낮췄습니다

화자 분할 오류율(DER)은 세 가지 오류를 발화 시간 기준으로 더한 값입니다. 다른 사람에게 배정된 음성, 모델이 놓친 음성, 음성으로 잘못 잡은 소음이 그것입니다. 화자 분할을 평가할 때 쓰는 표준 지표입니다. 아래 표에는 이 값과 함께 사용자가 가장 먼저 알아차리는 문제들, 그리고 Mac과 iPhone에서 잰 두 모델의 속도와 메모리를 정리했습니다.

이 표와 아래의 모든 표·차트에서 초록색은 차이가 오차 범위를 넘을 때 더 나은 쪽을 표시합니다. 정확도는 95% 구간에 0이 들어가지 않을 때, 속도와 메모리는 차이가 실행할 때마다 생기는 편차보다 훨씬 클 때입니다. 오류율은 낮을수록 좋습니다. 정확도 행은 공개 녹음 122개(25시간, 영어와 중국어)에서 나온 결과입니다. 속도와 메모리는 두 모델을 Core ML로 실행한 값이며, Nemotron 3는 Neural Engine에서 실행했습니다. Mac은 순수 처리 시간이고, iPhone은 식별을 시작해 결과가 나올 때까지 걸린 시간입니다.

이 감소는 몇몇 녹음에 치우친 결과가 아닙니다. 아래 차트는 녹음 122개 각각의 변화를, 가장 크게 줄어든 녹음부터 가장 크게 늘어난 녹음 순으로 보여 줍니다.

막대 하나가 녹음 하나이며, Nemotron 3로 바꾼 뒤 오류율이 몇 %p 바뀌었는지 보여 줍니다. 0보다 아래면 줄어든 것이고, 위면 늘어난 것입니다.

Nemotron 3가 더 나쁜 경우는 세 가지입니다. 화자가 8명을 넘는 녹음, 화자가 한 명뿐인 녹음, 그리고 문장 중간에서 문단이 나뉘는 문제입니다.

화자 혼동이 거의 사라졌습니다: 4.5% → 1.0%

세 가지 오류 가운데 읽는 사람이 가장 먼저 알아차리는 것은 화자 혼동, 즉 다른 사람에게 배정된 음성입니다. 내용은 맞는데 이름이 틀린 경우입니다. Nemotron 3에서는 이 오류가 거의 사라졌고, 놓친 음성도 줄었습니다.

녹음 122개의 평균이며, 단위는 발화 시간 대비 비율(%)입니다. 각 행의 두 막대는 모두 0에서 시작합니다. 화자 혼동과 놓친 음성의 감소는 오차 범위를 넘습니다. 소음을 음성으로 잡은 비율의 차이는 오차 범위 안이어서 그 막대는 연회색으로 표시했습니다. 값을 반올림했기 때문에 합이 전체와 정확히 맞지 않을 수 있습니다.

화자 수를 맞힌 녹음이 52%에서 80%로 늘었습니다

화자를 실제보다 적게 찾았다면 두 목소리를 한 사람으로 합친 것입니다. 그러면 두 사람의 발언이 화자 라벨 하나로 묶여 나옵니다. pyannote community-1에서 가장 흔한 실수였고, Nemotron 3는 이 실수가 훨씬 적습니다.

녹음 122개에서 각 모델이 찾은 화자 수를 실제 인원과 비교했습니다. pyannote community-1은 대부분 적게 찾았습니다. Nemotron 3는 맞힌 경우가 더 많고, 틀린 경우에는 실제보다 많이 찾은 녹음과 적게 찾은 녹음의 수가 같습니다.

회의, 방송, 화자 2~8명 녹음에서 더 정확합니다

녹음에 따라 난도 차이가 큽니다. 원거리 마이크로 녹음한 회의가 가장 어렵고, 방송이 가장 쉽습니다. 녹음 유형, 언어, 화자 수로 나눠 보면 녹음이 10개 이상인 그룹은 모두 오류율이 내려갔습니다. 다만 화자 1명 그룹은 차이가 오차 범위 안입니다. 화자가 9~12명인 녹음 3개는 나빠졌지만, 검정하기에는 수가 너무 적습니다.

각 그룹의 두 막대는 모두 0에서 시작합니다. 회색은 pyannote community-1, 초록색은 Nemotron 3입니다. 막대 끝의 숫자는 평균 오류율입니다. 초록색은 오차 범위를 넘는 감소, 연회색은 오차 범위 안의 차이, 노란색은 증가를 뜻합니다. 실적 발표 콘퍼런스 콜 6개는 전체 결과에는 포함되지만, 따로 그룹을 만들기에는 수가 너무 적습니다.

전사본 정리: 10분당 수동 수정이 28.9회에서 18.9회로 줄었습니다

오류율은 결국 사람이 직접 고쳐야 하는 일로 돌아옵니다. 화자 보기를 바로잡으려면 화자를 합치고, 나누고, 바꿔야 합니다. 단어 단위 정답 텍스트가 있는 2인 녹음 4개(네덜란드어 2개, 중국어 1개, 핀란드어 1개)에서 이런 수정의 최소 횟수를 셌습니다. 읽는 사람이 알아차리는 또 다른 오류는 한 사람의 문장이 두 화자로 나뉘는 경우입니다. 원거리 마이크로 녹음한 영어 회의 12개에서는 두 모델 모두 이런 경우가 드물었고, 차이도 오차 범위 안이었습니다.

수동 수정 횟수는 녹음 4개만으로 낸 값이어서, 통계 검정을 하거나 일반화하기에는 표본이 너무 적습니다. 나뉜 문장이란 한 사람이 말한 문장이 두 화자의 문단에 나뉘어 들어간 경우를 말합니다.

Nemotron 3는 더 빠르고, 메모리는 7분의 1도 쓰지 않습니다

기기에서 실행할 때는 속도와 메모리도 정확도만큼 중요합니다. 아래 표는 두 모델을 Core ML로 실행했을 때의 처리 시간과 메모리이며, Nemotron 3는 Neural Engine에서 실행했습니다. 저희가 테스트한 모든 기기에서 Nemotron 3가 더 빠르고 메모리도 훨씬 적게 썼습니다. 메모리가 4 GB인 구형 iPhone에서는 이 차이가 특히 중요합니다.

여러 번 실행한 중앙값입니다(pyannote community-1은 iPhone 15에서 한 번만 실행). 모두 화자 10명이 참여한 같은 55분짜리 실적 발표 콘퍼런스 콜로 측정했습니다. 두 모델 모두 Core ML로 실행했고, Nemotron 3는 Neural Engine에서 실행했습니다. Mac은 처리 시간만 쟀으며 오디오 디코딩과 모델 로딩은 포함하지 않습니다. iPhone은 식별 시작부터 결과까지의 시간으로, 모델 로딩이 포함되며, pyannote community-1은 모델과 함께 제공되던 후처리도 포함됩니다. 휴대폰은 USB로 연결했고, 매번 기기가 식은 상태에서 시작했습니다.

Core ML은 Neural Engine에서 모델을 처음 실행할 때 그 기기에 맞게 모델을 컴파일합니다. Mac에서는 약 7초, iPhone 15에서는 약 1분이 걸립니다. 그 뒤로는 모델을 불러오는 데 1초도 걸리지 않습니다.

pyannote community-1이 여전히 나은 경우

• 화자가 8명을 넘을 때. Nemotron 3는 최대 8명까지만 라벨을 붙입니다. 화자가 9~12명인 녹음 3개 중 2개에서 pyannote community-1보다 나빴습니다.
• 한 사람만 말할 때. 화자가 한 명인 녹음 14개 중 Nemotron 3는 5개에서 없는 화자를 더 찾았고, pyannote community-1은 1개였습니다.
• 문장 중간의 문단 나눔. 영어 회의 12개에서 Nemotron 3의 문단 나눔 중 25.8%가 문장 중간에 들어갔습니다. pyannote community-1은 14.6%였습니다.

Whisper Notes에서 Nemotron 3를 더 잘 쓰는 팁

• 인원을 알면 화자 수를 지정하세요. 화자가 2명 이상인 녹음 108개에서 Nemotron 3에 인원을 알려 주자 15개에서 화자 수가 바로잡혔고, 틀리게 바뀐 녹음은 없었습니다. 오류율에는 뚜렷한 변화가 없었습니다(+0.16%p, 오차 범위 이내).
• 한 사람만 말한다면 화자 식별을 건너뛰세요. 가끔 나타나는 두 번째 ‘화자’를 피할 수 있습니다.
• 화자가 8명을 넘으면 라벨을 초안으로 보세요. 필요한 곳은 화자 보기에서 화자를 합치고 이름을 바꾸면 됩니다.

Mac 화자 보기에서 Not right?로 화자 수 지정하기

화자 식별은 iPhone과 Mac에서 똑같이 작동하며, 모든 처리가 기기 안에서 이뤄집니다. 앱에서 쓰는 방법은 Whisper Notes, 온디바이스 화자 분할 지원을 참고하세요.

작동 방식: pyannote는 잘라서 묶고, Nemotron 3는 처음 말한 순서대로 화자에 번호를 붙입니다

pyannote community-1은 세 단계로 이뤄진 파이프라인입니다. 먼저 오디오를 10초 길이의 윈도우로 자르고, 윈도우마다 누가 말하는지 찾습니다(윈도우 하나에 최대 3명, 같은 순간에는 최대 2명). 다음으로 음성 구간마다 목소리 특징을 담은 임베딩을 추출합니다. 마지막으로 VBx 클러스터링이 비슷한 임베딩을 묶어 화자로 만듭니다. 윈도우 안의 화자 번호는 그 윈도우에서만 유효하므로, 전체 화자 수는 마지막 단계에서야 정해집니다.

Nemotron 3 Diarization은 모델 하나로 동작합니다. 31층 Transformer 인코더가 매 순간 화자 트랙 8개에 각각 점수를 매깁니다. 트랙마다 따로 점수를 매기므로, 여러 사람이 동시에 말하면 여러 트랙이 함께 활성화됩니다. NVIDIA의 Sortformer 방식을 따라, 각 사람이 처음 말한 순서대로 트랙에 번호를 붙입니다. 가장 먼저 말한 사람은 항상 1번 트랙에 들어가므로, 모델은 어떤 목소리가 몇 번 트랙에 들어갈지 추측할 필요가 없습니다. 모델 카드에 설명된 스트리밍 방식에서는 등장 순서대로 쌓이는 화자 캐시가 앞서 나온 화자를 기억해, 뒤에 나오는 구간도 같은 번호에 맞출 수 있습니다.

두 설계에는 각자 한계가 있습니다. pyannote community-1은 화자 수 상한이 없지만, 같은 순간에는 최대 두 사람까지만 구분합니다. Nemotron 3는 동시에 말하는 여러 사람에게 라벨을 붙일 수 있지만, 트랙이 8개라 최대 8명까지만 찾습니다.

개념도는 단순화한 것입니다. pyannote community-1: Whisper Notes에서 약 21 MB, CC BY 4.0(모델 카드). 세그멘테이션 모델: Plaquet·Bredin(Interspeech 2023), 임베딩: WeSpeaker, 클러스터링: VBx(Landini 외, 2022). Nemotron 3 Diarization: 97 MB(Fluid Inference의 8비트 Core ML 변환), 파라미터 약 1억 개, OpenMDW 1.1(모델 카드). 방법은 Sortformer와 Streaming Sortformer 논문에 나와 있습니다.

테스트 방법

• 녹음. 영어와 중국어로 된 공개 녹음 122개, 총 25시간이며 녹음마다 화자는 1~12명입니다. 원거리 마이크로 녹음한 회의, 방송, 실적 발표 콘퍼런스 콜, 따로 녹음한 클립을 이어 붙인 단일 화자 녹음으로 구성했습니다. 그 밖에 영어, 네덜란드어, 중국어, 핀란드어 2인 녹음 5개를 썼고, 그중 4개에는 단어 단위 정답 텍스트가 있습니다.
• 데이터셋. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV, SKN과 저희가 직접 만든 녹음입니다. 결과 공개를 허용하는 라이선스의 데이터셋만 썼고, 사용자 녹음은 쓰지 않았습니다.
• 지표. 화자 분할 오류율입니다. 10 ms 프레임 단위로 칼라(collar) 없이 채점했고, 겹친 발화도 포함했으며, 녹음별 값을 평균했습니다.
• 통계. 95% 구간은 녹음을 통째로 단위 삼아 10,000번 부트스트랩 재표본추출해 구했습니다. 녹음이 10개 미만인 그룹은 구간을 내지 않았습니다.
• 기기. M5 칩을 탑재한 Mac, iPhone 15, iPhone 12 mini입니다. 정확도는 Mac에서 계산했습니다.
• 사전 등록. 테스트 계획은 2026년 11월 2일에, 2인 녹음 구성은 11월 4일에 확정했습니다. 두 시점 모두 어떤 모델도 해당 클립을 처리하기 전이었습니다.

직접 써 보세요

이제 iPhone과 Mac의 Whisper Notes는 화자 식별에 Nemotron 3를 사용합니다. 궁금한 점은 support@whispernotes.app으로 보내 주세요.

iOS용 다운로드 macOS용 다운로드