Kun litteroit haastattelun tai usean ihmisen kokouksen, on tärkeää tietää, kuka sanoi minkäkin lauseen. Whisper Notes tekee sekä puheentunnistuksen että puhujien tunnistuksen offline iPhonellasi tai Macillasi, joten jokaisen sovellukseen ottamamme mallin on tasapainoiltava tarkkuuden ja nopeuden välillä. Tarkkuus on meille aina ollut etusijalla. Korvasimme hiljattain sisäänrakennetun puhujamallin, pyannote community-1:n, NVIDIAn Nemotron 3 Diarization -mallilla. Vertailussa 122 julkisella äänitteellä, joissa on yhdestä kahteentoista puhujaa, puhujien tunnistuksen virheprosentti (DER) laski 16,0 %:sta 9,9 %:iin.
Nemotron 3 laskee puhujien tunnistuksen virheprosentin 16,0 %:sta 9,9 %:iin
Puhujien tunnistuksen virheprosentti (DER) laskee yhteen kolme virhetyyppiä puheajasta mitattuna: väärälle henkilölle merkityn puheen, havaitsematta jääneen puheen ja puheeksi tulkitun melun. Se on puhujien tunnistuksen vakiomittari. Taulukossa sen rinnalla ovat käyttäjien useimmin huomaamat ongelmat sekä kummankin mallin nopeus ja muistinkäyttö Macilla ja iPhonella.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Puhujien tunnistuksen virheprosentti, 122 äänitettä | 16,0 % | 9,9 % |
| Puhujamäärä oikein | 52 % äänitteistä | 80 % äänitteistä |
| Väärälle henkilölle merkitty puhe | 4,5 % | 1,0 % |
| 1 tunti ääntä Macilla (M5) | noin 22 s | noin 8,5 s |
| Muisti Macilla | 0,88 GB | 0,12 GB |
| 55 minuutin äänite iPhone 15:llä | noin 27 s | noin 12 s |
| Lisämuisti iPhone 15:llä | noin 830 MB | noin 30 MB |
| Puhujia enintään | Ei kiinteää rajaa (sovelluksessa enintään 10) | 8 |
Vihreä merkitsee tässä ja kaikissa alla olevissa taulukoissa ja kaavioissa parempaa arvoa silloin, kun ero ylittää virhemarginaalin: tarkkuudessa 95 %:n luottamusväli ei sisällä nollaa, nopeudessa ja muistissa ero on paljon suurempi kuin ajojen välinen vaihtelu. Virheprosenteissa pienempi on parempi. Tarkkuusrivit perustuvat 122 julkiseen äänitteeseen (25 tuntia, englantia ja kiinaa). Nopeus ja muisti on mitattu, kun molempia malleja ajetaan Core ML:n kautta ja Nemotron 3:a Neural Enginellä. Macin ajat ovat pelkkää käsittelyaikaa, ja iPhonen ajat on mitattu tunnistuksen alusta tulokseen.
Lasku ei johdu muutamasta äänitteestä. Alla oleva kaavio näyttää muutoksen jokaiselle 122 äänitteelle erikseen, suurimmasta laskusta suurimpaan nousuun:
Jokainen pylväs on yksi äänite ja näyttää, montako prosenttiyksikköä sen virheprosentti muuttui Nemotron 3:lla: nollan alapuolella se laski, yläpuolella nousi.
Nemotron 3 on huonompi kolmessa tilanteessa: yli kahdeksan puhujan äänitteissä, yhden puhujan äänitteissä ja kappalejaoissa, jotka osuvat kesken lauseen.
Puhujat menevät enää harvoin sekaisin: 4,5 % → 1,0 %
Kolmesta virhetyypistä lukija huomaa ensimmäisenä väärälle henkilölle merkityn puheen: sanat ovat oikein, mutta nimi on väärä. Nemotron 3:lla tämä virhe lähes katoaa, ja myös havaitsematta jäänyt puhe vähenee.
Keskiarvo 122 äänitteestä, prosentteina puheajasta; kunkin rivin molemmat pylväät alkavat nollasta. Väärälle henkilölle merkityn ja havaitsematta jääneen puheen lasku ylittää virhemarginaalin. Puheeksi tulkitun melun ero jää sen sisään, joten pylväs on vaaleanharmaa. Arvot on pyöristetty, joten niiden summa voi poiketa hieman Yhteensä-rivistä.
Oikea puhujamäärä 80 %:ssa äänitteistä, aiemmin 52 %:ssa
Jos puhujia löytyy liian vähän, kaksi ääntä on yhdistetty yhdeksi, ja kahden ihmisen puheenvuorot päätyvät saman merkinnän alle. Tämä oli pyannote community-1:n yleisin virhe, ja Nemotron 3 tekee sitä paljon harvemmin.
Kunkin mallin löytämä puhujamäärä verrattuna todelliseen 122 äänitteessä. pyannote community-1 löysi useimmiten liian vähän puhujia. Nemotron 3 osuu oikeaan useammin, ja kun se erehtyy, se löytää liian monta yhtä usein kuin liian vähän.
Parempi kokouksissa, lähetyksissä ja äänitteissä, joissa on kahdesta kahdeksaan puhujaa
Äänitteiden vaikeus vaihtelee paljon: etäältä nauhoitetut kokoukset ovat vaikeimpia, lähetykset helpoimpia. Kun tulokset jaetaan äänitetyypin, kielen ja puhujamäärän mukaan, virheprosentti on pienempi jokaisessa ryhmässä, jossa on vähintään kymmenen äänitettä; yhden puhujan ryhmässä ero jää virhemarginaalin sisään. Niillä kolmella äänitteellä, joissa on yhdeksästä kahteentoista puhujaa, tulos huononi, mutta niitä on liian vähän tilastolliseen testiin.
Kunkin ryhmän molemmat pylväät alkavat nollasta: harmaa on pyannote community-1, vihreä Nemotron 3, ja pylvään päässä oleva luku on keskimääräinen virheprosentti. Vihreä merkitsee laskua, joka ylittää virhemarginaalin, vaaleanharmaa eroa sen sisällä ja keltainen nousua. Aineiston 6 tulosinfoa on mukana kokonaistuloksissa, mutta niitä on liian vähän omaksi ryhmäksi.
Litteroinnin siistiminen: käsin tehtävät korjaukset vähenevät 28,9:stä 18,9:ään 10 minuuttia kohden
Lopulta virheprosentti näkyy työnä: yhdistämisinä, jakoina ja puhujan vaihtoina, joita puhujanäkymän korjaaminen vaatii. Laskimme tällaisten korjausten pienimmän tarvittavan määrän 4 kahden hengen äänitteellä, joille on sanatarkka vertailulitterointi (2 hollanninkielistä, 1 kiinankielinen, 1 suomenkielinen). Lukija huomaa myös, jos yhden ihmisen lause jakautuu kahdelle puhujalle. 12 etäältä nauhoitetussa englanninkielisessä kokouksessa kumpikin malli tekee niin harvoin, ja ero jää virhemarginaalin sisään.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Käsin tehtävät korjaukset 10 minuuttia kohden, 4 kahden hengen äänitettä | 28,9 | 18,9 |
| Kahdelle puhujalle jakautunut lause, 12 englanninkielistä kokousta | 0,58 % lauseista | 0,88 % lauseista |
Korjausmäärä perustuu vain 4 äänitteeseen, mikä on liian vähän tilastolliseen testiin tai yleistykseen. Jakautunut lause on yhden ihmisen sanoma lause, jonka teksti päätyi kahden puhujan kappaleisiin.
Nemotron 3 on nopeampi ja tarvitsee alle seitsemäsosan muistista
Kun malli toimii laitteella, nopeus ja muisti ovat yhtä tärkeitä kuin tarkkuus. Taulukossa on kummankin mallin käsittelyaika ja muistinkäyttö, kun malleja ajetaan Core ML:n kautta ja Nemotron 3:a Neural Enginellä. Jokaisella testaamallamme laitteella Nemotron 3 on nopeampi ja käyttää paljon vähemmän muistia. Tällä on eniten merkitystä vanhemmissa iPhoneissa, joissa on 4 GB muistia.
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Mac (M5) | ||
| 1 tunti ääntä | noin 22 s | noin 8,5 s |
| Muisti | 0,88 GB | 0,12 GB |
| iPhone 15 | ||
| 55 minuutin äänite | 26,6 s | 11,8 s |
| Lisämuisti tunnistuksen aikana | 833 MB | 30 MB |
| iPhone 12 mini | ||
| 55 minuutin äänite | 30,1 s | 17,2 s |
| Sovelluksen muistihuippu tunnistuksen aikana | 638 MB | 71 MB |
Useiden ajojen mediaani (pyannote community-1 ajettiin iPhone 15:llä kerran), kaikki samalla 55 minuutin tulosinfolla, jossa on 10 puhujaa. Molemmat mallit toimivat Core ML:n kautta, Nemotron 3 Neural Enginellä. Macin ajat ovat pelkkää käsittelyaikaa ilman äänen purkua ja mallin latausta. iPhonen ajat on mitattu tunnistuksen alusta tulokseen, ja niihin sisältyvät mallin lataus sekä pyannote community-1:n mukana tullut jälkikäsittely. Puhelimet olivat kiinni USB-kaapelissa, ja jokainen ajo aloitettiin viileällä puhelimella.
Kun Core ML ajaa mallin ensimmäistä kertaa Neural Enginellä, se kääntää mallin kyseiselle laitteelle: Macilla siihen menee noin 7 sekuntia ja iPhone 15:llä noin minuutti. Sen jälkeen mallin lataus kestää sekunnin murto-osan.
Missä pyannote community-1 on yhä parempi
- Yli kahdeksan puhujaa. Nemotron 3 merkitsee enintään kahdeksan ihmistä. Testiemme 3 äänitteestä, joissa on yhdeksästä kahteentoista puhujaa, se oli 2:ssa huonompi kuin pyannote community-1.
- Yksi puhuja. Nemotron 3 löysi ylimääräisiä puhujia 5:stä 14 yhden puhujan äänitteestä, pyannote community-1 puolestaan 1:stä.
- Kappalejako kesken lauseen. Testin 12 englanninkielisessä kokouksessa 25,8 % kappalejaoista osui kesken lauseen, kun pyannote community-1:llä osuus oli 14,6 %.
Näin saat Nemotron 3:sta eniten irti Whisper Notesissa
- Aseta puhujamäärä, jos tiedät sen. Testeissämme 108 äänitteellä, joissa on vähintään kaksi puhujaa, puhujamäärän kertominen Nemotron 3:lle korjasi puhujamäärän 15 äänitteessä eikä tehnyt sitä vääräksi yhdessäkään. Virheprosentti ei muuttunut selvästi (+0,16 prosenttiyksikköä, virhemarginaalin sisällä).
- Jos puhujia on vain yksi, jätä puhujien tunnistus väliin. Silloin satunnaista toista ”puhujaa” ei synny.
- Jos puhujia on yli kahdeksan, pidä merkintöjä vasta luonnoksena. Yhdistä ja nimeä puhujia puhujanäkymässä tarpeen mukaan.
Puhujamäärän asettaminen ”Not right?” -valikosta Macin puhujanäkymässä
Puhujien tunnistus toimii iPhonella ja Macilla samalla tavalla, kokonaan laitteellasi. Sovelluksen käyttöohjeet löydät artikkelista Whisper Notes tunnistaa nyt puhujat.
Miten mallit toimivat: pyannote pilkkoo ja ryhmittelee, Nemotron 3 numeroi puhujat ensimmäisen puheenvuoron mukaan
pyannote community-1 on kolmivaiheinen käsittelyketju. Se pilkkoo äänen 10 sekunnin ikkunoihin ja selvittää, kuka kussakin ikkunassa puhuu (enintään 3 ihmistä ikkunaa kohden, enintään 2 samaan aikaan). Sitten se poimii jokaisesta puhejaksosta äänijäljen eli upotusvektorin (embedding). Lopuksi VBx-klusterointi ryhmittelee samankaltaiset äänijäljet puhujiksi. Ikkunan puhujanumerot pätevät vain kyseisessä ikkunassa, joten puhujien kokonaismäärä ratkeaa vasta viimeisessä vaiheessa.
Nemotron 3 Diarization on yksi malli: 31-kerroksinen Transformer-enkooderi, joka pisteyttää joka hetkellä kahdeksan puhujaraitaa. Jokainen raita pisteytetään erikseen, joten kun useampi ihminen puhuu yhtä aikaa, useampi raita on aktiivinen. Malli noudattaa NVIDIAn Sortformer-menetelmää ja numeroi raidat sen mukaan, milloin kukin puhuu ensimmäisen kerran: ensimmäisenä puhunut on aina raidalla 1, joten mallin ei tarvitse arvata, mille paikalle ääni kuuluu. Mallikortissa kuvatussa suoratoistokäytössä malli pitää puhujat välimuistissa saapumisjärjestyksessä. Näin se muistaa aiemmat puhujat, ja myöhempi jakso voidaan liittää samaan numeroon.
Kummallakin rakenteella on rajansa. pyannote community-1:llä ei ole kiinteää puhujarajaa, mutta se erottaa samalla hetkellä enintään kaksi ihmistä. Nemotron 3 pystyy merkitsemään useita yhtä aikaa puhuvia, mutta raitoja on kahdeksan, joten se löytää enintään kahdeksan puhujaa.
Kaaviot ovat yksinkertaistettuja. pyannote community-1: noin 21 MB Whisper Notesissa, CC BY 4.0 (mallikortti); segmentointimalli: Plaquet ja Bredin (Interspeech 2023), upotusvektorit: WeSpeaker, klusterointi: VBx (Landini ym., 2022). Nemotron 3 Diarization: 97 MB (Fluid Inferencen 8-bittinen Core ML -muunnos), noin 100 miljoonaa parametria, OpenMDW 1.1 (mallikortti); menetelmä on kuvattu Sortformer- ja Streaming Sortformer -artikkeleissa.
Miten testasimme
- Äänitteet. 122 julkista englannin- ja kiinankielistä äänitettä, yhteensä 25 tuntia, kussakin 1–12 puhujaa: etäältä nauhoitettuja kokouksia, lähetyksiä, tulosinfoja sekä erillisistä pätkistä koottuja yhden puhujan äänitteitä. Lisäksi 5 kahden hengen äänitettä englanniksi, hollanniksi, kiinaksi ja suomeksi; niistä 4:lle on sanatarkka vertailulitterointi.
- Aineistot. AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV ja SKN sekä omat äänitteemme. Mukana on vain aineistoja, joiden lisenssi sallii tulosten julkaisemisen, eikä yhtään käyttäjiemme äänitettä.
- Mittari. Puhujien tunnistuksen virheprosentti pisteytettynä 10 ms:n kehyksissä ilman toleranssialuetta (collar), päällekkäinen puhe mukaan lukien, keskiarvona äänitteittäin.
- Tilastot. 95 %:n luottamusvälit 10 000 bootstrap-uudelleenotoksesta, joissa otantayksikkö on kokonainen äänite; ei luottamusvälejä ryhmille, joissa on alle kymmenen äänitettä.
- Laitteet. M5-sirulla varustettu Mac, iPhone 15 ja iPhone 12 mini; tarkkuus laskettiin Macilla.
- Ennakkorekisteröinti. Testisuunnitelma lukittiin 2. marraskuuta 2026 ja kahden hengen äänitteiden osio 4. marraskuuta, ennen kuin yhtäkään mallia oli ajettu näillä äänitteillä.
Testin kaikki yksityiskohdat
Valinta. Kysymykset ja säännöt lukittiin laajempaa vertailua varten ennen ensimmäistäkään ajoa. Valitsimme tämän osajoukon lisenssien, emme tulosten perusteella, ja laskimme luvut uudelleen samoista mallien tulosteista samalla pisteytyksellä. LibriSpeechin ja AISHELL-4:n pätkistä kootut yhden puhujan äänitteet lasketaan kuuluviksi lähdeaineistoonsa. Julkaisemme vain koostetut tulokset, emme koskaan ääntä tai vertailutekstiä.
| Aineisto | Lisenssi | Käytetyt äänitteet |
|---|---|---|
| AMI Meeting Corpus | CC BY 4.0 | 16 kokousta ja 16 yhden minuutin otetta |
| AISHELL-4 | CC BY-SA 4.0 | 5 kokousta, 5 otetta, 5 koottua yhden puhujan äänitettä |
| AliMeeting | CC BY-SA 4.0 | 8 kokousta, 8 otetta, 1 kahden hengen äänite |
| VoxConverse | CC BY 4.0 (videoiden tekijänoikeudet säilyvät omistajillaan) | 30 lähetystä ja 18 otetta |
| Earnings-21 | CC BY-SA 4.0 | 6 tulosinfoa, 1 kahden hengen äänite |
| LibriSpeech | CC BY 4.0 | 5 koottua yhden puhujan äänitettä |
| IFADV | GNU GPL v2 tai uudempi | 2 kahden hengen äänitettä |
| Suomen kielen näytteitä (SKN) | CC BY (Kotimaisten kielten keskus) | 1 kahden hengen äänite |
Lisenssit kunkin aineiston omalla sivulla ilmoitetun mukaan, tarkistettu marraskuussa 2026.
Luottamusvälit. Kokonaisvirheprosentti laski 6,0 prosenttiyksikköä (4,5…7,6). Havaitsematta jäänyt puhe väheni 2,3 prosenttiyksikköä (1,3…3,4) ja väärälle henkilölle merkitty puhe 3,4 prosenttiyksikköä (2,4…4,6). Puheeksi tulkittu melu väheni 0,30 prosenttiyksikköä, mikä on virhemarginaalin sisällä (−0,02…0,62). Niiden äänitteiden osuus, joissa puhujamäärä oli oikein, nousi 27,9 prosenttiyksikköä (17,2…38,5). Ryhmissä jokainen luottamusväli yhden puhujan ryhmää lukuun ottamatta sulkee nollan pois. Niissä 12 englanninkielisessä kokouksessa jakautuneiden lauseiden luottamusväli sisältää nollan, kesken lauseen osuvien kappalejakojen luottamusväli ei.
Pisteytys. Pisteytyksemme vastaa pyannote.metrics-kirjastoa 0,003 prosenttiyksikön tarkkuudella.
Yli kahdeksan puhujaa. Näiden äänitteiden tulokset ovat herkkiä pienille eroille sirussa ja äänen purussa. 55 minuutin tulosinfossa, jossa on 10 puhujaa, Nemotron 3:n tulos vaihteli 30,6 %:n ja 42,8 %:n välillä sirun, asetusten ja äänidekooderin mukaan; pyannote community-1:n tulos oli 21,6 %.
Jälkikäsittelyn asetukset. Osa jälkikäsittelyn asetuksista valittiin ennakkorekisteröinnin jälkeen, ja vain erillisillä viritysäänitteillä; testiäänitteitä käytettiin ainoastaan tulosten raportointiin.
Rajoitukset. Tarkkuus mitattiin vain englanniksi ja kiinaksi, ja korjausmäärä perustuu 4 äänitteeseen. Macin ajat on mitattu M5-Macilla, jossa oli macOS:n beetaversio ja samaan aikaan käynnissä muita töitä. Puhelimet olivat kiinni USB-kaapelissa, joten akunkulutusta ei mitattu.
Kokeile itse
Whisper Notes käyttää nyt iPhonella ja Macilla puhujien tunnistukseen Nemotron 3 -mallia. Jos sinulla on kysyttävää, kirjoita osoitteeseen support@whispernotes.app.
Lataa iOS:lle