Kuinka tarkka Whisper oikeasti on

Mitä "tarkkuus" oikeasti tarkoittaa: sanavirheprosentti

Kun ihmiset sanovat litterointijärjestelmän olevan "95 % tarkka", he tarkoittavat lähes aina sanavirheprosenttia eli WER:iä. Se on yksinkertaisin rehellinen mittari: otetaan tunnettu teksti, annetaan järjestelmän litteroida se ja lasketaan väärin menneet sanat. 5 % WER tarkoittaa, että viisi sanaa sadasta meni pieleen — korvaus, poisto tai sana jota ei sanottu. Alempi on parempi. Nolla olisi täydellinen, eikä mikään realistinen järjestelmä pääse nollaan.

Tämä viimeinen kohta on tärkeä, joten sanon sen suoraan. Mikään puheentunnistusjärjestelmä ei ole täydellinen, ja jokainen tuote joka väittää muuta pyöristää numeroita esityskalvoja varten. Ihmiset eivät ole täydellisiä litteroijia myöskään — ammattimaiset ihmislitteroijat päätyvät noin 4 % WER:iin puhtaalla äänellä ja heikommin vaikeissa äänitteissä. Joten kun luet, että Whisper tekee "3 % WER", se on suunnilleen ihmistasolla kyseisenlaisessa äänessä — ei taikuutta. Se on työkalu, joka on oikeassa useimmiten ja väärässä joskus, kuten jokainen työkalu.

Yksi vivahde lisää, joka kannattaa miettiä hetki. WER laskee jokaisen sanan tasavertaisena, mikä ei vastaa sitä, miten virheet oikeasti tuntuvat. Whisperin kuultua "heidän" "heihin" sijaan on yhden sanan virhe, joka tuskin rekisteröityy. Asiakkaan nimen tai lääkeannoksen kuuleminen väärin on myös yhden sanan virhe, joka pilaa lauseen. Otsikkoluku kertoo asioiden yleisen suunnan; se ei kerro selvisivätkö ne sanat, joilla on merkitystä. Siksi loppuluku ei koskaan mene pois muodista, olipa WER kuinka alhainen tahansa.

Kuinka tarkka Whisper on käytännössä

Puhtaalla, luetulla englannilla Whisper on aidosti vahva. Julkisesti dokumentoidut vertailutestit asettavat medium-mallin noin 3 % sanavirheprosenttiin standardilla puhtaan puheen testisarjalla ja pienemmin mallin noin 5 %:iin. Käytännön kielellä: hyvässä äänitteessä selkeästi puhuvalta henkilöltä voi odottaa yhtä tai kahta väärää sanaa muutamaa lausetta kohti — yleensä homofoni tai irtonainen pilkku, ei sotkettua merkitystä. Sähköpostien, muistiinpanojen ja luonnosten saneluun se on reilusti kynnyksen yli, jossa se säästää aikaa sen sijaan että kuluttaisi sitä.

Sovelluksen toimintaperiaate on sama riippumatta siitä miten tarkka ajoitus osoittautuu. Painat pikanäppäintä, puhut, vapautat ja litteraatti liimautuu kohdistimesi kohtaan missä tahansa sovelluksessa, jolla on kohdistus. Pieni kapseli ilmestyy puhuessasi, jotta tiedät sen kuuntelevan. Mitä näet kapselissa on live-äänitys — tarkkuuskysymys ratkeaa puolen sekunnin aikana vapautuksesi jälkeen, kun malli muuntaa äänen tekstiksi.

Rehellinen varoitus on heti hyvän luvun vieressä. Nämä vertailuluvut ovat puhtaasta luetusta puheesta laboratoriossa. Sinun keittiösi, aksenttisi, tapasi jättää lauseet kesken — mitään niistä ei ole testisarjassa. Vertailutesti kertoo katon. Tämän oppaan loppuosa kertoo kuinka lähelle kattoa oikeasti pääset ja mitkä vipuvarsista sen ratkaisevat. Spoileri: suurin niistä ei ole malli.

Mikä oikeasti liikuttaa lukua ylös tai alas

Kolme asiaa muovaavat tosielämän tarkkuuttasi paljon enemmän kuin mallin nimi: ääni, kieli ja sanat itse. Äänenlaatu on ensimmäinen ylivoimaisesti. Kannettavan sisäänrakennettu mikrofoni, joka poimii huoneen kaiun, tuulettimen ja lapsen kysymyksen siitä miksi kuu on joskus poissa, antaa mille tahansa mallille vaikeamman tehtävän kuin podcastmikrofoni hiljaisessa huoneessa. Sama malli, sama lause voi mennä lähes täydellisestä selvästi väärään pelkästään äänitteen perusteella. Tämä on se vipu, jota lähes kukaan ei säädä ja joka maksaa eniten takaisin.

Kieli on toinen vipu. Whisperin monikieliset versiot kattavat 99 kieltä, mutta kattavuus ei ole tasainen. Englanti on parhaiten tuettu, suuret eurooppalaiset ja aasialaiset kielet ovat vahvoja, ja vähäresurssisissa kielissä — niissä joissa on vähemmän harjoitusdataa internetissä — on enemmän virheitä. Englanninkielinen käännös on vain monikielisessä Whisperissä; vain englantia tukevat versiot eivät tee sitä, eivätkä Paraketin 25 kieltä myöskään. Joten "tukee 99 kieltä" pitää paikkansa, mutta se ei tarkoita, että kaikki 99 kieltä ovat yhtä tarkkoja. Testaa omaa kieltäsi omilla äänitteillä ennen kuin luotat siihen tärkeissä asioissa.

Kolmas vipu on sisältö. Aksentit siirtävät lukua — Whisper käsittelee laajan valikoiman valmiiksi ilman erillistä "harjoittelua", mutta vahva aksentti teknisessä ammattisanastossa on pahin tapaus mille tahansa järjestelmälle. Alakohtainen sanasto kaataa sen myös: epätavalliset tuotenimet, lääketieteelliset tai juridiset termit, sukunimet joita se ei ole koskaan nähnyt. Päällekkäiset puhujat ovat aito kova raja — Whisper on rakennettu yhdelle äänelle kerrallaan, joten kaksi yhtä aikaa puhuvaa ihmistä tuottaa sotkun. Paikallisessa Whisperissä voit taistella takaisin mukautetulla sanastolla ja hotword-ohjauksella, ohjaten sitä kohti nimiä ja termejä, joita oikeasti käytät. Parakeet ei tarjoa hotwordeja, ja se on pätevä syy valita Whisper jos työssäsi on paljon erisnimiä.

Suurempi malli, parempi tarkkuus, vähemmän nopeutta

Tarkkuuden ja nopeuden välillä on aito kompromissi, ja sovellus tekee sen näkyväksi sen sijaan että piilottaisi sen. Nyrkkisääntönä: mitä suurempi Whisper-malli, sitä tarkempi ja hitaampi se on. Vain englantia tukeva Small-malli on noin 480 MB ja nopea; Medium on noin 1,5 GB ja tarkempi; monikielinen Large v3 on noin 3 GB ja paras tarjolla oleva tarkkuus, mutta se haluaa 16 GB RAM:ia ja tuoreen koneen toimiakseen sujuvasti. Valitse suurin malli, jonka laitteistosi pyörittää mukavasti, ei suurin olemassa oleva.

Mielenkiintoinen poikkeus on Turbo. Whisperin Turbo-versio (distil-large-v3) on dokumentoitu noin 6 kertaa nopeammaksi kuin Large v3 säilyttäen noin 99 % sen tarkkuudesta. Se on se kultainen keskitie, johon monet päätyvät: lähes suurimman mallin laatu ilman odottelua. Se on noin 1,5 GB. Jos haluat vahvan tarkkuuden etkä halua tuijottaa latausikonia, Turbo on käytännöllinen välivaihtoehto.

Tässä on se osa, joka kehystää koko kompromissin uudelleen. Tarkkuusero pienen mallin ja suurimman välillä on todellinen mutta pienempi kuin arvaisi — muutama prosenttiyksikkö WER:issä puhtaalla äänellä. Tarkkuusero kannettavan mikrofonin ja kunnollisen USB-mikrofonin välillä samalla mallilla on suurempi. Joten ennen kuin lataat 3 GB metsästääksesi viimeistä tarkkuuspistettä, liitä parempi mikrofoni ja äänity hiljaisessa paikassa. Tylsä totuus on, että useimmat "malli meni pieleen" -valitukset ovat oikeasti "huone meni pieleen" -tapauksia.

Paikallinen vai pilvi: missä paras tarkkuus asuu

Sovellus ei valitse polkua puolestasi. Se esittää kolme ja antaa sinun valita sen perusteella, mitä haluat — nopeutta, kielien kattavuutta tai huipputarkkuutta. Tarkkuuden osalta, tässä on miten ne sijoittuvat, koska ero on todellinen ja ymmärtämisen arvoinen ennen kuin sitoudut äänitteeseen jollakin niistä.

Kolme polkua, järjestettynä sen mukaan miten tarkkuus oikeasti jakautuu:

• Paikallinen Parakeet — NVIDIA:n TDT-moottori, noin 600 MB, nopein paikallinen vaihtoehto 5–10 kertaa nopeampana kuin Whisper CPU:lla. Tarkkuus on hyvä — ei Large-v3-hyvä, mutta enemmän kuin riittävä arkipäivän englannin saneluun. Kattaa englannin ja 24 eurooppalaista kieltä, 25 yhteensä. Ei englanninkielistä käännöstä, ei hotwordeja. Valitse se kun nopeus on tärkeintä ja puhut pääosin englantia.
• Paikallinen Whisper — hitaampi kuin Parakeet samalla koneella, mutta monikieliset versiot yltävät 99 kieleen, kääntävät englantiin ja antavat sinun kallistua mukautetun sanaston ja hotwordien suuntaan — ne tarkkuuden hallintatyökalut, joilla on merkitystä erisnimiä ja ammattisanastoa varten. Suurin versio (Large v3) on tarkin paikallinen vaihtoehto. Valitse se monikieliseen työhön, käännöksiin tai tarkkaan hallintaan.
• Pilvi (OpenAI, BYOK) — parasta tarkkuutta ja verkkoyhteys omalla OpenAI-avaimellasi, laskutetaan suoraan OpenAI:n toimesta. Litterointi toimii oletuksena gpt-4o-mini-transcribe-mallilla. Se tarvitsee internetin, joten se on ainoa polku, jossa äänesi lähtee koneeltasi. Pilvipalvelu on osa Whisper Pro:ta.

Rehellinen järjestys raakaa tarkkuutta varten on suunnilleen: pilvi kärkeen, paikallinen Large v3 lähelle toiseksi, Parakeet kykenevänä kolmantena englanniksi. Mutta "huipputarkkuus" voittaa vain jos äänesi on tarpeeksi puhdas ansaitsemaan sen. Vaimeamman äänitteen syöttäminen pilvelle huoneen toiselta puolelta ei voita paikallista Whisperia puhtaalla äänitteellä. Useimmissa saneluissa molemmat paikalliset moottorit toimivat täysin koneellasi ilman, että mitään lähetetään palvelimelle, ja se riittää. Käytä pilveä kun sinulla on aidosti vaikea ääni tai tarvitset faktoja verkosta kesken lauseen.

Neljä tapaa parantaa omaa tarkkuuttasi

Whisperin katto on asetettu mallilla. Lattiasi on asetettu kaikella sen ympärillä, ja lattia on se missä useimmat ihmiset menettävät tarkkuuden. Hyvä uutinen on, että korjaukset ovat halpoja ja vievät muutaman minuutin. Tässä ne neljä tärkeintä, järjestyksessä sen mukaan kuinka paljon ne auttavat.

Tuo viimeinen vaihe on näkemisen arvoinen, koska se muuttaa mitä "tarkkuus" edes tarkoittaa tuotoksellesi. Litterointi voi olla sana sanalta täydellinen ja silti lukeutua juoksevaksi, koska niin ihmiset puhuvat. Siistimiskierros korjaa luettavuuden, jota WER ei koskaan mittaa. Paikallisessa mallissa se kulkee Ollaman kautta; pilvitilassa se on oletuksena gpt-5-mini. Tässä sama lause ennen ja jälkeen kierroksen:

Huomaa, että siistiminen ei muuttanut yhdenkään sanan merkitystä; se lisäsi välimerkit ja poisti täytesanat, joita raa'assa litteraatissa oli. Se on se osa, jota ihmiset sekoittavat tarkkuuteen ja heidän ei pitäisi. Mallin tehtävä on kuulla sinut oikein. Tekoälykierroksen tehtävä on saada oikeat sanat luettua hyvin. Kun mikrofoni ja huone ovat kunnossa, molemmat tehtävät helpottuvat. Jos haluat puhu-sitten-siisti-virtauksen missä tahansa sovelluksessa, sama pikanäppäin sanelee puhdasta proosaa mihin tahansa sovellukseen, ei vain yhteen.

Rehellinen tuomio Whisperin tarkkuudesta

Joten suora vastaus. Whisper on tarpeeksi tarkka, jotta siihen voi luottaa oikeassa työssä — sähköposteissa, muistiinpanoissa, luonnoksissa, kokousmuistioissa — puhtaalla äänellä hyvin tuetussa kielessä. Se ei ole täydellinen, eikä se koskaan väitä olevansa. Aksentit, taustamelut, raskas ammattisanasto ja päällekkäiset puhujat kaikki vetävät lukua alas, eikä mikään mallietu täysin pelasta huonoa äänitettä. Jos tulit tänne toivoen "100 % tarkkaa", rehellinen vastaus on, ettei mikään ole, ja jokainen joka myy sitä myy esityskalvoa.

Milloin ei kannata vaivautua tavoittelemaan Whisperin tasoa? Jos sanelet vain satunnaisen 30-sanaisen tekstin, käyttöjärjestelmäsi tekee tämän jo ilmaiseksi. Windowsissa paina Windows-näppäin + H avataksesi Äänityksen kirjoituksen missä tahansa kohdistimesi on — se lisää välimerkit itse, joskin se kulkee Microsoftin palvelinten kautta ja tarvitsee internetin, joten se ei ole offline. Macilla Sanelu Järjestelmäasetuksissa kirjoittaa mihin tahansa kenttään, ja Apple Siliconilla yleistä tekstiä voidaan käsitellä laitteella. Lyhyille purskauksille ne riittävät, enkä aio suositella asennettavaa mitään yhden rivin muistutusta varten. Erillinen työkalu ansaitsee paikkansa pidemmissä muistiinpanoissa, monikielisessä työssä, offline-yksityisyydessä ja tarkkuuden hallintatyökaluissa — hotwordit, mallin valinta, siistimiskierros — joita sisäänrakennetut eivät tarjoa.

Jos punnitset paikallisia moottoreita keskenään, tarkkuus-versus-nopeus-valinta on koko päätös, ja se käydään selväsanaisesti läpi mikä Whisper-malli kannattaa valita ja Parakeet-mallin katsauksessa. Useimmille ihmisille vastaus on epäloistava: keskikokoinen malli, kunnollinen mikrofoni, hiljainen huone ja siistimiskierros. Se yhdistelmä vie sinut vertailutestin hiuskarvan päähän äänitteillä, joita oikeasti tallennat.

Jos tarkkuus mietityttää siksi, että haluat välttää pilven kokonaan, kompromissit selitetään offline-puheentunnistuksessa — miten paikalliset mallit pärjäävät ilman verkkoyhteyttä.

Vietin alkuvaiheessa viikon vakuuttuneena, että mallin päivitys korjaisi litterointini, latasin 3 GB ja sain takaisin ehkä yhden prosenttiyksikön WER:issä. Sitten ostin $20 USB-mikrofonin ja siirryin pois keittiöpöydältä, ja litteraatit paranivat selvästi saman iltapäivän aikana. Malli ei koskaan ollut ongelma. Huone oli. Whisper on erittäin tarkka; näetkö sen riippuu siitä, mitä sille syötät.