Hvor nøyaktig er Whisper, egentlig

Hva «nøyaktighet» faktisk betyr: ordfeilrate

Når folk sier at et transkripsjonssystem er «95 % nøyaktig», mener de nesten alltid ordfeilrate, eller WER. Det er det enkleste ærlige målet som finnes: ta et kjent tekstutdrag, la systemet transkribere det, og tell opp feilene. En WER på 5 % betyr at 5 ord av 100 ble feil – enten feil ord, et utelatt ord eller et lagt til ord som ikke ble sagt. Lavere er bedre. Null ville vært perfekt, og ingenting i virkeligheten treffer null.

Den siste biten er viktig, så jeg sier det rett ut. Ingen talegjenkjenningsmotor er perfekt, og ethvert produkt som påstår noe annet, runder opp til en presentasjon. Mennesker er heller ikke perfekte transkriberere – profesjonelle menneskelige transkriberere lander på rundt 4 % WER på ren lyd, og verre på vanskelige opptak. Så når du leser at Whisper gjør «3 % WER», er det omtrent på menneskenivå på den typen lyd – ikke magi. Det er et verktøy som har rett mesteparten av tiden og tar feil av og til, som alle verktøy.

Én nyanse til som er verdt å nevne. WER teller hvert ord likt, noe som ikke stemmer med hvordan du faktisk opplever feil. At Whisper hører «der» i stedet for «der borte» er en 1-ords feil som knapt merkes. Å mishøre en klients navn eller en medisindose er også en 1-ords feil – men den ødelegger setningen. Så topplinjetallet forteller deg formen på ting; det forteller deg ikke om det ene ordet som betyr noe overlevde. Det er derfor en siste gjennomlesning aldri går av moten, uansett hvor lav WER er.

Så hvor nøyaktig er Whisper i praksis

På ren, lest engelsk er Whisper genuint sterk. De offentlig dokumenterte benchmarkene plasserer medium-modellen rundt 3 % ordfeilrate på et standard rentaletestsett, og den mindre modellen rundt 5 %. I klartekst: på et anstendig opptak av noen som snakker tydelig, ser du ett til to feil ord per noen setninger – vanligvis et homofon eller et bortkommet komma, ikke et ødelagt meningsinnhold. For å diktere e-poster, notater og utkast er det godt over terskelen der det sparer deg tid i stedet for å koste det.

Mekanikken i appen er den samme uavhengig av hvor nøyaktig kjøringen blir. Du trykker en hurtigtast, snakker, slipper, og transkriptet limes inn ved markøren din i hvilken app som enn har fokus. En liten kapsel dukker opp mens du snakker, slik at du vet at den lytter. Det du ser i kapselen er det direkte opptaket – nøyaktighetsspørsmålet avgjøres i halvsekunnet etter at du slipper, når modellen gjør om lyden til tekst.

Det ærlige forbeholdet sitter rett ved siden av det gode tallet. De benchmarktallene er ren lest tale i et laboratorium. Kjøkkenet ditt, aksenten din, vanen din med å sette i gang og aldri fullføre setninger – ingenting av det er i testsettet. Benchmarken forteller deg taket. Resten av denne guiden handler om hvor nært taket du faktisk kommer, og hva som avgjør det. Spoiler: den viktigste faktoren er ikke modellen.

Hva som faktisk flytter tallet opp eller ned

Tre ting former din virkelige nøyaktighet langt mer enn modellmerket: lyden, språket og selve ordene. Lydkvalitet kommer først, med god margin. En innebygd laptop-mikrofon som plukker opp romklang, en vifte og et barn som spør hvorfor månen noen ganger ikke er der, gir enhver modell et vanskeligere problem enn en podkast-mikrofon i et stille rom. Den samme modellen, samme setning, kan gå fra nesten perfekt til merkbart feil utelukkende på grunn av opptaket. Dette er den faktoren nesten ingen justerer, og den som gir størst gevinst.

Språk er den andre faktoren. Whispers flerspråklige versjoner dekker 99 språk, men den dekningen er ikke jevn. Engelsk er best støttet, de store europeiske og asiatiske språkene er sterke, og lavressursspråk – de med mindre treningsdata på internett – er svakere og mer feilutsatte. Oversett-til-engelsk er kun tilgjengelig i flerspråklig Whisper; de engelskspesifikke versjonene gjør det ikke, og Parakeets 25 språk heller ikke. Så «støtter 99 språk» er sant, men det betyr ikke at alle 99 er like nøyaktige. Test ditt eget språk på din egen lyd før du stoler på det til noe viktig.

Den tredje faktoren er innholdet. Aksenter påvirker tallet – Whisper håndterer et bredt utvalg uten noe «trenings»-steg, men en sterk aksent på teknisk fagspråk er det verste tilfellet for enhver motor. Domeneord byr også på problemer: uvanlige produktnavn, medisinske eller juridiske termer, etternavn den aldri har sett. Og overlappende talere er den virkelige harde veggen – Whisper er bygd for én stemme om gangen, så to personer som snakker i munnen på hverandre, gir et rot. På lokal Whisper kan du motvirke dette med egendefinert vokabular og nøkkelordbiasing, som nudger den mot navn og termer du faktisk bruker. Parakeet tilbyr ikke nøkkelord, og det er en god grunn til å velge Whisper hvis arbeidet ditt er fullt av egennavn.

Større modell, mer nøyaktighet, mindre hastighet

Det er en reell avveiing mellom nøyaktighet og hastighet, og appen lar deg se den i stedet for å skjule den. Som en tommelfingerregel: jo større Whisper-modellen er, jo mer nøyaktig er den og jo langsommere kjører den. Den engelskspesifikke Small-modellen er rundt 480 MB og rask; Medium er omtrent 1,5 GB og mer nøyaktig; den flerspråklige Large v3 er rundt 3 GB og den beste nøyaktigheten som tilbys, men den vil ha 16 GB RAM og en nyere maskin for å føles kvikk. Velg den største modellen maskinvaren din kjører komfortabelt – ikke den største som finnes.

Det interessante unntaket er Turbo. Whispers Turbo-versjon (distil-large-v3) er dokumentert som rundt 6 ganger raskere enn Large v3 mens den beholder omtrent 99 % av nøyaktigheten. Det er midtpunktet mange lander på: nesten kvaliteten til den største modellen uten ventetiden. Den er rundt 1,5 GB. Hvis du vil ha god nøyaktighet og ikke ønsker å stirre på en lastesnurrer, er Turbo det pragmatiske alternativet.

Her er det som reframes hele avveiingen. Nøyaktighetsforskjellen mellom en liten modell og den største er reell, men mindre enn du ville gjettet – noen prosentpoeng av WER på ren lyd. Nøyaktighetsforskjellen mellom en laptop-mikrofon og en anstendig USB-mikrofon på den samme modellen er større. Så før du laster ned 3 GB i jakt på det siste nøyaktighetspoenget, plugg inn en bedre mikrofon og ta opp et sted det er stille. Den kjedelige sannheten er at de fleste «modellen bommet»-klager egentlig er «rommet bommet».

Lokal eller sky: hvor den beste nøyaktigheten bor

Appen velger ikke en vei for deg. Den presenterer tre og lar deg velge basert på hva du er ute etter – hastighet, språkdekning eller toppnøyaktighet. For nøyaktighet spesifikt, her er hvordan de stiller opp, fordi forskjellen er reell og verdt å forstå før du setter et opptak inn i én av dem.

De tre veiene, rangert etter faktisk nøyaktighet:

• Lokal Parakeet — NVIDIAs TDT-motor, rundt 600 MB, det raskeste lokale alternativet med 5 til 10 ganger raskere enn Whisper på CPU. Nøyaktigheten er god – ikke Large-v3-god, men mer enn nok for hverdagsdiktering på engelsk. Dekker engelsk pluss 24 europeiske språk, 25 totalt. Ingen oversetting til engelsk, ingen nøkkelord. Velg det når hastighet betyr noe og du snakker mest engelsk.
• Lokal Whisper — tregere enn Parakeet på samme maskin, men de flerspråklige versjonene når 99 språk, oversetter til engelsk, og lar deg favorisere egendefinert vokabular og nøkkelord – nøyaktighetskontrollene som betyr noe for egennavn og fagtermer. Den største versjonen (Large v3) er det mest nøyaktige lokale alternativet. Velg det for flerspråklig arbeid, oversetting eller finere kontroll.
• Sky (OpenAI, BYOK) — beste nøyaktighet i klassen og netttilgang med din egen OpenAI-nøkkel, fakturert direkte av OpenAI. Transkripsjon kjører på gpt-4o-mini-transcribe som standard. Det krever internett, så dette er den eneste veien der lyden din forlater maskinen din. Skyflaten er en del av Whisper Pro.

Den ærlige rangeringen for rå nøyaktighet er omtrent: sky på toppen, lokal Large v3 som en tett andreplass, Parakeet som et dyktig tredjealternativ for engelsk. Men «toppnøyaktighet» vinner bare hvis lyden din er ren nok til å fortjene det. Å mate skyen med et mumlet opptak fra den andre siden av rommet slår ikke lokal Whisper på et rent et. For de fleste dikteringer kjører begge lokale motorer fullt ut på maskinen din uten at noe sendes til en server, og det er mer enn nok. Ty til sky når du har et genuint vanskelig opptak eller trenger et faktum hentet fra nettet midt i en setning.

Fire måter å heve din egen nøyaktighet

Whispers tak settes av modellen. Gulvet ditt settes av alt rundt den, og det er gulvet der de fleste mister nøyaktighet. Den gode nyheten er at løsningene er billige og tar noen minutter. Her er de fire som betyr noe, i rekkefølge etter hvor mye de hjelper.

Det siste steget er verdt å se, fordi det endrer hva «nøyaktighet» til og med betyr for resultatet ditt. Transkripsjonen kan være ordrett korrekt og likevel leses som en løpende setning, fordi det er slik folk snakker. Oppryddingspasset fikser lesbarheten som WER aldri måler. På en lokal modell kjører det gjennom Ollama; i skymodus er det gpt-5-mini som standard. Her er den samme setningen før og etter passet:

Legg merke til at oppryddingen ikke endret ett eneste ords betydning; den la til tegnsetting og fjernet fyllordene som råtranskriptet hadde med seg. Det er den delen folk forveksler med nøyaktighet – og ikke bør. Modellens jobb er å høre deg riktig. AI-passets jobb er å få de riktige ordene til å leses godt. Få mikrofonen og rommet på plass, og begge jobbene blir enklere. Hvis du vil ha dikter-og-rydd-flyten i hvilken som helst app, vil den samme hurtigtasten diktere ren prosa i hvilken som helst app, ikke bare én.

Den ærlige dommen om Whispers nøyaktighet

Så, det rette svaret. Whisper er nøyaktig nok til å stole på for ekte arbeid – e-poster, notater, utkast, møteoppsummeringer – på ren lyd i et godt støttet språk. Den er ikke perfekt, og den påstår det aldri. Aksenter, bakgrunnsstøy, tungt fagspråk og overlappende talere drar alle tallet ned, og ingen modellmerke redder fullt ut et dårlig opptak. Hvis du kom hit med håp om «100 % nøyaktig», er det ærlige svaret at ingenting er det, og den som selger det, selger en lysbildepresentasjon.

Når bør du ikke bry deg med å jage Whisper-nivånøyaktighet? Hvis du bare dikterer den tilfeldige 30-ords teksten, gjør operativsystemet ditt allerede dette gratis. På Windows trykker du Windows-tasten + H for å åpne Taleskriving der markøren er – den setter inn tegnsetting selv, men går gjennom Microsofts servere og krever internett, så den er ikke offline. På Mac skriver Diktering i Systeminnstillinger inn i et hvilket som helst felt, og på Apple Silicon kan generell tekst behandles på enheten. For korte sesjoner er disse fine, og jeg kommer ikke til å be deg installere noe for en én-linjes påminnelse. Et dedikert verktøy fortjener sin plass ved lengre notater, flerspråklig arbeid, frakoblet personvern og nøyaktighetskontrollene – nøkkelord, modellvalg, et oppryddingspass – som de innebygde ikke gir deg.

Hvis du veier de lokale motorene mot hverandre, er nøyaktighet-mot-hastighet-avveiingen hele beslutningen, og den er dekket tydelig i hvilken Whisper-modell du bør bruke og Parakeet-modellgjennomgangen. For de fleste er svaret usjarmerende: en mellomstort modell, en anstendig mikrofon, et stille rom og et oppryddingspass. Den kombinasjonen får deg innen et hårstrå av benchmarken på lyden du faktisk tar opp.

Hvis nøyaktighet er bekymringen din fordi du vil hoppe over skyen helt, dekker avveiingene i frakoblet tale til tekst hvordan lokale modeller holder seg uten et nettverk i løkken.

Jeg brukte en uke tidlig på å være overbevist om at en modelloppgradering ville fikse transskriptene mine, lastet ned 3 GB og fikk tilbake kanskje ett poeng av WER. Så kjøpte jeg en $20 USB-mikrofon og flyttet meg bort fra kjøkkenbordet, og transskriptene ble merkbart renere samme ettermiddag. Modellen var aldri problemet. Rommet var det. Whisper er veldig nøyaktig; om du ser det avhenger av hva du gir den.