Hur träffsäker är Whisper, egentligen

Vad "noggrannhet" faktiskt betyder: ordfelfrekvens

När folk säger att ett transkriptionssystem är "95% träffsäkert" menar de nästan alltid ordfelfrekvens, eller WER. Det är det enklaste ärliga måttet som finns: ta ett känt stycke, låt systemet transkribera det och räkna sedan de ord det fick fel. En WER på 5% betyder att 5 ord av 100 blev fel — en förväxling, en utelämning eller ett ord som lades till men aldrig sades. Lägre är bättre. Noll vore perfekt, och ingenting verkligt når noll.

Den sista biten spelar roll, så jag säger det rakt ut. Ingen taligenkänningsmotor är perfekt, och vilken produkt som helst som påstår det avrundar för en presentationsbild. Människor är inte heller perfekta transkribenter — professionella mänskliga transkriptionister hamnar kring 4% WER på rent ljud, och sämre på svåra inspelningar. Så när du läser att Whisper gör "3% WER" är det ungefär på eller nära mänsklig nivå för den typen av ljud — inte magi. Det är ett verktyg som har rätt det mesta av tiden och fel ibland, precis som alla verktyg.

Ytterligare en nyans värd trettio sekunder. WER räknar varje ord lika, vilket inte stämmer med hur du faktiskt upplever fel. Att Whisper hör "deras" som "deras" är ett 1-ordsfel som knappt märks. Att höra fel på en kunds namn eller en läkemedelsdos är ett 1-ordsfel som förstör meningen. Rubriktalet berättar alltså formen på saken, inte om just det ord som spelar roll klarade sig. Därför går en slutlig genomläsning aldrig ur mode, oavsett hur låg WER:n är.

Hur träffsäker är Whisper i praktiken

På rent, uppläst engelska är Whisper genuint stark. De offentligt dokumenterade benchmarken placerar medium-modellen kring 3% ordfelfrekvens på ett standardiserat testset, och den mindre modellen kring 5%. I klartext: på en hyfsad inspelning av någon som talar tydligt handlar det om ett eller två felaktiga ord per några meningar — vanligtvis ett homofon-misstag eller ett felplacerat kommatecken, inte en förvrängd mening. För att diktera mejl, anteckningar och utkast är det långt förbi den tröskel där det sparar tid i stället för att kosta den.

Mekaniken i appen är densamma oavsett hur träffsäker körningen blir. Du trycker på ett snabbtangent, talar, släpper upp och transkriptionen klistras in vid markören i vilken app som helst som är i fokus. En liten kapsel visas medan du pratar så att du vet att den lyssnar. Det du ser i kapseln är den direktspelade inspelningen — noggrannhetsfrågan avgörs under den halva sekunden efter att du släpper, när modellen omvandlar ljudet till text.

Det ärliga förbehållet sitter precis bredvid det bra talet. De benchmark-siffrorna gäller rent uppläst tal i ett labb. Ditt kök, din accent, din vana att tona ut mitt i en mening — inget av det finns i testdatan. Benchmarken berättar om taket. Resten av den här guiden handlar om hur nära det taket du faktiskt kommer, och de faktorer som avgör det. Spoiler: den viktigaste är inte modellen.

Vad som faktiskt påverkar talet upp eller ner

Tre saker formar din verkliga noggrannhet mycket mer än modell-etiketten: ljudet, språket och orden i sig. Ljudkvalitet är överlägset störst. En inbyggd laptopsmikrofon som fångar upp rumseko, ett fläktljud och ett barn som frågar varför månen ibland inte syns ger vilken modell som helst ett svårare problem än en podcastmikrofon i ett tyst rum. Samma modell, samma mening, kan gå från näst intill perfekt till märkbart fel enbart på grund av inspelningen. Det här är faktorn som nästan ingen justerar och den som ger störst utdelning.

Språk är den andra faktorn. Whispers flerspråkiga byggen täcker 99 språk, men täckningen är inte jämn. Engelska stöds bäst, de stora europeiska och asiatiska språken är starka, och resurssvaga språk — de med mindre träningsdata på internet — är svagare och felbenägnare. Översättning till engelska finns bara i flerspråkiga Whisper-byggen; de engelskbaserade byggen gör det inte, och Parakeets 25 språk gör det inte heller. Så "stöder 99 språk" är sant men innebär inte att alla 99 är lika träffsäkra. Testa ditt specifika språk på ditt eget ljud innan du litar på det för något viktigt.

Den tredje faktorn är innehållet. Accenter påverkar talet — Whisper hanterar ett brett spektrum direkt ur lådan utan något "tränings"-steg, men en tung accent kombinerad med teknisk jargong är värsta scenariot för varje motor. Domänvokabulär ställer också till det: ovanliga produktnamn, medicinska eller juridiska termer, efternamn den aldrig sett. Och överlappande talare är den riktiga hårda väggen — Whisper är byggt för en röst i taget, så att två personer pratar i mun på varandra ger kaos. Med lokal Whisper kan du motverka det med anpassat vokabulär och nyckelordsbiasning, och styra den mot de namn och termer du faktiskt använder. Parakeet erbjuder inte nyckelord, och det är ett rimligt skäl att välja Whisper om ditt arbete är fullt av egennamn.

Större modell, mer noggrannhet, mindre hastighet

Det finns en verklig avvägning mellan noggrannhet och hastighet, och appen låter dig se den i stället för att dölja den. Som tumregel: ju större Whisper-modell, desto noggrannare men långsammare. Den engelskbaserade Small-modellen är ungefär 480 MB och snabb; Medium är cirka 1,5 GB och mer träffsäker; den flerspråkiga Large v3 är runt 3 GB och erbjuder bäst noggrannhet, men kräver 16 GB RAM och en relativt ny maskin för att kännas smidig. Välj den största modellen din hårdvara klarar bekvämt, inte den största som finns.

Det intressanta undantaget är Turbo. Whispers Turbo-bygge (distil-large-v3) är dokumenterat som ungefär 6 gånger snabbare än Large v3 och behåller cirka 99% av noggrannheten. Det är den söta punkten många landar på: nästan samma kvalitet som den största modellen utan väntetiden. Det är runt 1,5 GB. Om du vill ha stark noggrannhet utan att stirra på en snurrande laddningsindikator är Turbo det pragmatiska mellanvalet.

Här är det som omramar hela avvägningen. Noggrannhetsgapet mellan en liten modell och den största är verkligt men mindre än man kan tro — några procentenheter WER på rent ljud. Noggrannhetsgapet mellan en laptopsmikrofon och en hyfsad USB-mikrofon på samma modell är större. Så innan du laddar ner 3 GB för att jaga den sista procentenheten noggrannhet — koppla in en bättre mikrofon och spela in någonstans tyst. Den tråkiga sanningen är att de flesta "modellen hade fel"-klagomålen egentligen är "rummet hade fel".

Lokalt eller molnet: var bäst noggrannhet finns

Appen väljer inte en väg åt dig. Den presenterar tre och låter dig välja baserat på vad du prioriterar — hastighet, språktäckning eller toppnoggrannhet. Specifikt för noggrannhet: så här ställer de sig, för skillnaden är verklig och värd att förstå innan du lägger en inspelning i en av dem.

De tre vägarna, rangordnade efter faktisk noggrannhet:

• Lokal Parakeet — NVIDIAs TDT-motor, ungefär 600 MB, det snabbaste lokala alternativet med 5 till 10 gånger snabbare än Whisper på CPU. Noggrannheten är bra — inte Large-v3-bra, men mer än tillräcklig för vardaglig diktering på engelska. Täcker engelska plus 24 europeiska språk, 25 totalt. Ingen översättning till engelska, inga nyckelord. Välj det när hastighet är viktig och du mest talar engelska.
• Lokal Whisper — långsammare än Parakeet på samma maskin, men de flerspråkiga byggen når 99 språk, översätter till engelska och låter dig styra mot anpassat vokabulär och nyckelord — de noggrannhetskontroller som spelar roll för egennamn och jargong. Det största bygget (Large v3) är det mest träffsäkra lokala alternativet. Välj det för flerspråkigt arbete, översättning eller finare kontroll.
• Molnet (OpenAI, BYOK) — branschledande noggrannhet och webbåtkomst med din egen OpenAI-nyckel, fakturerad direkt av OpenAI. Transkription körs på gpt-4o-mini-transcribe som standard. Det kräver internet, så det är den enda vägen där ditt ljud lämnar din maskin. Molnfunktionen ingår i Whisper Pro.

Den ärliga rangordningen för rå noggrannhet är ungefär: molnet i topp, lokal Large v3 tätt efter, Parakeet som ett dugligt tredje alternativ för engelska. Men "toppnoggrannhet" vinner bara om ditt ljud är tillräckligt rent för att förtjäna det. Att mata molnet med en dämpad inspelning från andra sidan rummet slår inte lokal Whisper på en ren. För det mesta körs båda lokala motorerna helt på din maskin utan att något skickas till en server, och det räcker gott. Använd molnet när du har en genuint svår inspelning eller behöver hämta fakta från webben mitt i en mening.

Fyra sätt att höja din egen noggrannhet

Whispers tak sätts av modellen. Ditt golv sätts av allt runt omkring den, och det är golvet de flesta tappar noggrannhet på. Den goda nyheten är att åtgärderna är billiga och tar några minuter. Här är de fyra som spelar roll, i ordning efter hur mycket de hjälper.

Det sista steget är värt att se, för det förändrar vad "noggrannhet" ens betyder för din slutprodukt. Transkriptionen kan vara ordrätt och ändå läsas som en löpande text, för det är så folk pratar. Städningskörningen åtgärdar läsbarheten som WER aldrig mäter. På en lokal modell körs den via Ollama; i molnläge är den gpt-5-mini som standard. Här är samma mening före och efter körningen:

Lägg märke till att städningen inte ändrade ett enda ords innebörd; den lade till interpunktion och tog bort fyllnadsordet som råredigering förde med sig. Det är den del folk blandar ihop med noggrannhet men inte borde göra. Modellens uppgift är att höra dig rätt. AI-körningens uppgift är att få de rätta orden att läsas bra. Få mikrofonen och rummet rätt, så blir båda uppgifterna lättare. Om du vill ha flödet tala-sedan-städa i vilken app som helst, kommer samma snabbtangent att diktera ren prosa i vilken app som helst, inte bara en.

Det ärliga omdömet om Whispers noggrannhet

Så, det raka svaret. Whisper är tillräckligt träffsäker för att lita på i riktigt arbete — mejl, anteckningar, utkast, mötessammanfattningar — på rent ljud i ett välstött språk. Den är inte perfekt och påstår aldrig att den är det. Accenter, bakgrundsbuller, tung jargong och överlappande talare drar alla ner talet, och ingen modell-etikett räddar fullt ut en dålig inspelning. Om du kom hit med hoppet om "100% träffsäker" är det ärliga svaret att ingenting är det, och den som säljer det säljer en presentationsbild.

När bör du inte bry dig om att jaga Whisper-nivå noggrannhet? Om du bara diktering ett enstaka 30-ords meddelande ibland gör ditt operativsystem redan det gratis. På Windows trycker du på Windows-tangenten + H för att öppna röstskrivning var markören än befinner sig — den sätter ut interpunktion själv, men det går via Microsofts servrar och kräver internet, så det är inte offline. På Mac skriver Diktering i Systeminställningar i vilket fält som helst, och på Apple Silicon kan allmän text bearbetas lokalt. För korta stunder är det fint, och jag ska inte säga åt dig att installera något för en enrads påminnelse. Ett dedikerat verktyg tjänar sin plats vid längre anteckningar, flerspråkigt arbete, offline-integritet och de noggrannhetskontroller — nyckelord, modellval, städningskörning — som de inbyggda alternativen inte erbjuder.

Om du väger de lokala motorerna mot varandra är avvägningen noggrannhet kontra hastighet hela beslutet, och det behandlas rakt i vilken Whisper-modell du ska använda och i Parakeet-modellgenomgången. För de flesta är svaret ospekulativt: en mellanstor modell, en hyfsad mikrofon, ett tyst rum och en städningskörning. Den kombinationen får dig inom en hårsbredd av benchmarken på det ljud du faktiskt spelar in.

Om noggrannhet är din oro för att du vill skippa molnet helt, täcker avvägningarna i offline tal till text hur lokala modeller klarar sig utan ett nätverk i loopen.

Jag tillbringade en vecka i början övertygad om att en modelluppgradering skulle fixa mina transkript, laddade ner 3 GB och fick tillbaka kanske en procentenhet WER. Sedan köpte jag en USB-mikrofon för 200 kronor och flyttade från köksbordet, och transkripten blev märkbart renare samma eftermiddag. Modellen var aldrig problemet. Rummet var det. Whisper är mycket träffsäker; om du ser det beror på vad du matar den med.