Offline tale til tekst, forklaret

Hvad en offline tale-til-tekst desktop-app faktisk er

En desktop-app, ikke en browserfane. Den skelnen gør det meste af arbejdet. Et webbaseret dikteringsværktøj kører i din browser og sender næsten altid lyden til en server. En rigtig offline-app er native software, der indlæser en talemodel i hukommelsen og kører den på din CPU eller GPU, lige der på maskinen.

Adfærden er bevidst enkel. Du trykker på en global genvejstast inde fra en hvilken som helst applikation (dit mailprogram, en kodeeditor, et Slack-felt, et felt til kliniske noter), og transskriptionen dukker op, hvor din markør er, som en lynhurtig maskinskriver, der træder til for dig. Ingen kopier-og-indsæt fra et separat vindue. Ingen "upload din optagelse." Den opfører sig som tastaturet, fordi det er den eneste grænseflade, alle apps allerede forstår.

Standardgenvejen i Whisper er Ctrl+Space på Windows og Linux. På en Mac holder du Command og Option nede samtidig og slipper en af tasterne for at stoppe, en push-to-talk-kombination, ikke en kontakt. Du kan ombinde den; det første mange gør, er at flytte den væk fra det, der kolliderer med deres tegneprogram eller deres musiksoftware. Jeg hardkodede den genvej i en tidlig version og fik en mail klokken to om natten om det, hvilket er en historie til FAQ'en.

Den ærlige version af "hvordan" er kedelig: der er ingen magi, bare en modelfil på din disk. Når du installerer en lokal app, henter du en talemodel, et par hundrede megabyte til et par gigabyte trænede vægte. Fra da af er transskription en matematisk operation, modellen udfører på din lyd. Lyden bliver aldrig en netværksanmodning. Whisper by Remskill kører al sin lokale transskription gennem et rent Rust-bibliotek kaldet transcribe-rs, uden en Python-sidecar og uden en separat runtime at holde i live. Det, du mærker, er, at appen starter hurtigt, og at lydvejen forbliver kort.

Tryk på en tast, tal, få tekst — offline-løkken

Her er hele løkken. Du holder genvejstasten nede. Et lille overlay fortæller dig, at den lytter. Du taler, en sætning, et afsnit, et 600-ords forelæsningsresumé. Du slipper. Modellen transskriberer, hvad du sagde, og teksten lander ved din markør, ikke i en fil, du så skal ud at finde. Det er den praktiske forskel mellem en dikteringsapp og et fil-transskriptionsværktøj: en dikteringsapp indsætter tekst live, i det øjeblik du holder op med at tale.

Intet af det behøver et netværk. Mikrofonen fører lyd ind i den lokale model, modellen producerer tekst, og appen skriver den for dig. Optagelsen fortsætter et kort øjeblik efter, du slipper tasten, så det sidste ord ikke bliver klippet af, en lille ting, der tog mig længere tid at få rigtigt, end jeg har lyst til at indrømme.

Til daglig mail og noter er turen fra tastslip til indsat tekst et sekund eller to med en Small-model på en nyere bærbar, hurtigt nok til at blive i den sætning, du tænkte. Der er også et valgfrit andet trin: Whisper kan køre en AI-oprydning (rette tegnsætning, formatere en liste eller besvare et spørgsmål, du stillede), og i lokal tilstand kører den oprydning på enheden gennem en lokal motor kaldet Ollama. Så selv "få det her til at lyde mindre som talt sludder"-trinet kan forblive helt offline. Du udløser det ved at starte din sætning med "Hey whisper". Ignorer det, og du får en ren ordret transskription. Uanset hvad forlader intet af det, du siger, maskinen, medmindre du slår den valgfrie Cloud-kontakt til.

Parakeet eller lokal Whisper: hvilken motor kører bedst offline

To lokale motorer følger med appen, og de er gode til forskellige ting. Det er den ene reelle beslutning, du skal træffe.

Parakeet er NVIDIAs TDT-model, omkring 600 MB, og det er den hurtige, 5 til 10 gange hurtigere end Whisper på en CPU. Den klarer engelsk plus 24 europæiske sprog, 25 i alt. Den oversætter ikke til engelsk, og den har ingen styring af specialordforråd. Hvis du mest taler engelsk og vil have fart, er det den her.

Whisper er den flersprogede arbejdshest. Dens flersprogede modeller understøtter 99 sprog med automatisk registrering og kan oversætte dem alle til engelsk. Den er langsommere end Parakeet på samme hardware, men den giver dig kinesisk, japansk, koreansk, specialordforråd og finere kontrol. Én ting at holde styr på: de kun-engelske Whisper-modeller (dem mærket med .en) låser til engelsk alene og springer de 99 sprog helt over. Så "Whisper kan 99 sprog" gælder kun for de flersprogede udgaver.

Tommelfingerregel: engelsk og i en fart, vælg Parakeet. Alt flersproget, alt du har brug for oversat, vælg en flersproget Whisper-model.

At vælge den rigtige lokale model til din hardware

En lokal model indlæses i RAM, så din hardware sætter loftet. Den gode nyhed for de fleste: de mindre modeller er rigeligt.

På den engelske side går modellerne fra Base på omkring 140 MB, til Small på omkring 480 MB, til Medium på omkring 1,5 GB. På den flersprogede side går du fra Small på 480 MB op til Large v3 på omkring 3 GB. Den lille flersprogede model er den, nye brugere starter på, og det er et fornuftigt udgangspunkt: den passer alle steder, og den er præcis nok til daglig diktering.

Den kedelige sandhed om hardware er, at mikrofonen betyder mere end modellen. En USB-mikrofon til $20 gør mere for præcisionen end at springe to modelstørrelser op. Jeg brugte en weekend overbevist om, at en modelopgradering ville løse mine mudrede transskriptioner; det var den bærbares mikrofon, der opfangede opvaskemaskinen hele tiden. Hvis du sidder med en ældre bærbar med 8 GB RAM, så kør Parakeet eller en Small-model og brug opgraderingspengene på mikrofonen. Hvis du har en nyere Apple Silicon-Mac eller en 16 GB Windows-maskine med en dedikeret GPU, kører alle modeller behageligt, inklusive Large v3. Du behøver ikke en GPU for at komme i gang: Parakeet på en CPU er den hurtige vej, fordi den er bygget til det.

Hvorfor offline slår skyen ved følsom lyd

Diktering kun i skyen er en privatlivskatastrofe, der venter på at blive transskriberet. Det siger jeg som en ligefrem holdning og bakker det så op, for løs snak om privatliv er billig.

Et team, jeg engang arbejdede med, fik en konsulent til at bygge en intern "AI-diktering"-prototype oven på en sky-model. Den kaldte API'et for hver ytring, på hver bærbar, med et "smart genforsøg", der sendte optagelser igen, når den blev nervøs. Ved kvartalets slutning åbnede chefen sky-omkostningsoversigten og fandt en regning på fem cifre, det meste af den fra ét team, der transskriberede standup-optagelser fire gange. Konsulentens løsning var "vi bør optimere prompten." Økonomichefens løsning var "eller vi bør ikke betale for sky-transskription af møder, der allerede har referater." To problemer i én regning: omkostningen, og det faktum at hvert ord fra de møder nu lå i en leverandørs logfiler.

Offline løser begge dele. Din chefs lønregneark, mailen til dit barns skole, det juridiske notat du sidder og skriver i et tog uden signal: intet af det bør forlade din bærbar, bare fordi du ville skrive med stemmen. Maskinen har allerede en mikrofon og en processor. Til ét afsnit har den ikke brug for en server i løkken. Offline virker også med Wi-Fi slået fra, hvilket skyen per definition ikke kan.

Hvornår skyen eller et indbygget værktøj er det bedre valg

Her er den del, enkeltværktøjs-siderne springer over. En lokal app er ikke altid det rigtige svar.

For det første det spørgsmål, folk bliver ved med at stille: kan Windows lave tale til tekst offline? For det meste nej, hvad angår standardværktøjet. Windows tasteskrivning med stemme, åbnet med Win+H, kræver en internetforbindelse ifølge Microsofts egen dokumentation, så dikteringen er skybaseret. En separat Windows 11-funktion kaldet Voice Access virker offline, når dens sprogfiler er installeret, men den er bygget til at styre pc'en med stemmen, ikke hurtig langform-diktering. På en Mac kan Apples indbyggede Dictation behandle noget generel tekst på enheden, men Apples formulering tager forbehold: det er ikke garanteret for hvert sprog, og noget diktering kan stadig gå til Apples servere. Så hvis alt, du nogensinde dikterer, er det lejlighedsvise svar på 30 ord, er de indbyggede værktøjer gratis og fine til korte stød. En dedikeret app gør sig fortjent, når du dikterer rigtig volumen (mails, noter, dokumenter), ikke etlinjers beskeder.

For det andet vinder skyen til nogle opgaver. Hvis du har brug for den højest mulige præcision på svær lyd (kraftige accenter, overlappende talere, elendige mikrofonforhold), kan en sky-model være mere præcis end en lokal, og den kan hente live-svar fra nettet, som en lokal model ikke har nogen mulighed for at kende. Whispers valgfrie Cloud-tilstand bruger OpenAI gennem din egen API-nøgle netop til de tilfælde, og lister omkring 57 sprog. Afvejningen er den ærlige: den kræver internet, og den sender din lyd til OpenAI. Hvis dit arbejde ikke er følsomt, og du vil have den bedste kvalitet plus websøgning ét sted, er skyen det bedre valg, og det vil jeg sige til dig at bruge. Hvis din lyd er privat, eller din forbindelse er upålidelig, så bliv lokal.

Hvis du har skævet til et sky-dikteringsværktøj, men gerne vil have din lyd til at blive på din maskine, gør vores gratis Aqua Voice-alternativ sagen for det offline, private fuldt ud.

Offline, online eller indbygget: en hurtig sammenligning

En kort tabel til at afgøre valget. Den fyldigere gennemgang af betalte dikteringsværktøjer findes i vores guide til transskriptionssoftware.

Whisper leverer de tre første i én app: den lokale pipeline er gratis, og Cloud er den valgfrie tilføjelse. Hvis du kom her for "privat og virker i et fly," er de to første rækker dit svar.

Hvis du tager én ting med fra dette

Offline tale til tekst er ikke et kompromis, du nøjes med, når Wi-Fi'et er nede. Det er den version, hvor lyden er din, forsinkelsen er kort, og der ikke venter en kvartalsvis sky-regning for enden af det. Skyen vinder stadig ved den sværeste lyd og live-svar fra nettet, og jeg skal pege dig derhen, når det passer. Til alt andet (mailen, noten, notatet i toget) er modellen på din egen disk nok, og det har den været et stykke tid nu.