Tale til tekst offline, forklart

Hva en offline tale-til-tekst-app faktisk er

En skrivebordsapp, ikke en nettleserfane. Det skillet gjør det meste av jobben. Et nettbasert dikteringsverktøy kjører i nettleseren din og sender nesten alltid lyden til en server. En ekte offline-app er programvare som installeres lokalt, laster en talemodell inn i minnet og kjører den på CPU-en eller GPU-en din, rett der på maskinen.

Oppførselen er enkel med vilje. Du trykker på en global hurtigtast fra inni hvilken som helst applikasjon (e-postklienten din, en kodeeditor, et Slack-felt, et felt for kliniske notater) og teksten dukker opp der markøren din er, som en rask maskinskriver som hopper inn for deg. Ingen kopier-og-lim fra et eget vindu. Ingen «last opp opptaket ditt.» Den oppfører seg som tastaturet, fordi det er det eneste grensesnittet alle apper allerede forstår.

Standard hurtigtast i Whisper er Ctrl+Space på Windows og Linux. På en Mac holder du Command og Option samtidig og slipper én av tastene for å stoppe, et trykk-og-snakk-grep, ikke en av/på-bryter. Du kan endre den; det første mange gjør er å flytte den vekk fra det som kolliderer med tegneprogrammet eller musikkprogramvaren deres. Jeg hardkodet den hurtigtasten i en tidlig versjon og fikk en e-post klokka to om natten om det, en historie til FAQ-en.

Den ærlige versjonen av «hvordan» er lite glamorøs: det finnes ingen magi, bare en modellfil på disken din. Når du installerer en lokal app, laster du ned en talemodell, et par hundre megabyte til noen gigabyte med trente vekter. Fra da av er transkripsjon en matematisk operasjon modellen utfører på lyden din. Lyden blir aldri en nettverksforespørsel. Whisper by Remskill kjører all lokal transkripsjon gjennom et bibliotek i ren Rust kalt transcribe-rs, uten Python-sidevogn og uten en egen kjøretid som må holdes i live. Det du merker er at appen starter raskt og at lydbanen holder seg kort.

Trykk på en tast, snakk, få tekst — offline-løkka

Her er hele løkka. Du holder hurtigtasten. Et lite overlegg forteller deg at den lytter. Du snakker, en setning, et avsnitt, et 600-ords forelesningssammendrag. Du slipper. Modellen transkriberer det du sa og teksten lander ved markøren din, ikke i en fil du så må lete deg frem til. Det er den praktiske forskjellen mellom en dikteringsapp og et verktøy for filtranskripsjon: en dikteringsapp setter inn tekst live, i det øyeblikket du slutter å snakke.

Ingenting av dette trenger et nettverk. Mikrofonen mater lyd inn i den lokale modellen, modellen produserer tekst, og appen skriver den for deg. Opptaket fortsetter en kort stund etter at du slipper tasten, slik at det siste ordet ikke blir kuttet, en liten ting som tok meg lengre tid å få riktig enn jeg liker å innrømme.

For hverdagslig e-post og notater er rundturen fra du slipper tasten til teksten limes inn et sekund eller to med en Small-modell på en fersk laptop, raskt nok til å holde deg i setningen du tenkte på. Det finnes også et valgfritt andre steg: Whisper kan kjøre en AI-opprydding (rette tegnsetting, formatere en liste, eller svare på et spørsmål du stilte muntlig), og i lokal modus kjører den opprydningen på enheten gjennom en lokal motor kalt Ollama. Så selv «få dette til å høres mindre ut som muntlig vrøvl»-steget kan holde seg helt offline. Du utløser det ved å starte setningen din med «Hey whisper». Ignorer det og du får en ren ordrett transkripsjon. Uansett forlater ingenting du sier maskinen med mindre du slår på den valgfrie Cloud-bryteren.

Parakeet eller lokal Whisper: hvilken motor kjører best offline

To lokale motorer følger med appen, og de er gode på forskjellige ting. Dette er den ene reelle avgjørelsen du må ta.

Parakeet er NVIDIAs TDT-modell, omtrent 600 MB, og det er den raske, 5 til 10 ganger raskere enn Whisper på en CPU. Den håndterer engelsk pluss 24 europeiske språk, 25 totalt. Den oversetter ikke til engelsk, og den har ingen kontroller for egendefinert vokabular. Hvis du mest snakker engelsk og vil ha fart, er dette den rette.

Whisper er den flerspråklige arbeidshesten. De flerspråklige modellene støtter 99 språk med automatisk gjenkjenning og kan oversette hvilket som helst av dem til engelsk. Den er tregere enn Parakeet på samme maskinvare, men den gir deg kinesisk, japansk, koreansk, egendefinert vokabular og finere kontroll. Én ting å holde styr på: de engelskspråklige Whisper-modellene (de som er merket med .en) låser seg til engelsk alene og hopper helt over støtten for 99 språk. Så «Whisper kan 99 språk» er bare sant for de flerspråklige byggene.

Tommelfingerregel: engelsk og det haster, velg Parakeet. Noe flerspråklig, noe du trenger oversatt, velg en flerspråklig Whisper-modell.

Velge riktig lokal modell for din maskinvare

En lokal modell lastes inn i RAM, så maskinvaren din setter taket. Den gode nyheten for de fleste: de mindre modellene holder lenge.

På engelsk-siden går modellene fra Base på omtrent 140 MB, til Small på omtrent 480 MB, til Medium på omtrent 1,5 GB. På den flerspråklige siden går du fra Small på 480 MB opp til Large v3 på omtrent 3 GB. Den flerspråklige Small-modellen er den nye brukere starter på, og det er et fornuftig standardvalg: den får plass overalt og den er nøyaktig nok for hverdagsdiktering.

Den kjedelige sannheten om maskinvare er at mikrofonen betyr mer enn modellen. En USB-mikrofon til 20 dollar gjør mer for nøyaktigheten enn å hoppe to modellstørrelser opp. Jeg brukte en helg overbevist om at en modelloppgradering ville fikse de grumsete transkripsjonene mine; det var laptop-mikrofonen som plukket opp oppvaskmaskinen hele tiden. Hvis du har en eldre laptop med 8 GB RAM, kjør Parakeet eller en Small-modell og bruk oppgraderingspengene på mikrofonen. Hvis du har en fersk Apple Silicon-Mac eller en 16 GB Windows-maskin med et dedikert GPU, kjører alle modellene komfortabelt, inkludert Large v3. Du trenger ikke et GPU for å komme i gang: Parakeet på en CPU er den raske veien fordi den ble bygd for det.

Hvorfor offline slår skyen for sensitiv lyd

Diktering kun i skyen er en personverntabbe som bare venter på å bli transkribert. Jeg sier det som en klar mening og underbygger det etterpå, for å vifte med hendene om personvern er billig.

Et team jeg jobbet med fikk en gang en innleid utvikler til å bygge en intern «AI-diktering»-prototype oppå en skymodell. Den kalte API-et for hver ytring, på hver laptop, med et «smart nytt forsøk» som sendte opptak på nytt når den ble nervøs. På slutten av kvartalet åpnet lederen skykostnads-dashbordet og fant en femsifret regning, det meste fra ett team som transkriberte standup-opptak fire ganger over. Utviklerens løsning var «vi bør optimalisere prompten.» Økonomisjefens løsning var «eller så bør vi ikke betale for sky-transkripsjon av møter som allerede har notater.» To problemer i én regning: kostnaden, og det faktum at hvert ord fra de møtene nå lå i en leverandørs logger.

Offline løser begge. Sjefens lønnsregneark, e-posten til barnets skole, det juridiske notatet du skriver på et tog uten dekning: ingenting av det burde forlate laptopen din bare fordi du ville skrive med stemmen. Maskinen har allerede en mikrofon og en prosessor. For ett avsnitt trenger den ikke en server i løkka. Offline fungerer også med Wi-Fi-en av, noe skyen per definisjon ikke kan.

Når skyen eller et innebygd verktøy er det bedre valget

Her er delen énverktøy-sidene hopper over. En lokal app er ikke alltid det rette svaret.

Først, spørsmålet folk stadig stiller: kan Windows gjøre tale til tekst offline? Stort sett nei, for standardverktøyet. Windows talediktering, åpnet med Win+H, krever en internettforbindelse ifølge Microsofts egen dokumentasjon, så dikteringen er skybasert. En egen Windows 11-funksjon kalt Voice Access fungerer offline når språkfilene er installert, men den er bygd for å styre PC-en med stemmen, ikke rask langform-diktering. På en Mac kan Apples innebygde Dictation behandle noe generell tekst på enheten, men Apples ordlyd tar forbehold: det er ikke garantert for alle språk, og noe diktering kan fortsatt gå til Apples servere. Så hvis alt du noensinne dikterer er det sporadiske 30-ords svaret, er de innebygde verktøyene gratis og helt greie for korte drypp. En dedikert app gjør seg fortjent til plassen så snart du dikterer reelt volum (e-poster, notater, dokumenter), ikke enlinjes meldinger.

For det andre, skyen vinner for noen oppgaver. Hvis du trenger høyest mulig nøyaktighet på vanskelig lyd (sterke aksenter, overlappende talere, elendige mikrofonforhold), kan en skymodell være mer nøyaktig enn en lokal, og den kan hente live svar fra nettet som en lokal modell ikke har noen måte å kjenne til. Whispers valgfrie Cloud-modus bruker OpenAI gjennom din egen API-nøkkel for akkurat disse tilfellene, og lister rundt 57 språk. Avveiingen er den ærlige: den trenger internett, og den sender lyden din til OpenAI. Hvis arbeidet ditt ikke er sensitivt og du vil ha best kvalitet pluss nettsøk på ett sted, er skyen det bedre valget, og jeg ville bedt deg bruke den. Hvis lyden din er privat eller forbindelsen din er upålitelig, hold deg lokal.

Hvis du har skjelt til et sky-dikteringsverktøy men vil at lyden din skal bli på maskinen din, vårt gratis Aqua Voice-alternativ legger frem den offline, private saken i sin helhet.

Offline, online eller innebygd: en rask sammenligning

En kort tabell for å avgjøre valget. Den fyldigere gjennomgangen av betalte dikteringsverktøy finner du i vår guide til transkripsjonsprogramvare.

Whisper leverer de tre første i én app: den lokale pipelinen er gratis, og Cloud er det valgfrie tillegget. Hvis du kom hit for «privat og fungerer på et fly,» er de to første radene svaret ditt.

Hvis du tar med deg én ting fra dette

Offline tale til tekst er ikke et kompromiss du slår deg til ro med når Wi-Fi-en er nede. Det er versjonen der lyden er din, ventetiden er kort, og det finnes ingen kvartalsvis skyregning som venter på slutten. Skyen vinner fortsatt for den vanskeligste lyden og live svar fra nettet, og jeg skal vise deg dit når det passer. For alt annet (e-posten, notatet, det juridiske notatet på toget) er modellen på din egen disk nok, og det har den vært en stund nå.