Kuinka ajaa Whisper paikallisesti

Mitä "Whisperin ajaminen paikallisesti" oikeasti tarkoittaa

Whisperin ajaminen paikallisesti tarkoittaa, että litterointi tapahtuu tietokoneesi omalla prosessorilla, ei jossain palvelimella. Syötät sille ääntä, malli muuttaa sen tekstiksi, eikä mitään lähde koneelta. Se on vetovoima. Pomoosi liittyvä palkkataulukko luettuna ääneen, sähköposti lapsesi koululle, tallennettu asiakaspuhelu — mikään siitä ei koske toimittajan lokeja, koska halusit kirjoittaa äänellä. Laite ensin tai ei ollenkaan, sen verran pidän kiinni mielipiteestäni, ja laitan siihen numeron alempana.

Whisper itsessään on vain malli. OpenAI harjoitti sen ja julkaisi painot MIT-lisenssillä, minkä takia kuka tahansa voi ladata ja ajaa sen maksamatta. Malleja on useita kokoja, pienimmästä 39 miljoonan parametrin mallista suurimpaan 1,55 miljardin parametrin malliin, ja valitset sen mukaan kuinka paljon tarkkuutta tarvitset suhteessa laiteresursseihin. Malli on sama, ajatpa sitä terminaalista tai sovelluksesta. Se, mikä muuttuu, on sen ympärillä oleva kerros.

Ja tuo kerros on koko kysymys. Niitä on kaksi, molemmat laillisia. Virallinen OpenAI:n komentorivityökalu: ilmainen, skriptattava, Python-pohjainen, rakennettu tiedostojen litterointiin. Ja työpöytäsovellukset, jotka lataavat saman tyyppisen mallin tavallisen ikkunan taakse, jotta painat näppäintä ja puhut kirjoittamisen sijaan. Tylsä totuus on, että useimmat tätä avainsanaa hakevat haluavat toista näistä kahdesta eivätkä vielä tiedä kumpaa. Seuraavat kaksi osiota käyvät läpi juuri nämä kaksi reittiä.

Kehittäjäreitti: Python, pip ja ffmpeg

Jos olet kotona terminaalissa, virallinen projekti on siistin vastaus ja se on aidosti ilmainen. Tarvitset kolme asiaa koneellasi: Pythonin (projekti tukee versioita 3.8–3.11), itse Whisper-paketin ja ffmpegin, joka on äänityökalu, jota Whisper käyttää tiedostojesi lukemiseen. Asennus on kaksi komentoa. `pip install -U openai-whisper` hakee paketin ja sen PyTorch-riippuvuuden. Sitten ffmpeg, joka riippuu käyttöjärjestelmästäsi — `brew install ffmpeg` Macilla, `choco install ffmpeg` tai `scoop install ffmpeg` Windowsilla, `sudo apt install ffmpeg` Ubuntussa.

Kun se on asennettu, ajat sen tiedostoa vasten. `whisper audio.mp3 --model turbo` litteroi tallennuksen ja kirjoittaa tekstin ulos. Lisää `--language Japanese` ohittaaksesi automaattisen tunnistuksen, tai `--task translate` saadaksesi muun kuin englanninkielisen tallennuksen englanninkielisenä ulos. Se on sen ydin. Se on tiedosto sisään, teksti ulos -työkalu, ja se on siinä hyvä. Osoita sitä yön yli kansiolle äänimuistioita ja se jauhaa läpi jokaisen ilman, että sinun tarvitsee valvoa.

Laitteistotodellisuus on se, missä odotukset törmäävät seinään. Viralliset mallien koot ovat tiny (39M parametria), base (74M), small (244M), medium (769M), large (1,55B) ja turbo (809M). VRAM-vaatimukset kertovat todellisen tarinan: noin 1 GB tinylle, noin 2 GB smallille, noin 5 GB mediumille ja noin 10 GB large-mallille. Nämä luvut on kirjoitettu GPU:ta varten. Voit ajaa pienempiä malleja CPU:lla, mutta erillinen GPU on se, mikä tekee suuremmista malleista sietäviä. Piirsin kerran siistin "aja vain large läppärillä" -asetuksen, sitten katsoin sen ryömivän integroidulla grafiikalla. Kaavio on aina väärässä toiseen committiin mennessä. CPU viimein valmistuu; large-malli ohuella kannettavalla ei ole tiistai-iltapäivän suunnitelma.

Terminaaliton reitti: aja Whisper työpöytäsovelluksessa

Jos et ikinä halua nähdä komentoriviä, tämä on toinen rehellinen polku. Whisper by Remskill on Windows 10:lle tai uudemmalle ja Apple Silicon -Maceille tarkoitettu työpöytäsovellus, joka ajaa Whisperin paikallisesti puolestasi — mallit latautuvat sovelluksen sisällä, ei pippiä, ei ffmpegiä, ei Pythonia. Se ajaa myös Parakeetia, toista paikallista moottoria, johon palaan. Koko paikallinen putkilinja on ilmainen kaikille kirjautuneille käyttäjille, eikä maksutapaa kysytä rekisteröitymisessä. Tässä on järjestys.

Hidas osa on mallin lataus, sama kuin CLI-reitillä — painot ovat painoja. Kaikki muu on neljä vaihetta yllä. Ero on, että terminaalia ei ole sinun ja mallin välissä, ja tiedosto sisään, teksti ulos -toiminnon sijaan saat pikanäppäimen, joka kirjoittaa minne tahansa kursorisi sattuu olemaan. Sama Whisper alla, eri tehtävä päällä.

Mikä malli ja millainen laitteisto tarvitaan

Molemmat reitit pyytävät sinua valitsemaan mallin, ja valinta tiivistyy samaan kompromissiin: suuremmat mallit ovat tarkempia ja hitaampia, pienemmät nopeampia ja kevyempiä. Virallisessa CLI:ssä large-malli vaatii noin 10 GB VRAM:ia ja small noin 2 GB, joten näytönohjain asettaa katon. Työpöytäsovelluksessa Whisper-mallit jakautuvat vain englantia tukeviin ja monikielisiin, joista oletusarvoinen englanninkielinen malli on noin 480 MB levyllä ja suurin monikielinen noin 3 GB. Monikieliset versiot kattavat 99 kieltä ja voivat kääntää englanniksi; vain englantia tukevat versiot ovat pelkästään englanninkielisiä.

Sovelluksen toinen paikallinen moottori on syytä tuntea tässä, koska se kiertää laitteisto-ongelman monilta. Parakeet on NVIDIA:n TDT-malli, noin 600 MB, ja se on 5–10 kertaa nopeampi kuin Whisper CPU:lla. Se kattaa englannin lisäksi 24 muuta eurooppalaista kieltä, 25 yhteensä, ilman käännöstä englanniksi. Jos puhut pääasiassa englantia eikä sinulla ole vahvaa GPU:ta, Parakeet on nopea paikallinen valinta. Jos tarvitset kiinaa, japania, koreaa tai käännöstä, se on Whisperin monikielinen alue eikä Parakeet sinne pääse. Puhuessasi pieni kapseli näyttää, että sovellus kuuntelee:

Paras yksittäinen tapa parantaa tarkkuutta ei ole suurempi malli lainkaan. 20 dollarin USB-mikrofoni tekee enemmän litterointisi eteen kuin kahden mallikoon hyppäys — puhdas ääni sisään voittaa raskaamman mallin, jolle syötetään kannettavan mikrofonin mössöä. Käytä rahat ensin mikrofoniin, sitten mieti mallia. Se on ainoa laitteistovinkki, jonka laitan paperille ja pidän kiinni.

Paikallinen vai pilvi: kumpi sopii mihinkin tehtävään

Jos koneesi on Apple Silicon tai PC:si on viimeisten muutaman vuoden ajalta, kokeile ensin paikallista. Pilvi on varaventtiili, ei oletusasetus. Mutta sovellus pyytää sinua valitsemaan kolmesta reitistä ja haluaisin sinun valitsevan hyvin, joten tässä on se, miten ne eroavat.

Tässä on, miten kolme reittiä eroavat, koska sovellus pakottaa sinua valitsemaan:

• Local Parakeet — NVIDIA:n TDT-moottori, noin 600 MB, ja nopein paikallinen vaihtoehto — 5–10 kertaa nopeampi kuin Whisper CPU:lla. Kattaa englannin lisäksi 24 muuta eurooppalaista kieltä, 25 yhteensä. Ei käännöstä englanniksi. Jos kirjoitat englanniksi tai jollakin muulla eurooppalaisella kielellä ja haluat nopeutta ilman GPU:ta, tämä on täysin offline-valinta.
• Local Whisper — hitaampi kuin Parakeet samalla koneella, mutta monikieliset versiot kattavat 99 kieltä ja voivat kääntää englanniksi. Vain englantia tukevat versiot ovat pelkästään englanninkielisiä, eivät 99. Valitse tämä kiinan, japanin, korean tai minkä tahansa käännöstyön vuoksi, johon Parakeet ei pysty. Oletusarvoinen englanninkielinen malli on noin 480 MB; suurin monikielinen on noin 3 GB.
• Cloud (OpenAI, BYOK) — paras tarkkuus ja verkkoyhteys, omalla OpenAI-avaimellasi suoraan OpenAI:n laskuttamana. Litterointi kulkee oletuksena gpt-4o-mini-transcribe-mallin kautta. Vaatii internet-yhteyden, joten se on ainoa reitti, joka lähtee koneeltasi. Pilviominaisuus kuuluu Whisper Pro:hon.

Tylsä totuus on, että jokapäiväiseen sanelukseen paikallinen riittää mainiosti, ja molemmat paikalliset moottorit pyörivät täysin koneellasi ilman mitään palvelimelle lähetettävää. Pilvi ansaitsee paikkansa, kun tarvitset huipputarkkuutta hankalaan tallenteeseen tai mallin pitää hakea fakta verkosta kesken lauseen. Kumman reitin ikinä valitsitkin Whisperin paikalliseen ajoon — CLI:n tai sovelluksen — yksityisyyden tarina on sama: ääni pysyy paikallaan. Jos offline-pysyminen on koko syy miksi olet täällä, offline-puheentunnistus menee syvemmälle siihen.

Tarkkuus, välimerkit ja raakalitteraatin siistiminen

Mitä tahansa Whisper ajaakin, raaka sanelu tulee ulos pitkänä nauhana. Sanot "okei niin litteroi standup-tallennus sitten lähetä yhteenveto tiimille ennen lounasta" ja se on välimerkkitön möhkäle, jonka mikä tahansa puheentunnistusmoottori antaa sinulle. Virallinen CLI antaa sinulle tuon tekstin ja pysähtyy siihen — siistiminen on sinun tehtäväsi, skriptissä tai käsin. Se on hyvä erälitterointiin, jossa joka tapauksessa käsittelet tulostetta myöhemmin.

Työpöytäsovellus voi tehdä siistimiskierroksen puolestasi ennen kuin teksti laskeutuu. Sano aktivointilause "Hey whisper" ja tekoäly poistaa täytekorvakkeet, korjaa pitkät lausejonot ja lisää välimerkit. Paikallisella mallilla tämä kulkee Ollaman kautta koneellasi; pilvitilassa se on oletuksena gpt-5-mini. Ero raakatekstin ja siistin välillä on ero litteraatin, jota täytyy muokata, ja sellaisen, jonka voi lähettää suoraan:

Tarkkuus on enimmäkseen malli-ja-mikrofoni -kysymys, ja mikrofonin kävin jo läpi. Mallipuolella suuremmat monikieliset Whisper-versiot ovat vahvoja 99 kielellä, ja pilvitila lisää OpenAI:n huippulitteroinnin, jos tallennus on aidosti hankala. Mutta puhtaalle äänelle ja normaalille puheelle jopa pienet mallit ovat vakaita, ja suurimman mallin jahkaaminen heikolla laitteistolla ostaa sinulle hitaampaa tulostetta tarkkuudella, jota et todennäköisesti huomaa. Sovita malli tehtävään, ei spesifikaatioiden leuhkimiseen.

Jos päätavoitteesi on puhua kirjoittamisen sijaan koko päivän, sama puhu-sitten-siisti -kulku on se, mikä mahdollistaa sen, että voit muuttaa puheen tekstiksi Windowsissa avaamatta terminaalia kertaakaan, mikä on CLI-vapaan reitin koko pointti.

Milloin komentorivi on oikea valinta

Joskus terminaali on aidosti parempi työkalu, ja väittää muuta myydäkseni sinulle sovelluksen olisi epärehellistä. Virallinen OpenAI CLI on ilmainen, MIT-lisenssoitu ja rakennettu tehtävään, johon työpöytäsovellus ei pysty: litteroi tiedostoja, isossa erässä, skriptistä. Jos se on sinun tehtäväsi, ohita sovellus.

Ota komentorivi käyttöön, kun sinulla on kansio tallennuksia prosessoitavaksi yön yli, kun haluat Whisperin isompaan Python-putkistoon tai palvelimelle, jonka hallitset, kun tarvitset tietyn malliparametrin, jota käyttöliittymä ei paljasta, tai kun asut jo terminaalissa etkä halua toista ikkunaa auki. Se on myös oikea valinta Linuxilla, jolle työpöytäsovellusta ei toimiteta. CLI pyörii missä tahansa, missä Python ja ffmpeg toimivat. Mikään tästä ei ole pahaksi puhe sovelluksesta — se on vain erilainen ongelmanmuoto.

Ota työpöytäsovellus, kun tehtävä on sanelu, ei tiedostojen käsittely: haluat puhua sähköpostiin, asiakirjoihin, chattiin ja halutat sanojen ilmestyvän kursorin kohdalle yhdellä näppäimellä. CLI ei voi liittää kursorisi kohdalle toisessa ohjelmassa; se ei koskaan ollut sen tehtävä. Rehellinen jako on siis — tiedostot ja skriptaus, käytä terminaalia; puhuminen kirjoittamisen sijaan, käytä sovellusta. Useimmat ihmiset, kun he ovat selvillä siitä, kumpaa haluavat, tietävät heti, kummalla puolella ovat.

Sama laitteella tapahtuva, pilvitön logiikka pätee myös Macilla — puhe tekstiksi Macilla -opas käy läpi Apple Silicon -puolen, mukaan lukien Accessibility-lupa, jota pikanäppäin tarvitsee.

Whisper omalla koneella on yksi ohjelmistomaailman parhaista diileistä juuri nyt — malli, jonka OpenAI antoi ilmaiseksi, sama jonka suuret pilvipalvelut hiljaa kutsuvat, levyllä ilmaiseksi. Ainoa todellinen päätös on, kumpi kerros sopii päiväsi. Ajan CLI:tä, kun minulla on tiedostoja pureskeltavaksi, ja sovellusta muun 95 % ajasta, koska vaihdan ohjelmia noin neljäkymmentä kertaa tunnissa enkä halua kirjoittaa komentoa jokaiseen kertaan. Sanelin suurimman osan tästä oppaasta pikanäppäimellä, tekstikenttään joka ei ollut terminaali, mallin pyöriessä samalla kannettavalla koko ajan.