Offline-puheentunnistus, selitettynä

Mikä offline-puheentunnistuksen työpöytäsovellus oikeasti on

Työpöytäsovellus, ei selainvälilehti. Tuo ero tekee suurimman osan työstä. Selainpohjainen sanelutyökalu toimii selaimessasi ja lähettää lähes aina äänen palvelimelle. Aito offline-sovellus on natiivi ohjelmisto, joka lataa puhemallin muistiin ja ajaa sen suorittimellasi tai näytönohjaimellasi, juuri siinä koneella.

Toiminta on tarkoituksella yksinkertaista. Painat globaalia pikanäppäintä minkä tahansa sovelluksen sisältä (sähköpostiohjelmasi, koodieditori, Slack-ruutu, kliininen muistiinpanokenttä) ja teksti ilmestyy sinne, missä kohdistimesi on, kuin nopea konekirjoittaja sijaisenasi. Ei kopiointia erillisestä ikkunasta. Ei "lataa äänitteesi". Se käyttäytyy kuin näppäimistö, koska se on ainoa rajapinta, jonka jokainen sovellus jo ymmärtää.

Whisperin oletuspikanäppäin on Ctrl+Space Windowsissa ja Linuxissa. Macissa pidät Commandia ja Optionia yhtä aikaa pohjassa ja vapautat kumman tahansa näppäimen lopettaaksesi, eli paina-ja-puhu-yhdistelmä, ei vipukytkin. Voit vaihtaa sen; ensimmäinen asia, jonka moni tekee, on siirtää se pois siitä, mikä on ristiriidassa piirto-ohjelman tai musiikkiohjelmiston kanssa. Kovakoodasin tuon pikanäppäimen varhaisessa versiossa ja sain siitä sähköpostin kello kahdelta yöllä, mikä on tarina UKK-osioon.

Rehellinen versio siitä, "miten", on epäglamouristinen: ei mitään taikaa, vain mallitiedosto levylläsi. Kun asennat paikallisen sovelluksen, lataat puhemallin, muutamasta sadasta megatavusta muutamaan gigatavuun opetettuja painoja. Siitä eteenpäin litterointi on matemaattinen operaatio, jonka malli suorittaa äänellesi. Ääni ei koskaan muutu verkkopyynnöksi. Whisper by Remskill ajaa kaiken paikallisen litterointinsa puhtaalla Rust-kirjastolla nimeltä transcribe-rs, ilman Python-sivuprosessia ja ilman erillistä ajoympäristöä ylläpidettävänä. Se, mitä tunnet, on sovelluksen nopea käynnistyminen ja äänen reitin pysyminen lyhyenä.

Paina näppäintä, puhu, saa teksti — offline-silmukka

Tässä on koko silmukka. Pidät pikanäppäintä pohjassa. Pieni peittokuva kertoo, että se kuuntelee. Puhut, lauseen, kappaleen, 600 sanan luentotiivistelmän. Päästät irti. Malli litteroi sanomasi ja teksti laskeutuu kohdistimesi kohdalle, ei tiedostoon, joka pitää sitten etsiä. Se on käytännön ero sanelusovelluksen ja tiedostolitterointityökalun välillä: sanelusovellus lisää tekstin livenä sillä hetkellä, kun lopetat puhumisen.

Mikään tästä ei tarvitse verkkoa. Mikrofoni syöttää äänen paikalliselle mallille, malli tuottaa tekstin, ja sovellus kirjoittaa sen puolestasi. Nauhoitus jatkuu lyhyen hetken näppäimen vapauttamisen jälkeen, jottei viimeinen sana katkea, pieni asia, joka vei minulta enemmän aikaa saada oikein kuin haluan myöntää.

Jokapäiväisessä sähköpostissa ja muistiinpanoissa kierros näppäimen vapautuksesta liitettyyn tekstiin kestää sekunnin tai pari Small-mallilla tuoreella kannettavalla, riittävän nopeasti pysyäksesi siinä lauseessa, jota ajattelit. Tarjolla on myös valinnainen toinen vaihe: Whisper voi ajaa tekoälyn siistimiskierroksen (korjaten välimerkit, muotoillen luettelon tai vastaten esittämääsi kysymykseen), ja paikallistilassa tämä kierros tapahtuu laitteella paikallisen moottorin Ollaman kautta. Niinpä jopa "saa tämä kuulostamaan vähemmän puhutulta höpinältä" -vaihe voi pysyä täysin offline-tilassa. Käynnistät sen aloittamalla lauseesi sanoilla "Hey whisper". Jätä se huomiotta, ja saat siistin sanatarkan litteroinnin. Kummassakin tapauksessa mikään sanomasi ei poistu koneelta, ellet käännä valinnaista Cloud-kytkintä.

Parakeet vai paikallinen Whisper: kumpi moottori toimii offline parhaiten

Sovelluksessa on kaksi paikallista moottoria, ja ne ovat hyviä eri asioissa. Tämä on se yksi todellinen päätös, joka sinun on tehtävä.

Parakeet on NVIDIAn TDT-malli, kooltaan noin 600 MB, ja se on nopea, 5–10 kertaa nopeampi kuin Whisper suorittimella. Se hallitsee englannin sekä 24 eurooppalaista kieltä, yhteensä 25. Se ei käännä englanniksi, eikä siinä ole mukautetun sanaston säätöjä. Jos puhut enimmäkseen englantia ja haluat nopeutta, tämä on se oikea.

Whisper on monikielinen työjuhta. Sen monikieliset mallit tukevat 99 kieltä automaattisella tunnistuksella ja voivat kääntää minkä tahansa niistä englanniksi. Se on hitaampi kuin Parakeet samalla laitteistolla, mutta antaa sinulle kiinan, japanin, korean, mukautetun sanaston ja tarkemman hallinnan. Yksi asia pidä mielessä: pelkän englannin Whisper-mallit (ne, joiden tunnus on .en) lukittuvat pelkkään englantiin ja ohittavat 99 kielen tuen kokonaan. Joten "Whisper osaa 99 kieltä" pätee vain monikielisiin versioihin.

Nyrkkisääntö: englantia ja kiire, valitse Parakeet. Mikä tahansa monikielinen, mikä tahansa käännettävä, valitse monikielinen Whisper-malli.

Oikean paikallisen mallin valinta laitteistollesi

Paikallinen malli ladataan RAM-muistiin, joten laitteistosi asettaa katon. Hyvä uutinen useimmille: pienemmät mallit riittävät mainiosti.

Englannin puolella mallit vaihtelevat Basesta noin 140 MB:ssa, Smallista noin 480 MB:ssa, Mediumiin noin 1,5 GB:ssa. Monikielisellä puolella mennään Smallista 480 MB:ssa Large v3:een noin 3 GB:ssa. Small-monikielinen malli on se, josta uudet käyttäjät aloittavat, ja se on järkevä oletus: se mahtuu minne tahansa ja on tarkkuudeltaan riittävä jokapäiväiseen saneluun.

Tylsä totuus laitteistosta on, että mikrofonilla on enemmän merkitystä kuin mallilla. 20 dollarin USB-mikrofoni tekee tarkkuudelle enemmän kuin kaksi mallikokoa ylöspäin hyppääminen. Vietin viikonlopun vakuuttuneena siitä, että mallin päivitys korjaisi sameat litterointini; se oli kannettavan mikrofoni, joka poimi astianpesukonetta koko ajan. Jos sinulla on vanhempi kannettava ja 8 GB RAM-muistia, aja Parakeetia tai Small-mallia ja käytä päivitysrahat mikrofoniin. Jos sinulla on tuore Apple Silicon -Mac tai 16 GB:n Windows-kone erillisellä näytönohjaimella, jokainen malli pyörii mukavasti, mukaan lukien Large v3. Et tarvitse näytönohjainta aloittaaksesi: Parakeet suorittimella on nopea polku, koska se rakennettiin juuri sitä varten.

Miksi offline voittaa pilven arkaluonteisessa äänessä

Pelkkä pilvisanelu on tietosuojakatastrofi, joka odottaa litteroitumistaan. Sanon sen suorana mielipiteenä ja perustelen sen, koska tietosuojasta käsien heiluttelu on halpaa.

Tiimi, jonka kanssa työskentelin, teetti kerran alihankkijalla sisäisen "tekoälysanelun" prototyypin pilvimallin päälle. Se kutsui rajapintaa jokaisesta lausahduksesta, jokaisella kannettavalla, ja siinä oli "älykäs uudelleenyritys", joka lähetti äänitteet uudelleen, kun se hermostui. Vuosineljänneksen lopussa esimies avasi pilvikustannusten kojelaudan ja löysi viisinumeroisen laskun, suurimman osan siitä yhdeltä tiimiltä, joka litteroi standup-äänitteitä neljään kertaan. Alihankkijan korjaus oli "meidän pitäisi optimoida kehote". Talousjohtajan korjaus oli "tai meidän ei pitäisi maksaa kokousten pilvilitteroinnista, joista on jo muistiinpanot". Kaksi ongelmaa yhdessä laskussa: kustannus ja se, että jokainen sana noista kokouksista asui nyt toimittajan lokeissa.

Offline ratkaisee molemmat. Pomosi palkkataulukko, sähköposti lapsesi kouluun, juridinen muistio, jota laadit junassa ilman signaalia: mikään niistä ei saisi poistua kannettavaltasi vain siksi, että halusit kirjoittaa äänelläsi. Koneessa on jo mikrofoni ja suoritin. Yhtä kappaletta varten se ei tarvitse palvelinta mukaan. Offline toimii myös Wi-Fin ollessa pois päältä, mitä pilvi ei määritelmänsä mukaan voi tehdä.

Milloin pilvi tai sisäänrakennettu työkalu on parempi valinta

Tässä on se osa, jonka yhden työkalun sivut ohittavat. Paikallinen sovellus ei ole aina oikea vastaus.

Ensinnäkin se kysymys, jota ihmiset jatkuvasti kysyvät: osaako Windows muuttaa puheen tekstiksi offline-tilassa? Enimmäkseen ei, oletustyökalun osalta. Windowsin ääntämiskirjoitus, joka avataan näppäimillä Win+H, vaatii internetyhteyden Microsoftin oman dokumentaation mukaan, joten sanelu on pilvipohjaista. Erillinen Windows 11 -ominaisuus nimeltä Voice Access toimii offline-tilassa, kun sen kielitiedostot on asennettu, mutta se on rakennettu tietokoneen ohjaamiseen äänellä, ei nopeaan pitkän tekstin saneluun. Macissa Applen sisäänrakennettu sanelu voi käsitellä osan yleisestä tekstistä laitteella, mutta Applen sanamuoto varoo: sitä ei taata jokaiselle kielelle, ja osa sanelusta voi silti mennä Applen palvelimille. Joten jos sanelet vain satunnaisen 30 sanan vastauksen, sisäänrakennetut työkalut ovat ilmaisia ja ihan riittäviä lyhyisiin pätkiin. Oma sovellus ansaitsee paikkansa, kun sanelet todellista määrää (sähköposteja, muistiinpanoja, asiakirjoja), ei yhden rivin viestejä.

Toiseksi pilvi voittaa joissakin tehtävissä. Jos tarvitset mahdollisimman korkean tarkkuuden vaikeassa äänessä (vahvat aksentit, päällekkäin puhuvat, kamalat mikrofoni-olosuhteet), pilvimalli voi olla tarkempi kuin paikallinen, ja se voi hakea reaaliaikaisia verkkovastauksia, joita paikallinen malli ei mitenkään voi tietää. Whisperin valinnainen Cloud-tila käyttää OpenAI:ta oman API-avaimesi kautta juuri näihin tapauksiin, listaten noin 57 kieltä. Vaihtokauppa on se rehellinen: se tarvitsee internetin ja lähettää äänesi OpenAI:lle. Jos työsi ei ole arkaluonteista ja haluat parhaan laadun sekä verkkohaun yhdessä paikassa, pilvi on parempi valinta, ja kehottaisin käyttämään sitä. Jos äänesi on yksityinen tai yhteytesi epävakaa, pysy paikallisessa.

Jos olet katsellut pilvisanelutyökalua mutta haluat äänesi pysyvän koneellasi, ilmainen Aqua Voice -vaihtoehtomme esittää offline- ja yksityisyysperustelun kokonaisuudessaan.

Offline, online vai sisäänrakennettu: nopea vertailu

Lyhyt taulukko valinnan ratkaisemiseksi. Laajempi erittely maksullisista sanelutyökaluista löytyy litterointiohjelmisto-oppaastamme.

Whisper toimittaa kolme ensimmäistä yhdessä sovelluksessa: paikallinen putki on ilmainen, ja Cloud on valinnainen lisäosa. Jos tulit tänne hakemaan "yksityistä ja lentokoneessa toimivaa", kaksi ensimmäistä riviä ovat vastauksesi.

Jos otat tästä yhden asian

Offline-puheentunnistus ei ole kompromissi, johon tyydyt, kun Wi-Fi on poikki. Se on se versio, jossa ääni on sinun, viive on lyhyt, eikä lopussa odota neljännesvuosittaista pilvilaskua. Pilvi voittaa edelleen vaikeimmassa äänessä ja reaaliaikaisissa verkkovastauksissa, ja osoitan sinut sinne, kun se sopii. Kaikkeen muuhun (sähköposti, muistiinpano, muistio junassa) malli omalla levylläsi riittää, ja on riittänyt jo jonkin aikaa.