Zamiana mowy na tekst offline, wyjaśniona

Czym właściwie jest desktopowa aplikacja do zamiany mowy na tekst offline

Aplikacja desktopowa, a nie karta przeglądarki. To rozróżnienie wykonuje większość roboty. Narzędzie do dyktowania działające w sieci uruchamia się w przeglądarce i prawie zawsze wysyła dźwięk na serwer. Prawdziwa aplikacja offline to natywne oprogramowanie, które ładuje model mowy do pamięci i uruchamia go na Twoim procesorze lub karcie graficznej, tu i teraz, na maszynie.

Działanie jest celowo proste. Naciskasz globalny skrót klawiszowy z wnętrza dowolnej aplikacji (Twojego klienta poczty, edytora kodu, okna Slacka, pola na notatkę kliniczną), a transkrypcja pojawia się tam, gdzie jest kursor, niczym szybki maszynista, który Cię zastępuje. Żadnego kopiuj-wklej z osobnego okna. Żadnego „prześlij swoje nagranie”. Zachowuje się jak klawiatura, bo to jedyny interfejs, który każda aplikacja już rozumie.

Domyślny skrót w Whisperze to Ctrl+Space w systemach Windows i Linux. Na Macu przytrzymujesz razem Command i Option, a zwolnienie któregokolwiek klawisza zatrzymuje nagrywanie — to akord typu push-to-talk, a nie przełącznik. Możesz go przemapować; pierwszą rzeczą, jaką wiele osób robi, jest przeniesienie go z dala od tego, co koliduje z ich programem do rysowania albo oprogramowaniem muzycznym. We wczesnej wersji zaszyłem ten skrót na sztywno i dostałem o nim e-mail o drugiej w nocy — to historia na sekcję FAQ.

Uczciwa wersja odpowiedzi na „jak” jest mało efektowna: nie ma tu magii, jest tylko plik modelu na Twoim dysku. Gdy instalujesz aplikację lokalną, pobierasz model mowy, czyli od kilkuset megabajtów do kilku gigabajtów wytrenowanych wag. Od tej pory transkrypcja to operacja matematyczna, którą model wykonuje na Twoim dźwięku. Dźwięk nigdy nie zamienia się w zapytanie sieciowe. Whisper by Remskill prowadzi całą lokalną transkrypcję przez czysto-rustową bibliotekę o nazwie transcribe-rs, bez sidecara w Pythonie i bez osobnego środowiska uruchomieniowego, które trzeba utrzymywać przy życiu. To, co czujesz, to szybki start aplikacji i krótka ścieżka dźwięku.

Naciśnij klawisz, mów, dostań tekst — pętla offline

Oto cała pętla. Przytrzymujesz skrót klawiszowy. Mała nakładka informuje, że trwa nasłuch. Mówisz — zdanie, akapit, sześćsetwyrazowe streszczenie wykładu. Puszczasz. Model transkrybuje to, co powiedziałeś, a tekst ląduje w miejscu kursora, a nie w pliku, którego potem musisz szukać. To praktyczna różnica między aplikacją do dyktowania a narzędziem do transkrypcji plików: aplikacja do dyktowania wstawia tekst na żywo, w chwili, gdy przestajesz mówić.

Nic z tego nie wymaga sieci. Mikrofon podaje dźwięk do lokalnego modelu, model tworzy tekst, a aplikacja wpisuje go za Ciebie. Nagrywanie trwa jeszcze przez krótką chwilę po zwolnieniu klawisza, więc ostatnie słowo nie zostaje obcięte — drobiazg, który zajął mi więcej czasu, niż chciałbym przyznać.

Przy codziennej poczcie i notatkach droga od zwolnienia klawisza do wklejonego tekstu to sekunda albo dwie z modelem Small na niezbyt starym laptopie — wystarczająco szybko, by pozostać w zdaniu, które właśnie obmyślałeś. Jest też opcjonalny drugi krok: Whisper może uruchomić przebieg porządkujący przez AI (poprawienie interpunkcji, sformatowanie listy albo udzielenie odpowiedzi na wypowiedziane pytanie), a w trybie lokalnym ten przebieg działa na urządzeniu przez lokalny silnik o nazwie Ollama. Dzięki temu nawet etap „spraw, by to brzmiało mniej jak mówiony bełkot” może pozostać w całości offline. Wyzwalasz go, zaczynając zdanie od „Hey whisper”. Zignoruj go, a dostaniesz czystą, dosłowną transkrypcję. Tak czy inaczej nic, co powiesz, nie opuszcza maszyny, dopóki nie przełączysz opcjonalnego przełącznika Cloud.

Parakeet czy lokalny Whisper: który silnik działa offline najlepiej

W aplikacji znajdują się dwa lokalne silniki, dobre w różnych rzeczach. To jedyna prawdziwa decyzja, którą musisz podjąć.

Parakeet to model TDT firmy NVIDIA, o wielkości około 600 MB, i to ten szybki — od 5 do 10 razy szybszy od Whispera na procesorze. Obsługuje angielski plus 24 języki europejskie, razem 25. Nie tłumaczy na angielski i nie ma ustawień własnego słownictwa. Jeśli mówisz głównie po angielsku i zależy Ci na prędkości, to ten.

Whisper to wielojęzyczny koń roboczy. Jego wielojęzyczne modele obsługują 99 języków z automatycznym wykrywaniem i potrafią przetłumaczyć każdy z nich na angielski. Jest wolniejszy od Parakeeta na tym samym sprzęcie, ale daje Ci chiński, japoński, koreański, własne słownictwo i precyzyjniejszą kontrolę. Jedna rzecz, którą warto trzymać prosto: modele Whisper tylko dla angielskiego (te oznaczone .en) zamykają się wyłącznie na angielski i całkowicie pomijają obsługę 99 języków. Tak więc „Whisper obsługuje 99 języków” jest prawdą tylko dla wersji wielojęzycznych.

Zasada kciuka: angielski i w pośpiechu — wybierz Parakeet. Cokolwiek wielojęzycznego, cokolwiek, co potrzebujesz przetłumaczyć — wybierz wielojęzyczny model Whisper.

Wybór odpowiedniego lokalnego modelu pod Twój sprzęt

Lokalny model ładuje się do pamięci RAM, więc Twój sprzęt wyznacza pułap. Dobra wiadomość dla większości ludzi: mniejsze modele w zupełności wystarczają.

Po stronie angielskiej modele zaczynają się od Base, około 140 MB, przez Small, około 480 MB, po Medium, około 1,5 GB. Po stronie wielojęzycznej idziesz od Small przy 480 MB aż po Large v3, około 3 GB. Wielojęzyczny model Small to ten, od którego zaczynają nowi użytkownicy, i jest rozsądnym domyślnym wyborem: zmieści się wszędzie i jest wystarczająco dokładny do codziennego dyktowania.

Nudna prawda o sprzęcie jest taka, że mikrofon liczy się bardziej niż model. Mikrofon USB za 20 dolarów robi dla dokładności więcej niż przeskok o dwie wielkości modelu w górę. Spędziłem weekend przekonany, że ulepszenie modelu naprawi moje mętne transkrypcje; przez cały czas to mikrofon w laptopie zbierał odgłos zmywarki. Jeśli masz starszy laptop z 8 GB RAM, uruchom Parakeet albo model Small, a pieniądze na ulepszenie wydaj na mikrofon. Jeśli masz nowego Maca na Apple Silicon albo windowsową maszynę z 16 GB RAM i dedykowaną kartą graficzną, każdy model działa wygodnie, łącznie z Large v3. Nie potrzebujesz karty graficznej, by zacząć: Parakeet na procesorze to szybka ścieżka, bo właśnie do tego został zbudowany.

Dlaczego offline bije chmurę przy wrażliwym dźwięku

Dyktowanie wyłącznie w chmurze to katastrofa prywatności czekająca na transkrypcję. Powiem to wprost jako opinię, a potem ją uzasadnię, bo machanie rękami nad prywatnością jest tanie.

Zespół, z którym kiedyś pracowałem, zlecił kontraktorowi zbudowanie wewnętrznego prototypu „dyktowania AI” na bazie modelu chmurowego. Wywoływał API dla każdej wypowiedzi, na każdym laptopie, z „inteligentnym ponawianiem”, które wysyłało nagrania ponownie, gdy robiło się nerwowo. Pod koniec kwartału menedżer otworzył panel kosztów chmury i znalazł pięciocyfrowy rachunek, w większości z jednego zespołu transkrybującego nagrania ze standupów po cztery razy. Poprawka kontraktora brzmiała: „powinniśmy zoptymalizować prompt”. Poprawka dyrektora finansowego brzmiała: „albo nie powinniśmy płacić za chmurową transkrypcję spotkań, które już mają notatki”. Dwa problemy w jednym rachunku: koszt oraz fakt, że każde słowo z tych spotkań mieszka teraz w logach dostawcy.

Offline rozwiązuje oba. Arkusz z pensjami od szefa, e-mail do szkoły Twojego dziecka, pismo procesowe, które piszesz w pociągu bez zasięgu: nic z tego nie powinno opuszczać Twojego laptopa tylko dlatego, że chciałeś pisać głosem. Maszyna ma już mikrofon i procesor. Do jednego akapitu nie potrzebuje serwera w pętli. Offline działa też przy wyłączonym Wi-Fi, czego chmura z definicji nie potrafi.

Kiedy chmura albo wbudowane narzędzie to lepszy wybór

Oto część, którą strony o jednym narzędziu pomijają. Aplikacja lokalna nie zawsze jest właściwą odpowiedzią.

Po pierwsze, pytanie, które ludzie wciąż zadają: czy Windows zamienia mowę na tekst offline? Przeważnie nie, jeśli chodzi o domyślne narzędzie. Pisanie głosowe w Windowsie, otwierane skrótem Win+H, wymaga połączenia z internetem zgodnie z własną dokumentacją Microsoftu, więc dyktowanie jest oparte na chmurze. Osobna funkcja Windows 11 o nazwie Voice Access działa offline, gdy zainstalujesz jej pliki językowe, ale została zbudowana do sterowania komputerem głosem, a nie do szybkiego dyktowania dłuższych tekstów. Na Macu wbudowana funkcja Dictation od Apple potrafi przetworzyć część ogólnego tekstu na urządzeniu, ale sformułowania Apple są asekuracyjne: nie jest to gwarantowane dla każdego języka, a część dyktowania nadal może trafiać na serwery Apple. Tak więc jeśli kiedykolwiek dyktujesz tylko okazjonalną trzydziestowyrazową odpowiedź, wbudowane narzędzia są darmowe i w porządku do krótkich zrywów. Dedykowana aplikacja zasługuje na swoje miejsce, gdy dyktujesz realne ilości (e-maile, notatki, dokumenty), a nie jednolinijkowe wiadomości.

Po drugie, chmura wygrywa przy niektórych zadaniach. Jeśli potrzebujesz najwyższej możliwej dokładności na trudnym dźwięku (silne akcenty, nakładające się głosy, fatalne warunki mikrofonowe), model chmurowy może być dokładniejszy od lokalnego i potrafi pobierać odpowiedzi na żywo z sieci, których lokalny model nie ma jak znać. Opcjonalny tryb Cloud w Whisperze używa OpenAI przez Twój własny klucz API właśnie do takich przypadków, obejmując mniej więcej 57 języków. Kompromis jest uczciwy: potrzebuje internetu i wysyła Twój dźwięk do OpenAI. Jeśli Twoja praca nie jest wrażliwa i chcesz najlepszą jakość plus wyszukiwanie w sieci w jednym miejscu, chmura to lepszy wybór i sam bym Ci kazał z niej skorzystać. Jeśli Twój dźwięk jest prywatny albo połączenie zawodne, zostań przy wersji lokalnej.

Jeśli przyglądałeś się chmurowemu narzędziu do dyktowania, ale chcesz, by Twój dźwięk został na Twojej maszynie, nasza darmowa alternatywa dla Aqua Voice przedstawia w całości argument za rozwiązaniem offline i prywatnym.

Offline, online czy wbudowane: szybkie porównanie

Krótka tabela, by rozstrzygnąć wybór. Pełniejsze zestawienie płatnych narzędzi do dyktowania znajdziesz w naszym przewodniku po oprogramowaniu do transkrypcji.

Whisper dostarcza pierwsze trzy w jednej aplikacji: lokalny pipeline jest darmowy, a Cloud to opcjonalny dodatek. Jeśli przyszedłeś tu po „prywatne i działa w samolocie”, dwa pierwsze wiersze są Twoją odpowiedzią.

Jeśli masz wynieść stąd jedną rzecz

Zamiana mowy na tekst offline to nie kompromis, na który godzisz się, gdy padnie Wi-Fi. To wersja, w której dźwięk jest Twój, opóźnienie jest krótkie, a na końcu nie czeka żaden kwartalny rachunek za chmurę. Chmura nadal wygrywa przy najtrudniejszym dźwięku i odpowiedziach na żywo z sieci i wskażę Ci ją, gdy będzie pasować. Do całej reszty (e-mail, notatka, pismo w pociągu) model na Twoim własnym dysku wystarcza i wystarcza już od jakiegoś czasu.