Офлайн перетворення голосу на текст, пояснюємо

Що насправді таке офлайн застосунок для перетворення голосу на текст

Застосунок для робочого столу, а не вкладка браузера. Ця різниця робить більшу частину роботи. Веб-інструмент для диктування працює у вашому браузері й майже завжди надсилає аудіо на сервер. Справжній офлайн застосунок — це нативна програма, яка завантажує мовну модель у пам'ять і запускає її на вашому процесорі чи відеокарті, просто тут, на машині.

Поведінка навмисно проста. Ви натискаєте глобальну гарячу клавішу всередині будь-якого застосунку (поштовий клієнт, редактор коду, поле Slack, поле клінічної нотатки), і транскрипт з'являється там, де ваш курсор, наче швидкий друкарка сів за вас. Жодного копіювання з окремого вікна. Жодного «завантажте свій запис». Він поводиться як клавіатура, бо це єдиний інтерфейс, який уже розуміють усі застосунки.

Гаряча клавіша за замовчуванням у Whisper — Ctrl+Space на Windows і Linux. На Mac ви утримуєте Command і Option разом і відпускаєте будь-яку з клавіш, щоб зупинитися — це акорд push-to-talk, а не перемикач. Її можна перепризначити; перше, що багато хто робить, — пересуває її з того, що конфліктує з їхнім графічним редактором чи музичним софтом. У ранній версії я зашив цю клавішу жорстко й отримав о 2-й ночі листа про це — але це історія для розділу поширених запитань.

Чесна версія «як» неромантична: жодної магії, лише файл моделі на вашому диску. Коли ви встановлюєте локальний застосунок, ви завантажуєте мовну модель — від кількасот мегабайтів до кількох гігабайтів натренованих ваг. Відтоді транскрипція — це математична операція, яку модель виконує над вашим аудіо. Аудіо ніколи не стає мережевим запитом. Whisper by Remskill пропускає всю свою локальну транскрипцію через бібліотеку на чистому Rust під назвою transcribe-rs, без Python-надбудови й без окремого середовища, яке треба тримати живим. Те, що ви відчуваєте, — це швидкий запуск застосунку й короткий шлях аудіо.

Натисніть клавішу, скажіть, отримайте текст — офлайн-цикл

Ось повний цикл. Ви утримуєте гарячу клавішу. Невеликий оверлей повідомляє, що йде слухання. Ви говорите — речення, абзац, конспект лекції на 600 слів. Ви відпускаєте. Модель транскрибує сказане, і текст приземляється під вашим курсором, а не у файлі, який потім доводиться шукати. Це і є практична різниця між застосунком для диктування й інструментом транскрипції файлів: застосунок для диктування вставляє текст наживо, тієї ж миті, коли ви замовкаєте.

Нічого з цього не потребує мережі. Мікрофон подає аудіо в локальну модель, модель видає текст, а застосунок друкує його за вас. Запис триває ще короткий хвіст після того, як ви відпускаєте клавішу, тож останнє слово не обрізається — дрібниця, на яку я витратив більше часу, ніж хотів би зізнатися.

Для щоденної пошти й нотаток кругова подорож від відпускання клавіші до вставленого тексту займає секунду-дві з моделлю Small на сучасному ноутбуці — достатньо швидко, щоб лишатися в реченні, яке ви думали. Є й необов'язковий другий крок: Whisper може запустити прохід AI-очищення (виправлення пунктуації, форматування списку чи відповідь на запитання, яке ви промовили), і в локальному режимі цей прохід виконується на пристрої через локальний рушій під назвою Ollama. Тож навіть крок «зроби так, щоб це звучало менш як усне базікання» може лишитися повністю офлайн. Ви запускаєте його, починаючи речення зі слів «Hey whisper». Проігноруйте — і отримаєте чистий дослівний транскрипт. У будь-якому разі ніщо зі сказаного не покидає машину, доки ви не клацнете необов'язковий перемикач Хмара.

Parakeet чи локальний Whisper: який рушій найкраще працює офлайн

У застосунку постачаються два локальні рушії, і вони добрі в різному. Це єдине справжнє рішення, яке вам треба ухвалити.

Parakeet — це модель TDT від NVIDIA, приблизно 600 МБ, і вона швидка — у 5–10 разів швидша за Whisper на процесорі. Вона опрацьовує англійську плюс 24 європейські мови, разом 25. Вона не перекладає англійською й не має керування власним словником. Якщо ви здебільшого говорите англійською й хочете швидкості, це ваш вибір.

Whisper — багатомовний робочий кінь. Його багатомовні моделі підтримують 99 мов з автовизначенням і можуть перекласти будь-яку з них англійською. Він повільніший за Parakeet на тому самому залізі, але дає вам китайську, японську, корейську, власний словник і тонше керування. Одне варто тримати в голові: англомовні моделі Whisper (ті, що позначені .en) замикаються лише на англійській і взагалі пропускають підтримку 99 мов. Тож «Whisper підтримує 99 мов» правда лише для багатомовних збірок.

Правило великого пальця: англійська і поспіх — беріть Parakeet. Будь-що багатомовне, будь-що, що треба перекласти, — беріть багатомовну модель Whisper.

Як підібрати правильну локальну модель під ваше залізо

Локальна модель завантажується в оперативну пам'ять, тож ваше залізо встановлює стелю. Хороша новина для більшості: менші моделі цілком достатні.

На англійському боці моделі йдуть від Base приблизно 140 МБ, до Small приблизно 480 МБ, до Medium приблизно 1,5 ГБ. На багатомовному боці ви рухаєтеся від Small на 480 МБ аж до Large v3 приблизно 3 ГБ. Багатомовна модель Small — це те, з чого починають нові користувачі, і це розумний вибір за замовчуванням: вона вміщується будь-де й достатньо точна для щоденного диктування.

Нудна правда про залізо в тому, що мікрофон важить більше за модель. USB-мікрофон за $20 дає для точності більше, ніж стрибок на два розміри моделі вгору. Я витратив вихідні, переконаний, що апгрейд моделі виправить мої каламутні транскрипти; виявилося, це мікрофон ноутбука весь час ловив посудомийну машину. Якщо ви на старому ноутбуці з 8 ГБ оперативної пам'яті, запускайте Parakeet або модель Small, а гроші на апгрейд витратьте на мікрофон. Якщо у вас сучасний Mac на Apple Silicon або 16-гігабайтна машина Windows з дискретною відеокартою, кожна модель працює комфортно, включно з Large v3. Щоб почати, відеокарта не потрібна: Parakeet на процесорі — швидкий шлях, бо саме під це його й створювали.

Чому офлайн перемагає хмару для конфіденційного аудіо

Диктування лише через хмару — це конфіденційна катастрофа, що чекає, поки її транскрибують. Я скажу це як пряму думку, а потім підкріплю її, бо махати руками про приватність — це дешево.

Команда, з якою я колись працював, найняла підрядника, щоб той зробив внутрішній прототип «AI-диктування» поверх хмарної моделі. Він викликав API для кожного висловлювання, на кожному ноутбуці, з «розумним повтором», який пересилав записи, коли нервувався. Наприкінці кварталу менеджер відкрив панель хмарних витрат і знайшов п'ятизначний рахунок, більшість якого — від однієї команди, що транскрибувала записи стендапів по чотири рази. Виправлення підрядника було «нам слід оптимізувати промпт». Виправлення фіндиректора було «або нам не слід платити за хмарну транскрипцію нарад, до яких уже є нотатки». Дві проблеми в одному рахунку: вартість і той факт, що кожне слово тих нарад тепер живе в логах постачальника.

Офлайн вирішує обидві. Зарплатна таблиця вашого начальника, лист до школи вашої дитини, юридична записка, яку ви чернетите в потягу без сигналу: ніщо з цього не повинно покидати ваш ноутбук лише через те, що вам захотілося набирати текст голосом. У машині вже є мікрофон і процесор. Для одного абзацу їй не потрібен сервер у циклі. Офлайн також працює з вимкненим Wi-Fi, чого хмара за визначенням не може.

Коли хмара чи вбудований інструмент — кращий вибір

Ось частина, яку односторінкові презентації одного інструмента пропускають. Локальний застосунок не завжди правильна відповідь.

По-перше, запитання, яке люди постійно ставлять: чи робить Windows перетворення голосу на текст офлайн? Здебільшого ні — для стандартного інструмента. Голосове введення Windows, яке відкривається через Win+H, потребує інтернет-з'єднання згідно з власною документацією Microsoft, тож це диктування на основі хмари. Окрема функція Windows 11 під назвою Voice Access справді працює офлайн, щойно встановлено її мовні файли, але її створено для керування ПК голосом, а не для швидкого довгого диктування. На Mac вбудоване Apple Dictation може обробляти частину звичайного тексту на пристрої, але формулювання Apple обережне: це не гарантовано для кожної мови, і частина диктування все ж може йти на сервери Apple. Тож якщо все, що ви коли-небудь диктуєте, — це випадкова відповідь на 30 слів, вбудовані інструменти безкоштовні й цілком годяться для коротких сплесків. Спеціалізований застосунок виправдовує своє місце, щойно ви диктуєте справжній обсяг (листи, нотатки, документи), а не однорядкові повідомлення.

По-друге, хмара виграє для деяких завдань. Якщо вам потрібна найвища можлива точність на складному аудіо (важкі акценти, перекривні мовці, жахливі умови мікрофона), хмарна модель може бути точнішою за локальну, і вона може підтягувати живі відповіді з вебу, про які локальна модель не має змоги знати. Необов'язковий режим Хмара у Whisper використовує OpenAI через ваш власний API-ключ саме для таких випадків, перелічуючи приблизно 57 мов. Компроміс чесний: він потребує інтернету й надсилає ваше аудіо до OpenAI. Якщо ваша робота не конфіденційна й ви хочете найкращу якість плюс вебпошук в одному місці, хмара — кращий вибір, і я порадив би вам ним скористатися. Якщо ваше аудіо приватне або з'єднання ненадійне, лишайтеся локально.

Якщо ви придивлялися до хмарного інструмента диктування, але хочете, щоб ваше аудіо лишалося на вашій машині, наша безкоштовна альтернатива Aqua Voice повністю розкриває офлайн-приватний варіант.

Офлайн, онлайн чи вбудоване: швидке порівняння

Невелика таблиця, щоб вирішити вибір. Повніший розбір платних інструментів диктування є в нашому посібнику з програм для транскрипції.

Whisper постачає перші три в одному застосунку: локальний конвеєр безкоштовний, а Хмара — необов'язкове доповнення. Якщо ви прийшли сюди за «приватним і працює в літаку», перші два рядки — ваша відповідь.

Якщо взяти з цього одну річ

Офлайн перетворення голосу на текст — це не компроміс, на який ви погоджуєтеся, коли Wi-Fi відключився. Це та версія, де аудіо ваше, затримка коротка й немає квартального хмарного рахунку, що чекає в кінці. Хмара все ще виграє для найскладнішого аудіо й живих відповідей з вебу, і я вкажу вам туди, коли це доречно. Для всього іншого (лист, нотатка, записка в потягу) моделі на вашому власному диску достатньо, і так уже певний час.