Локальне проти хмарного розпізнавання

Локально — значить модель живе на вашому диску

Локальне розпізнавання завантажує мовну модель один раз, а потім запускає її на вашому процесорі. Жодного завантаження на сервер, жодного сервера, жодного звернення до мережі під час запису. Відключіть інтернет — і все одно друкуватиме.

Наш застосунок робить це на чистому Rust через бібліотеку transcribe-rs, без жодного Python-рантайму. Ви обираєте з восьми моделей Whisper — від Base (≈140 МБ) до Large v3 (≈3 ГБ) або NVIDIA Parakeet (≈600 МБ), яка у п'ять-десять разів швидша за Whisper на процесорі. GPU не потрібен. Модель завантажується в оперативну пам'ять, голос потрапляє всередину, текст виходить назовні — і весь цей цикл не торкається інтернету.

Єдина незручність — початкове завантаження. Модель на 3 ГБ — це справжнє випробування на готельному Wi-Fi, а ноутбук 2018 року впорається з малою моделлю, але задихнеться на великій. Проте після першого завантаження немає ні плати за хвилину, ні сервера в ланцюжку. Якщо хочете докладніше — я написав окремий матеріал про повністю офлайн-роботу. Дивіться розпізнавання мовлення в тексті офлайн на десктопі.

Хмарно — значить ваше аудіо їде у подорож

Хмарне розпізнавання записує ваше аудіо, відправляє його на сервер провайдера, а сервер повертає текст. Ви орендуєте чуже залізо та їхню найновішу модель.

У нашому застосунку хмарний режим — це OpenAI з вашим власним ключем. Транскрипція виконується через gpt-4o-mini-transcribe або якісніший gpt-4o-transcribe, а поверх можна додати AI-обробку та живий вебпошук через той самий ключ. Ви надаєте власний ключ OpenAI і платите безпосередньо OpenAI — ми не беремо комісії і не додаємо націнки. Великих моделей завантажувати не потрібно. На нетбуці п'ятирічної давності та на новій робочій станції все працює однаково, бо важка робота відбувається на сервері — і він може відповісти на запитання, знайшовши інформацію в інтернеті, чого локальна модель просто не вміє.

Ціна очевидна із самої назви. Ваше аудіо покидає пристрій. Потрібне живе з'єднання. І ви платите за хвилину — частки цента, але це накопичується, і лічильник крутиться.

Чесне порівняння

Цифри в таблиці навмисно відсутні. Фактичні ціни дивіться на нашій сторінці цін. Тут — про суть кожного вибору.

Прочитайте зверху донизу — картина чітка. Локальне обмінює зручність на приватність, офлайн-роботу та фіксовану вартість. Хмарне обмінює приватність і лічильник на найновішу модель та підключення до вебу. Жоден варіант не кращий — вони добре справляються з різними задачами.

Коли хмара — правильний вибір

Не буду вдавати, що локальний режим перемагає завжди. Є реальні випадки, коли я б обрав хмару.

Якщо ваше залізо старе або бракує оперативної пам'яті, хмара — добріший варіант. Ноутбук 2017 року з 8 ГБ RAM буде битися з великою локальною моделлю, тоді як хмара бере важку роботу на себе, а ваша машина лише обробляє мікрофон. Якщо вам потрібна абсолютна точність на складному аудіо — сильний акцент, кілька мовців одночасно або вузькоспеціалізована термінологія — найновіші хостингові моделі, як правило, випереджають те, що можна запустити вдома. А якщо ви хочете продиктувати запитання і отримати відповідь із вебу прямо в курсор — без хмари ніяк. Локальна модель не має інтернету для пошуку.

Спільний знаменник: хмара — це рятувальний люк для слабкого заліза, найвищої якості та живого доступу до вебу.

Коли локальний — правильний вибір

Для більшості людей у більшості випадків я б починав з локального.

Якщо те, що ви диктуєте, є приватним — таблиця із зарплатами, лист до школи дитини, юридичний чернетка — воно не повинно опинятися в логах постачальника лише тому, що ви захотіли набирати текст голосом. Локальний режим тримає це аудіо на вашому пристрої — крапка. Якщо ви працюєте в літаках, поїздах або кафе з ненадійним Wi-Fi, локальний не питає, чи є у вас сигнал. І якщо ви диктуєте багато — фіксована вартість має значення.

Ось думка, за якою я готовий стояти: спробуйте спочатку локальний і ставтесь до хмари як до рятувального люка, а не до стандартного варіанту. Якщо ваш Mac на Apple Silicon або PC не старший за чотири роки — локальний впорається з повсякденним диктуванням із точністю від 95% до 99% без жодного сервера. Переходьте на хмару, коли впираєтесь у стіну: слабке залізо, найскладніше аудіо або потреба у вебпошуку. Більшість людей у цю стіну не впираються.

Є причина, чому я нервово ставлюсь до хмари за замовчуванням. Одна команда, з якою я колись працював, дозволила підряднику зробити внутрішній прототип хмарного AI-диктування, який звертався до API на кожне висловлювання. Розумний цикл повторів транскрибував одні й ті самі записи стендапів по чотири рази. Менеджер відкрив панель витрат наприкінці кварталу й побачив рахунок із п'ятьма нулями. Рішення підрядника — оптимізувати промпт. Рішення фінансового директора — перестати платити за транскрибування нарад, у яких і так є нотатки. Хмара з лічильником — нормально, доки щось не зациклиться. У локального немає лічильника, який може піти в рознос.

Обидва режими в одному застосунку

Поділ, описаний вище, реальний — але це не розвилка, на якій треба вирішити раз і назавжди. У нашому застосунку обидва режими доступні за однією комбінацією клавіш і одним накладанням запису, а перемикач — один тумблер. Продиктуйте приватний лист локально вранці, переключіться на хмару, щоб перевірити факт із вебпошуком удень, і поверніться назад. Нічого перевстановлювати не потрібно. Обирати один варіант назавжди — теж.

Саме це й упускають у суперечці «локальне проти хмарного». Це не релігійна війна. Це два інструменти в одному ящику, і правильний залежить від речення, яке ви збираєтесь сказати. Якщо хочете порівняти локальні движки між собою — швидкість проти охоплення мов — це окрема стаття: Whisper проти Parakeet. А якщо зважуєте нас проти конкретного конкурента — порівняння з superwhisper детально розглядає один такий випадок.

Якщо запам'ятати одне

Локальне — для приватності, офлайну та фіксованої вартості. Хмарне — для найновішої моделі, слабкого заліза та доступу до вебу. Спробуйте спочатку локальне і тримайте хмару як запасний вихід. Найкраще те, що не треба обирати назавжди: один перемикач, обидва режими — той, що підходить для речення, яке ви зараз скажете.