Розпізнавання мови на Twitch — чесно

Розпізнавання мови, а не синтез — швидке роз'яснення

Швидке роз'яснення — STT і TTS. Якщо ви шукали голос-робот, що зачитує донати під час стріму, — це синтез мови (TTS), а не розпізнавання (STT). Зовсім інша тема. Зверніться до SoundAlerts — він озвучує Bits, чайові, Channel Points, підписки, рейди та Hype Train з ШІ-голосами на Premium. Або до StreamElements — AlertBox TTS із 1000+ голосів від Polly, Google, Azure і TikTok та антиспам-модерацією. Решта статті — про протилежне: ваш голос перетворюється на текст.

Розпізнавання мови (STT) — це коли ваш голос перетворюється на літери на екрані: субтитри, транскрипти, продиктовані повідомлення. Синтез мови (TTS) — зворотний напрямок: набраний текст зачитується синтетичним голосом, зазвичай як сповіщення про донат.

Половина стрімерів, що шукають цей запит, мають на увазі другий варіант. Google не може визначити, що саме потрібно, тому AI Overview для цього запиту немає — намір занадто розмитий. Інструменти TTS за посиланнями вище — для озвучення донатів. Решта статті — про те, як ваш голос стає текстом.

Для чого стрімери насправді використовують розпізнавання мови

Чотири сценарії, що повторюються знову і знову. Більшість стрімерів використовує один. Хороші — всі чотири.

Живі субтитри для доступності

Рядок тексту в нижній частині трансляції для глядачів, які не чують, слухають без звуку на роботі або не є носіями мови. Twitch показує кнопку CC лише на тих стрімах, де субтитри вже вбудовані в RTMP-потік — на решті її просто немає. Отже, це ваша відповідальність.

Транскрипти VOD для шортсів і SEO

Ви стрімили три години, боскфайт стався десь на другій годині, і вам потрібен 60-секундний TikTok із текстом на екрані. Транскрипт дозволяє знайти момент через Ctrl+F замість ручного перемотування.

Диктування між сценами

Те, про що ніхто не говорить, але за що я готовий платити. Під час стріму, руки на клавіатурі — модератор пінгує в Discord і питає, чи продовжувати режим «тільки для підписників» перед рейдом. Можна незграбно перемикатись між вікнами, поки боскфайт іде не за планом, — або натиснути клавішу, сказати фразу, і вона з'явиться в Discord зі швидкістю 145 слів на хвилину.

Стандартна гаряча клавіша Whisper — Ctrl+Space на Windows і Linux, а на macOS — комбінація command+option для режиму «говори, поки тримаєш». Обидва варіанти працюють скрізь, де є текстове поле: чат, Discord, назви сцен в OBS, вибачення в особистих повідомленнях глядачеві, ім'я якого ви вимовили неправильно. Два підводних камені для стрімерів: якщо ваша гаряча клавіша для перемикання сцен — Ctrl+Space, OBS перехопить її раніше за Whisper. Перепризначте одну з них. А деякі повноекранні ігри (усе на Unreal Engine у режимі ексклюзивного повного екрана) поглинають глобальну гарячу клавішу — перейдіть у режим вікна без рамки, і проблема зникне.

Нотатки після стріму

Три рядки для себе в майбутньому: що спрацювало, що провалилось і який кліп варто змонтувати. Більшість стрімерів пропускає цей крок. Більшість також дивується, чому канал не росте.

Перший сценарій — це OBS. Другий — інструмент транскрипції. Третій — застосунок для диктування, як наш. Четвертий — будь-яка комбінація, що дозволяє лягти спати до другої ночі.

Живі субтитри в OBS: налаштування за 10 хвилин

Спочатку чесне зізнання. Стандартне налаштування живих субтитрів для Twitch не працює через Whisper. Це плагін OBS Closed Captions від ratwithacompiler, який за замовчуванням використовує Google Speech Recognition. Версія 0.33 вийшла 15 жовтня 2025 року, набрала 1,3 тис. зірок на GitHub і працює на Windows, macOS і Linux. Зі Streamlabs OBS він не працює — SLOBS не підтримує сторонні плагіни.

Ось налаштування за 10 хвилин. Жоден із кроків не потребує написання коду.

1. Встановіть OBS Studio, якщо ще немає. Плагін працює лише з OBS, не з SLOBS.
2. Завантажте плагін зі сторінки релізів ratwithacompiler/OBS-captions-plugin на GitHub. Оберіть інсталятор для вашої ОС, закрийте OBS і запустіть його.
3. Відкрийте OBS, перейдіть у Tools → Closed Captions. Оберіть джерело мікрофона — зазвичай Mic/Aux або як ви його перейменували.
4. Вкажіть мову джерела. За замовчуванням — англійська. Плагін передає дані на безкоштовний ендпоінт Google; точність нормальна для чистого мікрофонного звуку і погіршується при гучній фоновій музиці.
5. Увімкніть субтитри в дешборді Twitch. Stream Manager → Settings → Stream → перемикач Closed Captions. Посібник із субтитрів від Twitch охоплює налаштування з боку мовника, якщо знадобиться.
6. Перевірте на приватному стрімі. Зробіть трансляцію прихованою, поговоріть 30 секунд, переконайтесь, що кнопка CC з'явилась.

Готово. Компроміс: аудіо покидає ваш комп'ютер і потрапляє до Google. Якщо це порушує ваші домовленості з аудиторією — переходьте до розділу «хмара чи локально». Whisper у цій схемі не бере участі — ми відповідаємо за диктування і VOD-транскрипцію поряд із нею. OBS обробляє субтитри, Whisper — текст через гарячу клавішу. Два інструменти, дві задачі.

Транскрипція VOD і кліпів для шортсів (реальна економія часу)

Тригодинний стрім — це тригодинна задача пошуку. Ви знаєте, що смішний момент стався десь під час другого сабтрейну, але без ручного перемотування не знайти. Транскрипт вирішує це за десять секунд.

Друге чесне зізнання. Whisper by Remskill наразі не приймає завантаження відео- чи аудіофайлів у десктопному застосунку. Транскрипція працює через гарячу клавішу на живому мікрофоні — без drag-and-drop і без кнопки «відкрити VOD». Якщо ваш сценарій — кинути MP4 і отримати транскрипт, ми поки не той інструмент. Поки що. Два чесних варіанти:

Варіант A — прокласти VOD через мікрофон за допомогою loopback. Використовуйте VB-CABLE на Windows або BlackHole на Mac, щоб направити аудіо VOD у Whisper як мікрофон, і утримуйте гарячу клавішу під час відтворення. Руки вільні, але доведеться чекати відтворення. Для багатомовних стрімів оберіть large-v3, для англомовних — distil-large-v3 (Turbo): у 6 разів швидший за large-v3 при точності 99%.

Варіант B — використовуйте open-source whisper.cpp або faster-whisper. Обидва приймають файли .mp4 і .wav з командного рядка. Налаштування складніше, але вони обробляють завдання у фоні, поки ви спите. Це легітимний варіант «обійтись без Whisper тут»: whisper.cpp і openai/whisper — безкоштовні й добре підтримуються.

Справжня перевага — в тому, що можна зробити далі. Скиньте транскрипт у ChatGPT і попросіть знайти три найкращі моменти для кліпів, вставте його у відеоредактор як доріжку субтитрів, а потім використайте як опис на YouTube — мітки часу вже будуть вирівняні.

Хмара чи локально: куди потрапляє ваше аудіо

Аудіо зі стріму — чутлива річ. Навіть якщо ви ведете пряму трансляцію для тисяч людей, різниця між «ми знаємо, що нас записують» і «стороння американська компанія має копію мого приватного діалогу з модератором» — цілком реальна.

Whisper пропонує три шляхи транскрипції і дозволяє вибирати. Жодного варіанта за замовчуванням немає.

Хмара (OpenAI, BYOK)

Найвища точність, вбудований пошук в інтернеті, покращення тексту за допомогою GPT-5. Транскрипція за замовчуванням через gpt-4o-mini-transcribe або gpt-4o-transcribe для вищої точності. Ви використовуєте власний ключ OpenAI і платите OpenAI за хвилину аудіо. Аудіо покидає ваш пристрій.

Локально — NVIDIA Parakeet

Швидкий локальний варіант. ~600 МБ на диску, у 5–10 разів швидший за Whisper на CPU, підтримує англійську і 24 європейські мови без перекладу на англійську. Азійські мови відсутні: японські, корейські та китайськомовні стрімери не можуть використовувати Parakeet.

Локально — Whisper

Повільніший за Parakeet, постачається у восьми розмірах моделей — від Base (~140 МБ) до Large v3 (~3 ГБ). Багатомовні варіанти охоплюють 99 мов і підтримують переклад на англійську; збірки .en — лише для англійської з заблокованим вибором мови.

Якщо ви стрімите з десктопа з актуальним CPU або Mac на чіпах серії M, спочатку спробуйте локальний режим. Хмара — запасний варіант, коли потрібна мова, яку Parakeet не підтримує, або коли хочеться пошуку OpenAI прямо в тій самій гарячій клавіші. Ваш ноутбук уже має мікрофон і CPU — для одного речення нотатки модератора сервер у ланцюжку не потрібен.

Якось я спробував додавати субтитри до власного стріму з кодингу — і модель виправляла кожен git-коміт на якийсь інструмент для садівництва. Саме тоді я перестав використовувати живі субтитри для кліпів і почав пропускати транскрипти через ручну вичитку. Натомість диктування між сценами витримало сотні нотаток для модераторів без жодної серйозної помилки. Різні завдання — різні вимоги до надійності.

Коли Whisper — не ваш варіант

Чесна матриця:

• Вам потрібні лише живі субтитри, вбудовані в трансляцію. Використовуйте плагін OBS Closed Captions — і справа закрита. Whisper — не движок живих субтитрів для OBS; ми інструмент диктування поруч із ним.
• Ви хочете синтетичний голос, що зачитує донати. Скористайтесь SoundAlerts або StreamElements — це TTS, протилежний напрямок.
• Вам потрібна пакетна транскрипція старих VOD-файлів. Open-source whisper.cpp або faster-whisper приймають файли напряму і нічого не коштують. Інтерфейсу для завантаження файлів у нас поки немає.
• Ви стрімите з Intel Mac. Whisper by Remskill постачається лише для Windows x86_64 і macOS Apple Silicon; Intel Mac не підтримується. Хмарні сервіси без встановлення чудово працюють у браузері.

Якщо ваш сценарій — диктування між сценами, транскрипти VOD через loopback або нотатки після стріму — це наша область. В усіх інших пунктах цього списку обирайте те, що підходить.

Більша частина налаштування розпізнавання мови для Twitch — це сантехніка: плагін для OBS, який встановлюється один раз, loopback-драйвер, про який ви одразу забуваєте, і гаряча клавіша, яку ви призначаєте й більше не чіпаєте. Справжня робота — по інший бік. Коли субтитри варті того, щоб аудіо покинуло ваш комп'ютер? Який 60-секундний кліп із тригодинного стріму варто витягати? Набирати чи говорити, коли модератори засипають повідомленнями? Оберіть інструмент, який не заважає на третій годині стріму — саме тоді це важливо.