Speech to text su Twitch, senza giri di parole

Speech-to-text, non text-to-speech — un chiarimento rapido

Chiarimento rapido — STT vs TTS. Se sei qui per la voce robotica che legge i messaggi di donazione durante lo stream, quello è text-to-speech, non speech-to-text. È un altro argomento. Dai un'occhiata a SoundAlerts, che fa TTS per Bit, Mance, Punti Canale, Sub, Raid e Hype Train, con voci AI nel piano Premium. Oppure usa StreamElements, che gestisce AlertBox TTS con oltre 1000 voci da Polly, Google, Azure e TikTok, oltre alla moderazione anti-spam. Il resto di questo articolo riguarda l'altra cosa: la tua voce trasformata in testo.

Speech-to-text è la tua voce che diventa testo sullo schermo: didascalie, trascrizioni, messaggi dettati. Text-to-speech è la direzione opposta: messaggi scritti letti ad alta voce da una voce sintetica, di solito un alert per una donazione.

Metà degli utenti Twitch che cercano questa frase vogliono la seconda. Google non riesce a capire quale delle due intendono, ed è per questo che non esiste un AI Overview per questa ricerca — l'intento è troppo diviso. Gli strumenti TTS linkati sopra gestiscono la lettura delle donazioni. Il resto di questo articolo gestisce la tua voce trasformata in testo.

A cosa usano davvero lo speech-to-text gli streamer

Quattro casi d'uso che ritornano continuamente. La maggior parte degli streamer ne fa uno. I migliori li fanno tutti e quattro.

Sottotitoli live per l'accessibilità

Una riga di testo in basso nella trasmissione per chi guarda ed è sordo, ha difficoltà uditive, guarda con l'audio disattivato al lavoro, o è un parlante non madrelingua che segue leggendo. Twitch mostra un pulsante CC sugli stream che hanno già le didascalie nel feed RTMP e niente sugli stream che non le hanno. Quindi dipende da te.

Trascrizioni dei VOD per clip e SEO

Hai streamato per tre ore, la boss fight è successa intorno al segno delle due ore, e vuoi un TikTok di 60 secondi con testo sullo schermo. La trascrizione ti permette di fare ctrl-F sul momento invece di trascinare la barra.

Dettatura tra una scena e l'altra

La parte di cui nessuno parla e quella per cui pagherei. A metà stream, con le mani sulla tastiera, il tuo mod ti pinga su Discord chiedendo se vuoi estendere la modalità sub-only per il raid. Puoi o armeggiare con alt-tab mentre la boss fight va storta, oppure premere un tasto, dire la frase e vederla atterrare su Discord a 145 parole al minuto.

Il tasto rapido predefinito di Whisper è Ctrl+Space su Windows e Linux, e il comando push-to-talk solo con modificatori command+option su macOS. Funziona ovunque ci sia un campo di testo: chat, Discord, campi nome scena di OBS, un DM di scuse all'una di notte al viewer di cui hai storpiato il nome. Due avvertenze specifiche per gli streamer: se il tuo tasto rapido per cambiare scena è Ctrl+Space, OBS lo intercetterà prima che Whisper lo senta — rimappa uno dei due. E alcuni giochi in fullscreen esclusivo (qualsiasi cosa Unreal Engine in fullscreen esclusivo) inglobano il tasto rapido globale; esegui il gioco in modalità windowed senza bordi e il problema svanisce.

Note post-stream

Un memo di tre righe per il te futuro su cosa ha funzionato, cosa no, e quale clip vale la pena di montare. La maggior parte degli streamer salta questo passaggio. La maggior parte si chiede anche perché il canale non cresce.

Il primo riguarda OBS. Il secondo uno strumento di trascrizione. Il terzo un'app di dettatura come la nostra. Il quarto qualsiasi combinazione ti faccia andare a letto prima delle due di notte.

Sottotitoli live in OBS: la configurazione in 10 minuti

Prima una confessione onesta. La configurazione standard per i sottotitoli live su Twitch non è alimentata da Whisper. È il plugin OBS Closed Captions di ratwithacompiler, che usa Google Speech Recognition come backend predefinito. La versione 0.33, uscita il 15 ottobre 2025, ha 1,3k stelle su GitHub e funziona su Windows, macOS e Linux. Non funziona con Streamlabs OBS perché SLOBS non accetta plugin di terze parti.

Ecco la configurazione in 10 minuti. Nessuno di questi passaggi richiede di scrivere codice.

1. Installa OBS Studio se non ce l'hai. Il plugin funziona solo con OBS, non con SLOBS.
2. Scarica il plugin dalla pagina dei rilasci GitHub di ratwithacompiler/OBS-captions-plugin. Scegli il programma di installazione per il tuo sistema operativo, chiudi prima OBS, poi eseguilo.
3. Apri OBS, vai su Strumenti → Closed Captions. Scegli la sorgente del microfono, in genere Mic/Aux o come l'hai rinominata.
4. Imposta la lingua della sorgente. Il default è inglese. Il plugin trasmette all'endpoint gratuito di Google; l'accuratezza è buona con audio del microfono pulito e peggiora con musica di sottofondo intensa.
5. Attiva le didascalie nella dashboard Twitch. Stream Manager → Impostazioni → Stream → opzione Closed Captions. La Guida ai Closed Captions di Twitch copre il lato broadcaster se ne hai bisogno.
6. Testa su uno stream privato. Imposta la trasmissione come non in elenco, parla per 30 secondi, verifica che appaia il pulsante CC.

Fatto. Il compromesso: l'audio lascia il tuo computer e va a Google. Se questo viola il contratto con il tuo pubblico, salta avanti alla sezione cloud-vs-locale. Whisper stesso non rientra in questa parte; noi siamo il livello di dettatura e VOD accanto a OBS. OBS gestisce le didascalie, Whisper gestisce il testo tramite tasto rapido. Due strumenti, due compiti.

Trascrivere VOD e clip per gli short (il vero risparmio di tempo)

Uno stream di tre ore è un problema di ricerca lungo tre ore. Sai che il momento divertente è capitato da qualche parte intorno al secondo sub-train, ma non riesci a trovarlo senza trascinare la barra. Una trascrizione risolve questo in dieci secondi.

Seconda confessione onesta. Whisper by Remskill non accetta caricamenti di file video o audio nell'app desktop oggi. La trascrizione è gestita tramite tasto rapido sul microfono live, senza trascinamento di file e senza un pulsante "apri VOD". Se il tuo flusso di lavoro è trascina-un-MP4-ottieni-una-trascrizione, non siamo lo strumento giusto. Ancora. Due opzioni oneste:

Opzione A — instrada il tuo VOD tramite loopback nel microfono. Usa VB-CABLE su Windows o BlackHole su Mac per reindirizzare l'audio del VOD in Whisper come se fosse un microfono, poi tieni premuto il tasto rapido durante la riproduzione. Senza intervento manuale, ma devi stare sveglio durante la riproduzione. Scegli large-v3 per stream multilingue o distil-large-v3 (Turbo) per l'inglese: 6× più veloce di large-v3 con il 99% dell'accuratezza.

Opzione B — usa whisper.cpp open source o faster-whisper. Entrambi accettano file .mp4 e .wav dalla riga di comando. Configurazione più lenta, ma elaborano i file mentre dormi. Questa è la mossa legittima per chi vuole "saltare Whisper per questo": whisper.cpp e openai/whisper sono gratuiti e ben mantenuti.

Il vero vantaggio è a valle. Incolla la trascrizione in ChatGPT e chiedi i tre momenti più adatti per una clip, inseriscila nel tuo editor video come traccia didascalie, e usala come descrizione YouTube con i timestamp già allineati.

Cloud vs locale: dove va l'audio del tuo stream

L'audio dello stream è sensibile. Anche se lo trasmetti live a migliaia di persone, la differenza tra "sappiamo che stiamo registrando" e "un'azienda statunitense non collegata ha una copia della mia conversazione off-stream con un mod" è reale.

Whisper offre tre percorsi di trascrizione e ti lascia scegliere. Non c'è un default.

Cloud (OpenAI, BYOK)

La migliore accuratezza, ricerca web integrata, miglioramento del testo AI via GPT-5. La trascrizione usa gpt-4o-mini-transcribe per default o gpt-4o-transcribe per maggiore accuratezza. Porti la tua chiave OpenAI e paghi OpenAI per minuto di audio. L'audio lascia il tuo dispositivo.

Locale — NVIDIA Parakeet

Opzione locale veloce. ~600 MB su disco, 5–10× più veloce di Whisper su CPU, inglese più 24 lingue europee senza traduzione in inglese. Nessuna lingua asiatica: gli streamer giapponesi, coreani o cinesi non possono usare Parakeet.

Locale — Whisper

Più lento di Parakeet, disponibile in otto dimensioni di modello da Base (~140 MB) a Large v3 (~3 GB). Le varianti multilingue coprono 99 lingue e supportano la traduzione in inglese; le versioni .en sono solo inglese con il selettore lingua bloccato.

Se streami da un desktop con una CPU recente o un Mac con chip M, prova prima la modalità locale. Il cloud è la via di fuga quando hai bisogno di una lingua che Parakeet non copre o vuoi la ricerca web di OpenAI integrata nello stesso tasto rapido. Il tuo laptop ha già un microfono e una CPU; non ha bisogno di un server nel mezzo per una sola frase di nota al mod.

Una volta ho provato a sottotitolare il mio stream di coding e il modello ha autocorretto ogni git commit trasformandolo nel genere sbagliato di attrezzo da giardinaggio. È stato il momento in cui ho smesso di usare i sottotitoli live per le clip e ho iniziato a far passare le trascrizioni attraverso una revisione manuale. Il flusso di dettatura tra le scene ha retto attraverso centinaia di note ai mod senza un errore significativo. Lavori diversi, budget di affidabilità diversi.

Quando non usare Whisper per questo

La matrice onesta:

• Vuoi solo sottotitoli live chiusi integrati nella trasmissione. Usa il plugin OBS Closed Captions e hai finito. Whisper non è un motore di sottotitoli live per OBS; siamo lo strumento di dettatura accanto a lui.
• Vuoi una voce robotica che legga i messaggi di donazione. Usa SoundAlerts o StreamElements; quello è TTS, la direzione opposta.
• Hai bisogno di trascrivere in batch anni di file VOD. whisper.cpp open source o faster-whisper accettano file direttamente e non costano nulla. Noi non abbiamo ancora un'interfaccia per caricare file.
• Streami da un Mac Intel. Whisper by Remskill è disponibile solo per Windows x86_64 e macOS Apple Silicon; il Mac Intel non è supportato. I servizi solo cloud funzionano bene in un browser indipendentemente dall'hardware.

Se il tuo caso d'uso è la dettatura tra le scene, le trascrizioni dei VOD via loopback, o le note post-stream, quello è il nostro campo. Per tutto il resto in questo elenco, usa quello che si adatta meglio.

La maggior parte della configurazione speech-to-text per Twitch è idraulica: un plugin OBS che installi una volta, un driver loopback che dimentichi di avere, un tasto rapido che assegni e non riassegni mai più. Il lavoro vero avviene dall'altra parte. Vale la pena che le didascalie lascino il tuo computer? Quale clip di 60 secondi da tre ore di stream vale l'estrazione? Scrivi o parla quando i mod ti pingano? Scegli lo strumento che non ti intralcia alla terza ora di stream, perché è lì che conta.