Twitch에서 음성을 텍스트로, 솔직하게

음성-텍스트 변환 vs 텍스트-음성 변환 — 빠른 구분

빠른 구분 — STT vs TTS. 스트림 중 도네이션 메시지를 로봇 목소리로 읽어주는 기능을 찾아왔다면, 그건 텍스트-음성 변환(TTS)이지 음성-텍스트 변환(STT)이 아닙니다. 완전히 다른 이야기입니다. TTS가 필요하다면 SoundAlerts를 사용해 보세요. Bits, Tips, 채널 포인트, Sub, Raid, Hype Train에 대한 TTS를 지원하며 Premium에서는 AI 목소리도 제공합니다. 또는 StreamElements도 있습니다. Polly, Google, Azure, TikTok 등 1000개 이상의 목소리로 AlertBox TTS를 제공하고 스팸 방지 기능도 있습니다. 이 글의 나머지는 반대 방향, 즉 여러분의 목소리를 텍스트로 바꾸는 이야기입니다.

음성-텍스트 변환은 내 목소리가 화면의 글자로 바뀌는 것입니다. 자막, 스크립트, 받아쓴 메시지가 이에 해당합니다. 텍스트-음성 변환은 반대입니다. 입력된 메시지를 합성 목소리로 읽어주는 것으로, 보통 도네이션 알림에 쓰입니다.

이 검색어를 찾는 Twitch 사용자의 절반은 두 번째를 원합니다. Google도 어느 쪽을 원하는지 알 수 없어서 이 쿼리에 AI 개요가 없습니다. 의도가 너무 나뉘어 있기 때문입니다. TTS 도구는 위의 링크에서 확인하세요. 이 글의 나머지는 목소리를 텍스트로 바꾸는 것에 관한 내용입니다.

스트리머들이 실제로 음성-텍스트 변환을 쓰는 경우

반복해서 등장하는 네 가지 활용 사례입니다. 대부분의 스트리머는 하나만 합니다. 잘하는 스트리머는 네 가지 모두 합니다.

접근성을 위한 실시간 자막

청각 장애가 있거나, 난청이 있거나, 직장에서 소리를 끄고 시청하거나, 모국어가 아닌 시청자를 위해 방송 하단에 텍스트 한 줄을 표시하는 것입니다. Twitch는 RTMP 피드에 자막이 이미 포함된 스트림에는 CC 버튼을 표시하고, 없는 스트림에는 아무것도 표시하지 않습니다. 즉, 이건 스트리머가 해결해야 합니다.

쇼츠와 SEO를 위한 VOD 스크립트

세 시간 스트리밍을 했는데 보스 전투가 두 시간대쯤에 있었고, 온스크린 텍스트가 있는 60초짜리 TikTok을 만들고 싶습니다. 스크립트가 있으면 스크러빙 대신 Ctrl+F로 그 순간을 찾을 수 있습니다.

장면 전환 사이의 받아쓰기

아무도 이야기하지 않지만, 제가 돈을 낼 의향이 있는 기능입니다. 스트리밍 중 키보드에 손을 올려놓고 있는데, 운영진이 Discord로 레이드를 위한 구독자 전용 모드를 연장할지 묻습니다. Alt+Tab을 허둥지둥 누르는 동안 보스 전투가 엉망이 되거나, 키 하나를 누르고 말을 한 다음 Discord에 분당 145단어로 내용이 전달되도록 할 수 있습니다.

Whisper의 기본 단축키는 Windows와 Linux에서 Ctrl+Space이고, macOS에서는 수정자 키만 사용하는 push-to-talk 단축키 command+option입니다. 텍스트 입력이 가능한 모든 곳에서 작동합니다. 채팅, Discord, OBS 장면 이름 필드, 시청자 이름을 잘못 발음한 것에 대한 새벽 1시의 사과 DM까지요. 스트리머 특유의 주의사항이 두 가지 있습니다. 장면 전환 단축키가 Ctrl+Space라면 OBS가 Whisper보다 먼저 가로챕니다. 하나를 다시 지정하세요. 그리고 일부 전체 화면 게임(언리얼 엔진을 단독 전체 화면으로 실행하는 경우)은 전역 단축키를 삼켜버립니다. 게임을 테두리 없는 창 모드로 실행하면 문제가 사라집니다.

방송 후 메모

무엇이 잘 됐는지, 무엇이 별로였는지, 어떤 클립이 편집할 가치가 있는지를 미래의 자신에게 남기는 세 줄짜리 메모입니다. 대부분의 스트리머는 이걸 건너뜁니다. 그리고 왜 채널이 성장하지 않는지 의아해합니다.

첫 번째는 OBS입니다. 두 번째는 스크립트 도구입니다. 세 번째는 저희 앱 같은 받아쓰기 앱입니다. 네 번째는 새벽 두 시 전에 잠자리에 들게 해주는 조합입니다.

OBS에서 실시간 자막 설정: 10분이면 충분합니다

먼저 솔직히 말씀드립니다. Twitch의 표준 실시간 자막 설정은 Whisper로 구동되지 않습니다. ratwithacompiler의 OBS Closed Captions 플러그인이며, 기본 백엔드로 Google Speech Recognition을 사용합니다. 버전 0.33은 2025년 10월 15일에 출시되었고, GitHub 별이 1.3k개이며, Windows, macOS, Linux에서 실행됩니다. Streamlabs OBS에서는 작동하지 않습니다. SLOBS가 서드파티 플러그인을 허용하지 않기 때문입니다.

10분 설정 방법입니다. 이 단계 중 코드가 필요한 것은 없습니다.

1. OBS Studio가 없다면 설치하세요. 이 플러그인은 OBS 전용이며 SLOBS에서는 사용할 수 없습니다.
2. ratwithacompiler/OBS-captions-plugin GitHub 릴리스 페이지에서 플러그인을 다운로드하세요. 운영 체제에 맞는 설치 파일을 선택하고, OBS를 먼저 종료한 다음 실행하세요.
3. OBS를 열고 도구 → Closed Captions으로 이동하세요. 마이크 소스를 선택하세요. 일반적으로 Mic/Aux 또는 직접 이름을 바꾼 소스입니다.
4. 소스 언어를 설정하세요. 기본값은 영어입니다. 플러그인은 Google의 무료 엔드포인트로 스트리밍합니다. 깨끗한 마이크 오디오에서는 정확도가 괜찮지만, 배경 음악이 강하면 끊기기 시작합니다.
5. Twitch 대시보드에서 자막을 활성화하세요. 스트림 관리자 → 설정 → 스트림 → 자막 토글. 필요하면 Twitch의 자막 가이드에서 방송자 측 설정을 확인하세요.
6. 비공개 스트림으로 테스트하세요. 방송을 비공개로 설정하고 30초 동안 말한 다음 CC 버튼이 나타나는지 확인하세요.

완료입니다. 트레이드오프는 오디오가 내 기기를 떠나 Google로 전송된다는 것입니다. 이것이 시청자와의 약속에 위배된다면 클라우드 vs 로컬 섹션으로 건너뛰세요. Whisper 자체는 이 라인에 들어맞지 않습니다. 저희는 그 옆에서 받아쓰기와 VOD를 담당하는 레이어입니다. OBS는 자막을 처리하고, Whisper는 단축키 기반 텍스트를 처리합니다. 두 도구, 두 가지 역할입니다.

쇼츠를 위한 VOD 및 클립 스크립트 작성 (진짜 시간 절약)

세 시간짜리 스트림은 세 시간짜리 검색 문제입니다. 재미있는 순간이 두 번째 서브 트레인 즈음에 있었다는 건 알겠는데, 스크러빙 없이는 찾을 수가 없습니다. 스크립트 하나가 그 문제를 10초 만에 해결합니다.

두 번째 솔직한 고백입니다. Whisper by Remskill은 현재 데스크톱 앱에서 비디오나 오디오 파일 업로드를 지원하지 않습니다. 스크립트 작업은 라이브 마이크에서 단축키로 작동하며, 드래그 앤 드롭이나 "VOD 열기" 버튼은 없습니다. MP4를 올려서 스크립트를 받는 워크플로우라면 지금은 저희 도구가 맞지 않습니다. 아직은요. 두 가지 솔직한 대안이 있습니다.

옵션 A — VOD를 마이크를 통해 루프백하기. Windows에서는 VB-CABLE을, Mac에서는 BlackHole을 사용해 VOD 오디오를 마치 마이크인 것처럼 Whisper로 전달한 다음, 재생하는 동안 단축키를 누르고 있으면 됩니다. 손을 쓰지 않아도 되지만 재생 시간만큼 기다려야 합니다. 다국어 스트림에는 large-v3를, 영어에는 distil-large-v3(Turbo)를 선택하세요. large-v3보다 6배 빠르고 정확도는 99%를 유지합니다.

옵션 B — 오픈소스 whisper.cpp 또는 faster-whisper 사용하기. 둘 다 커맨드 라인에서 .mp4와 .wav 파일을 직접 받습니다. 설정이 느리지만 자는 동안 배치 작업을 처리합니다. 이것이 정당한 "이 경우에는 Whisper를 건너뛰는" 선택입니다. whisper.cpp와 openai/whisper는 무료이고 잘 관리되고 있습니다.

진짜 이득은 그다음입니다. 스크립트를 ChatGPT에 붙여넣고 클립으로 만들 만한 세 가지 순간을 물어보거나, 영상 편집기에 자막 트랙으로 붙여넣거나, 타임스탬프가 이미 정렬된 YouTube 설명으로 활용하세요.

클라우드 vs 로컬: 스트림 오디오가 어디로 가는가

스트림 오디오는 민감합니다. 수천 명에게 라이브로 방송하더라도, "우리가 녹음 중이라는 걸 알고 있다"와 "관련 없는 미국 회사가 운영진과의 방송 외 대화 사본을 갖고 있다" 사이의 간극은 분명히 존재합니다.

Whisper는 세 가지 스크립트 경로를 제공하고 선택은 사용자에게 맡깁니다. 기본값은 없습니다.

클라우드 (OpenAI, BYOK)

최고의 정확도, 내장 웹 검색, GPT-5를 통한 AI 텍스트 향상. 스크립트 작업은 기본적으로 gpt-4o-mini-transcribe로, 더 높은 정확도를 원하면 gpt-4o-transcribe로 실행됩니다. 자신의 OpenAI 키를 사용하며 오디오 분당 비용을 OpenAI에 지불합니다. 오디오는 기기를 떠납니다.

로컬 — NVIDIA Parakeet

빠른 로컬 옵션입니다. 디스크 용량 약 600 MB, CPU에서 Whisper보다 5~10배 빠르며, 영어와 24개 유럽 언어를 지원하지만 영어 번역 기능은 없습니다. 아시아 언어는 지원하지 않습니다. 일본어, 한국어, 중국어 스트리머는 Parakeet를 사용할 수 없습니다.

로컬 — Whisper

Parakeet보다 느리지만, Base(약 140 MB)부터 Large v3(약 3 GB)까지 여덟 가지 모델 크기로 제공됩니다. 다국어 변형은 99개 언어를 지원하고 영어 번역 기능도 있습니다. .en 빌드는 영어 전용이며 언어 선택기가 잠깁니다.

최신 CPU가 있는 데스크톱이나 M 시리즈 Mac으로 스트리밍한다면 먼저 로컬 모드를 사용해 보세요. 클라우드는 Parakeet가 지원하지 않는 언어가 필요하거나 동일한 단축키에 OpenAI 웹 검색을 내장하고 싶을 때 쓰는 탈출구입니다. 노트북에는 이미 마이크와 CPU가 있습니다. 운영 메모 한 문장을 위해 서버가 필요하지 않습니다.

예전에 코딩 스트림에 자막을 달려고 했는데, 모델이 모든 git commit을 엉뚱한 원예 도구로 자동 수정해버렸습니다. 그때부터 클립용 실시간 자막 사용을 멈추고 스크립트를 수동 교정 과정에 넣기 시작했습니다. 장면 전환 사이의 받아쓰기 흐름은 수백 건의 운영 메모에서 의미 있는 실패 없이 잘 작동하고 있습니다. 역할이 다르면 신뢰성 기준도 다릅니다.

Whisper를 건너뛰어야 할 때

솔직한 판단표:

• 방송에 실시간 자막만 삽입하고 싶다면 OBS Closed Captions 플러그인을 사용하면 됩니다. Whisper는 OBS용 실시간 자막 엔진이 아닙니다. 저희는 그 옆에 있는 받아쓰기 도구입니다.
• 도네이션 메시지를 로봇 목소리로 읽어주길 원한다면 SoundAlerts 또는 StreamElements를 사용하세요. 그건 TTS, 즉 반대 방향입니다.
• 수년간의 VOD 파일을 일괄 스크립트 작업해야 한다면, 오픈소스 whisper.cpp 또는 faster-whisper가 파일을 직접 받으며 무료입니다. 저희는 아직 파일 업로드 UI가 없습니다.
• Intel Mac으로 스트리밍한다면, Whisper by Remskill은 Windows x86_64와 macOS Apple Silicon만 지원합니다. Intel Mac은 지원되지 않습니다. 클라우드 전용 서비스는 브라우저에서 문제없이 작동합니다.

장면 전환 사이의 받아쓰기, 루프백으로 뽑은 VOD 스크립트, 방송 후 메모가 활용 사례라면 저희 전문 영역입니다. 이 목록의 다른 경우라면 맞는 도구를 사용하세요.

Twitch의 음성-텍스트 변환 설정 대부분은 배관 공사입니다. 한 번 설치하면 잊어버리는 OBS 플러그인, 존재를 잊게 되는 루프백 드라이버, 한 번 설정하면 다시 건드리지 않는 단축키. 진짜 일은 그 다음부터입니다. 자막이 오디오를 기기 밖으로 내보낼 만한 가치가 있을 때는 언제인가? 세 시간 스트림에서 추출할 만한 60초 클립은 어느 것인가? 운영진이 핑을 보낼 때 타이핑할까, 말할까? 스트리밍 세 시간째에 방해가 되지 않는 도구를 선택하세요. 그때가 진짜 중요한 순간이니까요.