오프라인 음성-텍스트 변환, 제대로 알아보기

오프라인 음성-텍스트 데스크톱 앱이란 정확히 무엇인가

브라우저 탭이 아니라 데스크톱 앱이라는 점, 이게 사실상 핵심입니다. 웹 기반 받아쓰기 도구는 브라우저에서 돌아가며 거의 항상 오디오를 서버로 보냅니다. 진짜 오프라인 앱은 음성 모델을 메모리에 올려 바로 그 기기의 CPU나 GPU에서 돌리는 네이티브 소프트웨어입니다.

동작 방식은 일부러 단순하게 만들었습니다. 어떤 애플리케이션 안에서든(메일 클라이언트, 코드 에디터, Slack 입력창, 진료 기록 칸) 전역 단축키를 누르면, 빠른 타이피스트가 대신 쳐 주듯 커서가 있는 자리에 글이 나타납니다. 별도 창에서 복사해 붙이는 일도 없고, "녹음 파일을 업로드하세요"도 없습니다. 키보드처럼 동작하는데, 그건 이미 모든 앱이 이해하는 유일한 인터페이스가 키보드이기 때문입니다.

Whisper의 기본 단축키는 Windows와 Linux에서 Ctrl+Space입니다. Mac에서는 Command와 Option을 함께 누르고 둘 중 아무 키나 떼면 멈추는데, 토글이 아니라 푸시-투-토크 방식입니다. 재설정도 가능합니다. 많은 사람이 가장 먼저 하는 일이 자기 드로잉 앱이나 음악 소프트웨어와 충돌하는 키에서 이걸 옮기는 거죠. 초기 버전에서 이 단축키를 하드코딩해 두었다가 새벽 2시에 항의 메일을 받은 적이 있는데, 그건 FAQ에서 풀 이야기입니다.

"어떻게"의 솔직한 버전은 화려하지 않습니다. 마법은 없고, 디스크에 모델 파일 하나가 있을 뿐입니다. 로컬 앱을 설치하면 음성 모델, 즉 수백 메가바이트에서 수 기가바이트에 이르는 학습된 가중치를 내려받습니다. 그 뒤로 변환은 모델이 여러분의 오디오에 수행하는 수학 연산일 뿐입니다. 오디오가 네트워크 요청이 되는 일은 없습니다. Whisper by Remskill은 모든 로컬 변환을 transcribe-rs라는 순수 Rust 라이브러리로 처리합니다. Python 사이드카도, 따로 띄워 둘 별도 런타임도 없습니다. 여러분이 체감하는 건 앱이 빠르게 켜지고 오디오 경로가 짧게 유지된다는 점입니다.

키를 누르고, 말하고, 텍스트를 얻는다 — 오프라인 루프

전체 흐름은 이렇습니다. 단축키를 누른 채로 둡니다. 작은 오버레이가 듣고 있다고 알려 줍니다. 한 문장이든, 한 단락이든, 600단어짜리 강의 요약이든 말합니다. 손을 뗍니다. 모델이 여러분이 말한 내용을 변환하고, 그 텍스트가 나중에 찾아 헤매야 할 파일이 아니라 커서 자리에 바로 떨어집니다. 이것이 받아쓰기 앱과 파일 변환 도구의 실질적 차이입니다. 받아쓰기 앱은 말을 멈추는 그 순간 텍스트를 실시간으로 넣어 줍니다.

이 중 어느 것도 네트워크가 필요하지 않습니다. 마이크가 로컬 모델에 오디오를 넣고, 모델이 텍스트를 만들고, 앱이 그걸 대신 입력해 줍니다. 키에서 손을 뗀 뒤에도 짧은 꼬리만큼 녹음이 이어져 마지막 단어가 잘리지 않습니다. 솔직히 제대로 맞추는 데 생각보다 오래 걸린 작은 부분입니다.

일상적인 이메일과 메모라면, 키를 떼고 텍스트가 붙기까지의 왕복은 최근 노트북에서 Small 모델로 한두 초입니다. 떠올리던 문장의 흐름을 놓치지 않을 만큼 빠르죠. 선택적인 두 번째 단계도 있습니다. Whisper는 AI 정리 패스를 돌릴 수 있고(구두점 고치기, 목록 형식 잡기, 말로 던진 질문에 답하기), 로컬 모드에서는 이 패스가 Ollama라는 로컬 엔진을 통해 기기 안에서 돌아갑니다. 그래서 "말로 두서없이 한 걸 좀 정돈해" 같은 단계까지 전부 오프라인으로 둘 수 있습니다. 문장을 "Hey whisper"로 시작하면 이 기능이 켜집니다. 무시하면 깔끔한 그대로의 받아쓰기를 얻습니다. 어느 쪽이든, 선택 항목인 Cloud 스위치를 켜지 않는 한 여러분이 말한 건 기기 밖으로 나가지 않습니다.

Parakeet냐 로컬 Whisper냐: 오프라인에 어떤 엔진이 가장 좋은가

앱에는 로컬 엔진 두 개가 들어 있고, 둘은 잘하는 일이 다릅니다. 여러분이 정말로 내려야 할 단 하나의 결정입니다.

Parakeet 는 NVIDIA의 TDT 모델로 약 600 MB이며, 빠른 쪽입니다. CPU에서 Whisper보다 5~10배 빠릅니다. 영어에 더해 24개 유럽 언어, 총 25개를 처리합니다. 영어로의 번역은 못 하고, 맞춤 어휘 제어 기능도 없습니다. 주로 영어로 말하고 속도를 원한다면 이쪽입니다.

Whisper 는 다국어 일꾼입니다. 다국어 모델은 자동 감지로 99개 언어를 지원하고 그 어느 것이든 영어로 번역할 수 있습니다. 같은 하드웨어에서 Parakeet보다 느리지만, 중국어, 일본어, 한국어, 맞춤 어휘, 더 세밀한 제어를 제공합니다. 한 가지 헷갈리지 말 것: 영어 전용 Whisper 모델(.en이 붙은 것들)은 영어만 처리하도록 고정되어 있어 99개 언어 지원은 아예 빠집니다. 그러니 "Whisper는 99개 언어를 한다"는 말은 다국어 빌드에서만 맞습니다.

경험칙: 영어이고 급하면 Parakeet. 다국어이거나 번역이 필요하면 다국어 Whisper 모델을 고르세요.

내 하드웨어에 맞는 로컬 모델 고르기

로컬 모델은 RAM에 올라가므로 하드웨어가 상한을 정합니다. 대부분의 사람에게 좋은 소식은, 작은 모델로도 충분하다는 것입니다.

영어 쪽은 약 140 MB의 Base, 약 480 MB의 Small, 약 1.5 GB의 Medium까지 있습니다. 다국어 쪽은 480 MB의 Small부터 약 3 GB의 Large v3까지 올라갑니다. 새 사용자가 처음 시작하는 건 Small 다국어 모델이고, 합리적인 기본값입니다. 어디든 들어가고 일상적인 받아쓰기에 충분히 정확합니다.

하드웨어에 관한 따분한 진실은, 모델보다 마이크가 더 중요하다는 것입니다. 20달러짜리 USB 마이크가 모델 크기를 두 단계 올리는 것보다 정확도에 더 도움이 됩니다. 저는 주말 내내 모델 업그레이드가 흐릿한 변환 결과를 고쳐 줄 거라 확신했는데, 알고 보니 노트북 마이크가 그동안 식기세척기 소리를 줍고 있었던 겁니다. 8 GB RAM의 오래된 노트북이라면 Parakeet이나 Small 모델을 돌리고, 업그레이드할 돈은 마이크에 쓰세요. 최신 Apple Silicon Mac이나 외장 GPU가 달린 16 GB Windows 기기라면 Large v3까지 모든 모델이 무리 없이 돌아갑니다. 시작하는 데 GPU가 꼭 필요한 건 아닙니다. CPU의 Parakeet은 애초에 그렇게 만들어졌기에 빠른 길입니다.

민감한 오디오라면 왜 오프라인이 클라우드를 이기는가

클라우드 전용 받아쓰기는 변환되기만 기다리는 프라이버시 재앙입니다. 단정적인 의견으로 먼저 말하고 근거를 대겠습니다. 프라이버시 운운만 하는 건 값싸니까요.

예전에 함께 일하던 팀이 클라우드 모델 위에 사내 "AI 받아쓰기" 프로토타입을 외주로 만든 적이 있습니다. 모든 발화마다, 모든 노트북에서 API를 호출했고, 불안하면 녹음을 다시 보내는 "똑똑한 재시도"까지 있었죠. 분기 말에 매니저가 클라우드 비용 대시보드를 열어 보니 다섯 자릿수 청구서가 나와 있었고, 대부분은 한 팀이 스탠드업 녹음을 네 번씩 변환한 데서 나온 것이었습니다. 외주사의 해법은 "프롬프트를 최적화해야겠네요"였습니다. CFO의 해법은 "아니면 이미 회의록이 있는 회의를 클라우드로 변환하는 데 돈을 안 쓰면 되겠네요"였죠. 청구서 하나에 문제가 둘이었습니다. 비용, 그리고 그 회의의 모든 단어가 이제 외부 업체 로그에 남게 됐다는 사실.

오프라인은 둘 다 해결합니다. 상사의 급여 스프레드시트, 아이 학교에 보내는 메일, 신호 없는 기차에서 작성 중인 법률 서면. 음성으로 입력하고 싶었다는 이유만으로 이런 것들이 노트북을 떠나야 할 이유는 없습니다. 기기에는 이미 마이크와 프로세서가 있습니다. 한 단락을 위해 서버가 중간에 낄 필요는 없죠. 게다가 오프라인은 Wi-Fi를 꺼도 동작하는데, 클라우드는 정의상 그럴 수 없습니다.

클라우드나 내장 도구가 더 나은 선택일 때

단일 도구 페이지들이 건너뛰는 부분이 여기입니다. 로컬 앱이 항상 정답은 아닙니다.

먼저, 사람들이 계속 묻는 질문: Windows는 오프라인으로 음성-텍스트를 하나요? 기본 도구로는 대체로 아닙니다. Win+H로 열리는 Windows 음성 입력은 Microsoft 자체 문서에 따르면 인터넷 연결이 필요하므로, 받아쓰기가 클라우드 기반입니다. Voice Access라는 별도의 Windows 11 기능은 언어 파일을 설치하면 오프라인으로 동작하지만, 빠른 장문 받아쓰기가 아니라 음성으로 PC를 제어하기 위해 만들어진 것입니다. Mac에서는 Apple의 내장 Dictation이 일부 일반 텍스트를 기기에서 처리할 수 있지만, Apple의 표현은 조심스럽습니다. 모든 언어가 보장되는 건 아니고, 일부 받아쓰기는 여전히 Apple 서버로 갈 수 있습니다. 그러니 어쩌다 30단어짜리 답장만 받아쓴다면 내장 도구가 공짜이고 짧은 분량에는 괜찮습니다. 전용 앱은 한 줄짜리 문자가 아니라 실제 분량(이메일, 메모, 문서)을 받아쓰기 시작할 때 제값을 합니다.

둘째, 어떤 일에는 클라우드가 이깁니다. 까다로운 오디오(심한 억양, 겹치는 화자, 끔찍한 마이크 환경)에서 가능한 한 최고의 정확도가 필요하다면, 클라우드 모델이 로컬보다 더 정확할 수 있고, 로컬 모델이 알 길 없는 실시간 웹 답변도 가져올 수 있습니다. Whisper의 선택적 Cloud 모드는 바로 그런 경우를 위해 여러분 자신의 API 키로 OpenAI를 사용하며, 약 57개 언어를 지원합니다. 맞바꾸는 건 솔직한 것입니다. 인터넷이 필요하고, 여러분의 오디오를 OpenAI로 보냅니다. 작업이 민감하지 않고 최고 품질에 더해 웹 검색까지 한곳에서 원한다면 클라우드가 더 나은 선택이고, 저라면 그걸 쓰라고 권하겠습니다. 오디오가 사적이거나 연결이 불안정하다면 로컬에 머무세요.

클라우드 받아쓰기 도구를 눈여겨보고 있었지만 오디오는 내 기기에 머물길 원한다면, 우리의 무료 Aqua Voice 대안이 오프라인, 사적인 쪽의 논리를 온전히 풀어 줍니다.

오프라인, 온라인, 내장: 한눈에 비교

선택을 매듭짓는 짧은 표입니다. 유료 받아쓰기 도구에 대한 더 자세한 정리는 받아쓰기 소프트웨어 가이드에 있습니다.

Whisper는 앞의 세 가지를 한 앱에 담았습니다. 로컬 파이프라인은 무료이고, Cloud는 선택적 추가 기능입니다. "사적이고 비행기에서도 된다"를 찾아 여기 왔다면, 첫 두 줄이 답입니다.

여기서 하나만 가져간다면

오프라인 음성-텍스트는 Wi-Fi가 끊겼을 때 어쩔 수 없이 받아들이는 타협이 아닙니다. 오디오가 여러분 것이고, 지연이 짧고, 끝에 분기별 클라우드 청구서가 기다리지 않는 버전입니다. 가장 까다로운 오디오와 실시간 웹 답변에서는 여전히 클라우드가 이기고, 그게 맞는 상황이면 제가 그쪽을 가리켜 드리겠습니다. 그 밖의 모든 것(이메일, 메모, 기차에서의 서면)에는 여러분 디스크 위의 모델로 충분하고, 이미 한동안 그래 왔습니다.