whisper.cpp 개요 — Whisper 고속 추론
whisper.cpp 개요 — Whisper 고속 추론
whisper.cpp는 OpenAI Whisper ASR 모델을 순수 C/C++로 의존성 없이 고속 추론하게 하는 프로젝트예요. ggml 머신러닝 라이브러리 위에 구현돼 있고, 데스크톱부터 모바일·웹까지 온디바이스에서 돌게 최적화돼 있어요.
주요 특징
- 플랫폼 최적화: Apple Silicon은 ARM NEON·Accelerate·Metal·Core ML로, x86은 AVX, POWER는 VSX, NVIDIA GPU·AMD ROCm·Intel OpenVINO·Vulkan까지 지원.
- 혼합 정밀도: F16/F32 혼합, 정수 양자화 지원으로 메모리·속도를 조절.
- 런타임 제로 메모리 할당: 추론 중 메모리 할당이 없어 임베디드·실시간에 적합.
- VAD(음성 활동 감지): 무음 구간을 잘라내 전사 효율을 높여요.
- C 스타일 API:
whisper.h헤더로 다른 언어·앱에 임베딩하기 쉬워요.
어디서 돌 수 있나
- macOS(Intel/Arm), iOS, Android, Linux/FreeBSD, WebAssembly(브라우저), Windows, Raspberry Pi, Docker.
언제 유용한가
- 오프라인·온디바이스 음성 인식, 개인 음성 어시스턴트, 낮은 지연 전사가 필요할 때요.