Whisper
딥 다이브 데모의 마지막 단계로, OpenAI Whisper 음성 인식(ASR) 프로그램을 사용해 오디오 클립을 자동으로 전사(transcribe)해 보는 문서예요. L40S GPU가 장착된 새 Machine을 프로비저닝하고, Tigris의 오디오를 Whisper로 넘기고 결과를 Postgres에 반영하는 흐름을 체험해 볼 수 있어요.
출처: 문서
본문
이제 공식적으로 Fly.io 전문가가 되었으니, 바로 들어가서 딥 다이브 데모 앱의 프로젝트 디렉토리에서 다음 두 명령을 실행해 보아요:
fly launch --attach --from https://github.com/rubys/cog-whisper
fly deploy
다음으로 새 오디오 클립을 캡처해 보아요. 이 클립은 OpenAI Whisper에 의해 자동으로 전사될 거예요. Whisper는 음성을 텍스트로 변환하는 자동 음성 인식(ASR) 프로그램이에요.
무슨 일이 일어났나
이번에는 L40S GPU가 장착된 새 Machine을 프로비저닝했어요. 사용하지 않을 때는 멈추고, 새 요청이 들어오면 다시 시작돼요. Flycast를 사용해 프라이빗 네트워크에서만 접근할 수 있어요.
COG 인터페이스로 접근하는 OpenAI Whisper를 실행해요.
이 과정은 Tigris에서 오디오 클립을 가져와 Whisper에 넘기고 결과로 Postgres를 업데이트하는 것을 포함해요. 이에 대한 Node 코드는 약 24줄이고, Rails는 제법 12줄 정도예요.
그리고 언제나 그렇듯 락인은 없어요. Replicate나 다른 곳에서 호스팅하는 Machine으로 이것을 대체할 수도 있어요.