GPU 가속 활성화

GPU 가속 활성화 (Enabling GPU Acceleration)

GPU를 활용하면 Haystack 애플리케이션이 훨씬 빨라져요. 물론 전제 조건이 하나 있는데, GPU 가속 설정 단계가 실행 환경에 따라 달라진다는 점이에요. 하나씩 따라가 볼게요.

출처: 공식문서

GPU 설정하기

Haystack에 쓰이는 Transformer 모델은 GPU 가속 하드웨어에서 실행되도록 설계되어 있어요. GPU 가속 설정 단계는 내가 작업하고 있는 환경에 따라 달라집니다.

컴퓨터에서 GPU가 활성화되고 나면, 컴포넌트의 특정 모델을 어느 디바이스에 로드할지 정하는 device를 설정할 수 있어요.

예를 들어 TransformersChatGenerator의 모델을 로드할 때 초기화 시점에 device=ComponentDevice.from_single(Device.gpu(id=0)) 또는 device = ComponentDevice.from_str("cuda:0")로 지정하면 됩니다. 디바이스 관리에 대한 더 자세한 내용은 Device management 페이지에서 확인할 수 있어요.

Linux에서 GPU 활성화하기

  1. 호환되는 버전의 NVIDIA CUDA가 설치되어 있는지 확인하세요. CUDA 설치 방법은 NVIDIA CUDA Guide for Linux를 참고하면 돼요.
  2. 명령줄에서 nvidia-smi를 실행해 GPU가 활성화되었는지 확인합니다. GPU가 활성화되어 있다면 출력에 사용 가능한 GPU 목록과 메모리 사용량이 표시돼요.

Colab에서 GPU 활성화하기

  1. Colab 환경에서 Runtime > Change runtime type을 선택하세요.
  2. Hardware accelerator에서 GPU를 선택합니다.
  3. GPU가 활성화되었는지 확인하려면 다음을 실행해요:
nvidia-smi

출력에 사용 가능한 GPU와 그 사용량이 표시되면 성공입니다.

더 알아보기 (Learn more)