GPU로 Milvus 설치하기 위한 요구 사항 (Requirements for Installing Milvus with GPU)

Milvus를 GPU 지원으로 설치하려면 하드웨어와 소프트웨어 요구 사항을 충족해야 해요. 이 페이지에서 필요한 것들을 정리해 드릴게요.

출처: Milvus 문서

본문

컴퓨트 성능 (Compute capability)

GPU 디바이스의 컴퓨트 성능(compute capability)은 6.0, 7.0, 7.5, 8.0, 8.6, 9.0 중 하나여야 해요.

GPU 디바이스가 이 요구 사항을 충족하는지 확인하려면 NVIDIA 개발자 웹사이트의 Your GPU Compute Capability에서 확인하세요.

NVIDIA 드라이버 (NVIDIA driver)

GPU 디바이스용 NVIDIA 드라이버는 지원되는 Linux 배포판 중 하나에 있어야 하고, 이 가이드를 따라 NVIDIA Container Toolkit이 설치되어 있어야 해요.

Ubuntu 22.04 사용자라면 다음 명령으로 드라이버와 컨테이너 툴킷을 설치할 수 있어요:

$ sudo apt install --no-install-recommends nvidia-headless-545 nvidia-utils-545

다른 OS 사용자는 공식 설치 가이드를 참고하세요.

드라이버가 제대로 설치됐는지 다음 명령으로 확인할 수 있어요:

$ modinfo nvidia | grep "^version"
version:        545.29.06

드라이버는 버전 545 이상을 권장해요.

소프트웨어 요구 사항 (Software requirements)

Kubernetes 클러스터는 Linux 플랫폼에서 실행하는 걸 권장해요.

• kubectl은 Kubernetes용 커맨드라인 도구예요. 클러스터와 마이너 버전 차이가 1 이하인 kubectl 버전을 사용하세요. 최신 버전의 kubectl을 쓰면 예상치 못한 문제를 피하는 데 도움이 돼요.

• 로컬에서 Kubernetes 클러스터를 실행할 때는 minikube가 필요해요. minikube는 Docker를 의존성으로 요구해요. Helm으로 Milvus를 설치하기 전에 Docker를 먼저 설치하세요. 자세한 내용은 Get Docker를 참고하세요.

|운영 체제||소프트웨어||참고| |--|--|--|--| |Linux 플랫폼||

• Kubernetes 1.16 이상
• kubectl
• Helm 3.0.0 이상
• minikube (Milvus standalone용)
• Docker 19.03 이상 (Milvus standalone용)

|||자세한 내용은 Helm Docs를 참고하세요.|

자주 묻는 질문 (FAQs)

테스트 목적으로 로컬에 K8s 클러스터를 어떻게 시작하나요?

minikube, kind, Kubeadm 같은 도구로 로컬에 Kubernetes 클러스터를 빠르게 구성할 수 있어요. 아래 절차는 minikube를 예로 든 거예요.

• minikube 다운로드

Get Started 페이지로 가서 What you'll need 섹션에 나열된 조건을 충족하는지 확인하고, 대상 플랫폼을 설명하는 버튼을 클릭한 뒤 바이너리를 다운로드·설치하는 명령을 복사해요.

• minikube로 K8s 클러스터 시작

$ minikube start

• K8s 클러스터 상태 확인

설치된 K8s 클러스터의 상태는 다음 명령으로 확인할 수 있어요.

$ kubectl cluster-info

kubectl로 K8s 클러스터에 접근할 수 있는지 확인하세요. 로컬에 kubectl을 설치하지 않았다면 Use kubectl inside minikube를 참고하세요.

GPU 워커 노드로 K8s 클러스터를 어떻게 시작하나요?

GPU를 지원하는 워커 노드를 사용하고 싶다면 아래 단계를 따라 GPU 워커 노드가 있는 K8s 클러스터를 만들 수 있어요. GPU 워커 노드가 있는 K8s 클러스터에 Milvus를 설치하고 기본 스토리지 클래스(provisioned default storage class)를 사용하는 걸 권장해요.

• GPU 워커 노드 준비

GPU를 지원하는 워커 노드를 사용하려면 Prepare your GPU nodes의 단계를 따라요.

• K8s에서 GPU 지원 활성화

이 절차를 따라 Helm으로 nvidia-device-plugin을 배포해요.

설정을 마친 뒤 다음 명령으로 GPU 리소스를 확인해요. ``을 실제 노드 이름으로 바꾸세요.

  $ kubectl describe node <gpu-worker-node>

  Capacity:
  ...
  nvidia.com/gpu:     4
  ...
  Allocatable:
  ...
  nvidia.com/gpu:     4
  ...

더 알아보기 (Learn more)

• Get Docker — Docker 설치 방법
• Helm Docs — Helm 사용법
• Milvus GPU 설치의 다음 단계는 Milvus Standalone 설치 문서에서 이어서 볼 수 있어요.