GPU 워크스테이션 구축

GPU는 딥 러닝 머신을 구축할 때 가장 중요한 선택 중 하나입니다. 텐서 코어는 행렬 곱셈을 효율적으로 처리하고, 높은 메모리 대역폭은 데이터 흐름을 유지합니다. 대형 모델 훈련에는 더 강력한 GPU, 다중 GPU, 또는 작업을 CPU나 NVMe로 옮기는 오프로딩(offloading) 기법이 필요합니다.

출처: 문서

본문

GPU는 딥 러닝 머신을 구축할 때 가장 중요한 선택 중 하나입니다. 텐서 코어는 행렬 곱셈을 효율적으로 처리하고, 높은 메모리 대역폭은 데이터 흐름을 유지합니다. 대형 모델 훈련에는 더 강력한 GPU, 다중 GPU, 또는 작업을 CPU나 NVMe로 옮기는 오프로딩 기법이 필요합니다.

아래 팁은 딥 러닝을 위한 실용적인 GPU 설정을 다룹니다.

전원

고급형 소비자 GPU에는 PCIe 8핀 전원 소켓이 2개 또는 3개 있을 수 있습니다. 각 소켓에 별도의 12V PCIe 8핀 케이블을 연결하세요. 두 소켓을 연결할 때 피그테일 케이블(한쪽 끝에 분기가 두 개인 단일 케이블)을 사용하지 마세요. 그렇지 않으면 GPU의 전체 성능을 얻지 못합니다.

각 PCIe 8핀 전원 케이블을 전원 공급 장치(PSU)의 12V 레일에 연결하세요. 각 케이블은 최대 150W를 전달합니다. 일부 GPU는 최대 500-600W를 전달하는 PCIe 12핀 커넥터를 사용합니다. 하위 GPU는 최대 75W를 공급하는 PCIe 6핀 커넥터를 사용할 수 있습니다.

PSU는 안정적인 전압을 유지해야 합니다. 전압이 불안정하면 피크 사용 중에 GPU에 전원이 부족해질 수 있기 때문입니다.

냉각

과열된 GPU는 성능을 제한(throttle)하고 손상을 방지하기 위해 종료됩니다. 전체 성능과 더 긴 수명을 위해 온도를 158–167°F(70–75°C) 사이로 유지하세요. 183–194°F(84–90°C) 이상에서는 GPU가 보통 성능을 제한하기 시작합니다.

다중 GPU 연결

GPU가 어떻게 연결되는지는 다중 GPU 설정에서 중요합니다. NVLink 연결은 PCIe 브리지보다 빠르지만, 그 영향은 병렬화 전략에 따라 달라집니다. DDP는 ZeRO보다 GPU 간 통신이 적으므로 연결 속도의 중요성이 덜합니다.

GPU가 어떻게 연결되어 있는지 확인하려면 아래 명령을 실행하세요.

nvidia-smi topo -m

NVLink는 여러 GPU를 연결하는 NVIDIA의 고속 통신 시스템입니다.

        GPU0    GPU1    CPU Affinity    NUMA Affinity
GPU0     X      NV2     0-23            N/A
GPU1    NV2      X      0-23            N/A

NV2는 GPU0과 GPU1이 2개의 NVLink로 연결되어 있음을 나타냅니다.

        GPU0    GPU1    CPU Affinity    NUMA Affinity
GPU0     X      PHB     0-11            N/A
GPU1    PHB      X      0-11            N/A

PHB는 GPU0과 GPU1이 PCIe 브리지로 연결되어 있음을 나타냅니다.

다음 단계

GPU에 대한 더 깊은 비교는 딥 러닝을 위한 GPU 선택 블로그 게시물을 참조하세요.

GPU 워크스테이션 구축