Amazon EC2 인스턴스에서 GPU 설정 최적화하기

Amazon EC2 인스턴스에서 GPU 설정 최적화하기

NVIDIA GPU 인스턴스에서 최상의 성능을 얻으려면 여러 가지 GPU 설정 최적화를 수행할 수 있어요. 일부 인스턴스 유형에서는 NVIDIA 드라이버가 GPU 클럭 속도를 변화시키는 autoboost 기능을 사용해요. autoboost를 끄고 GPU 클럭 속도를 최대 주파수로 설정하면 GPU 인스턴스에서 일관되게 최대 성능을 낼 수 있어요.

출처: 문서

본문

Linux 인스턴스

  1. GPU 설정이 영구적으로 유지되도록 구성합니다. 이 명령은 실행하는 데 몇 분이 걸릴 수 있어요.
[ec2-user ~]$ sudo nvidia-persistenced
  1. [G3 인스턴스 전용] 인스턴스의 모든 GPU에서 autoboost 기능을 비활성화합니다.
[ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0
  1. 모든 GPU 클럭 속도를 최대 주파수로 설정합니다. 다음 명령에 지정된 메모리 및 그래픽 클럭 속도를 사용하세요.

일부 NVIDIA 드라이버 버전은 애플리케이션 클럭 속도 설정을 지원하지 않고 "Setting applications clocks is not supported for GPU..." 오류를 표시하는데, 이 오류는 무시해도 돼요.

  • G3 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 2505,1177
  • G4dn 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 5001,1590
  • G5 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 6250,1710
  • G6, G6f, Gr6, Gr6f 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 6251,2040
  • G6e 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 9001,2520
  • G7e 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 12481,2430
  • G7 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 12501,2415
  • P3, P3dn 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 877,1530
  • P4d 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
  • P4de 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
  • P5 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 2619,1980
  • P5e, P5en 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 3201,1980
  • P6-B200 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 3996,1965
  • P6-B300 인스턴스:
[ec2-user ~]$ sudo nvidia-smi -ac 3996,2032

Windows 인스턴스

  1. PowerShell 창을 열고 NVIDIA 설치 폴더로 이동합니다.
PS C:\> cd "C:\Windows\System32\DriverStore\FileRepository\nvgridsw_aws.inf_*\"
  1. [G3 인스턴스 전용] 인스턴스의 모든 GPU에서 autoboost 기능을 비활성화합니다.
PS C:\> .\nvidia-smi --auto-boost-default=0
  1. 모든 GPU 클럭 속도를 최대 주파수로 설정합니다. 다음 명령에 지정된 메모리 및 그래픽 클럭 속도를 사용하세요.

일부 NVIDIA 드라이버 버전은 애플리케이션 클럭 속도 설정을 지원하지 않고 "Setting applications clocks is not supported for GPU..." 오류를 표시하는데, 이 오류는 무시해도 돼요.

  • G3 인스턴스:
PS C:\> .\nvidia-smi -ac "2505,1177"
  • G4dn 인스턴스:
PS C:\> .\nvidia-smi -ac "5001,1590"
  • G5 인스턴스:
PS C:\> .\nvidia-smi -ac "6250,1710"
  • G6, G6f, Gr6, Gr6f 인스턴스:
PS C:\> .\nvidia-smi -ac "6251,2040"
  • G6e 인스턴스:
PS C:\> .\nvidia-smi -ac "9001,2520"
  • P3, P3dn 인스턴스:
PS C:\> .\nvidia-smi -ac "877,1530"

더 알아보기

  • NVIDIA GRID Virtual Applications 활성화하기
  • G4ad에서 듀얼 4K 디스플레이 설정하기