ML용 Capacity Blocks

ML용 Capacity Blocks를 사용하면 GPU 기반 가속 컴퓨팅 인스턴스를 미래 날짜로 예약하여 짧은 기간의 머신러닝(ML) 워크로드를 지원할 수 있어요. Capacity Block 안에서 실행되는 인스턴스는 Amazon EC2 UltraClusters 안에 자동으로 가깝게 배치되어, 저지연·페타비트 규모·논블로킹 네트워킹을 제공합니다. 이 글에서는 지원 인스턴스 유형과 리전, 플랫폼, 고려 사항, 관련 리소스를 살펴볼게요.

출처: 문서

본문

ML용 Capacity Blocks는 짧은 기간의 머신러닝(ML) 워크로드를 지원하기 위해 GPU 기반 가속 컴퓨팅 인스턴스를 미래 날짜에 예약할 수 있게 해줘요. Capacity Block 안에서 실행되는 인스턴스는 저지연·페타비트 규모·논블로킹 네트워킹을 위해 Amazon EC2 UltraClusters 안에 자동으로 가깝게 배치됩니다.

또한 Capacity Blocks를 사용해 Amazon EC2 UltraServers용 용량을 예약할 수 있어요. UltraServers는 저지연·고대역폭 가속기 상호연결(accelerator interconnect) 안에서 여러 Amazon EC2 인스턴스를 연결합니다. UltraServers를 사용해 트레이닝, 파인튜닝, 추론(inference)의 가장 컴퓨팅·메모리 집약적인 AI/ML 워크로드를 처리할 수 있어요. 자세한 내용은 Amazon EC2 UltraServers를 참고하세요.

Capacity Blocks를 사용하면 GPU 인스턴스 용량이 미래 날짜에 언제 사용 가능한지 확인할 수 있고, 내게 가장 잘 맞는 시간에 시작하도록 Capacity Block을 예약할 수 있어요. Capacity Block을 예약하면 GPU 인스턴스에 대한 예측 가능한 용량 보장을 얻으면서 필요한 시간만큼만 지불합니다. GPU 인스턴스가 사용되지 않는 동안 예약 요금을 지불하고 싶지 않고, 며칠에서 몇 주 단위로 ML 워크로드를 지원하는 GPU가 필요할 때 Capacity Blocks를 권장합니다.

다음은 Capacity Blocks의 일반적인 사용 사례예요.

ML 모델 트레이닝 및 파인튜닝 – 예약한 GPU 인스턴스에 중단 없는 액세스를 제공해 ML 모델 트레이닝과 파인튜닝을 완료해요.
ML 실험 및 프로토타입 – 짧은 기간 GPU 인스턴스가 필요한 실험을 실행하고 프로토타입을 구축해요.

Capacity Blocks는 일부 AWS 리전의 선택된 인스턴스 유형에서 사용할 수 있어요. 자세한 내용은 지원 인스턴스 유형 및 리전을 참고하세요.

최대 8주 미래의 예약 시작 시간으로 Capacity Block을 예약할 수 있어요. 각 Capacity Block은 최대 64개 인스턴스를 가질 수 있고, Capacity Blocks 전체에서 최대 256개 인스턴스를 가질 수 있습니다.

지원 인스턴스 유형 및 리전 (Supported instance types and Regions)

인스턴스 및 UltraServer Capacity Blocks는 다음 인스턴스 유형과 AWS 리전에서 사용할 수 있어요.

Note
64개 인스턴스 크기의 Capacity Block은 모든 AWS 리전의 모든 인스턴스 유형에서 지원되지 않습니다.

인스턴스 Capacity Blocks

인스턴스 유형	us-east-1	us-east-2	us-west-1	us-west-2	eu-north-1	eu-west-2	eu-west-3	eu-south-2	ap-northeast-1	ap-northeast-2	ap-south-1	ap-south-2	ap-southeast-2	ap-southeast-3	ap-southeast-4	sa-east-1	us-gov-east-1	us-gov-west-1	us-east-1-atl-2a	us-west-2-phx-2a
p6-b300.48xlarge	✓			✓						✓		✓		✓			✓		✓
p6-b200.48xlarge	✓	✓		✓	✓		✓				✓	✓					✓	✓
p5.4xlarge	✓	✓		✓		✓			✓		✓		✓			✓
p5.48xlarge	✓	✓	✓	✓	✓	✓			✓		✓		✓	✓		✓			✓
p5e.48xlarge	✓	✓	✓	✓	✓	✓			✓		✓		✓	✓		✓				✓
p5en.48xlarge	✓	✓	✓	✓	✓	✓		✓	✓	✓	✓		✓	✓					✓
p4d.24xlarge	✓	✓		✓
p4de.24xlarge	✓			✓
trn1.32xlarge	✓	✓		✓	✓						✓		✓		✓
trn2.3xlarge															✓	✓
trn2.48xlarge		✓

UltraServer Capacity Blocks

인스턴스 유형	us-east-2	us-east-1-dfw-2a
Trn2	✓
P6e-GB200		✓

지원 플랫폼 (Supported platforms)

ML용 Capacity Blocks는 현재 **기본 임대(default tenancy)**의 인스턴스와 UltraServers만 지원해요. AWS Management Console로 Capacity Block을 구매할 때 기본 플랫폼 옵션은 Linux/UNIX입니다. AWS Command Line Interface(AWS CLI) 또는 AWS SDK로 Capacity Block을 구매할 때는 다음 플랫폼 옵션을 사용할 수 있어요.

Linux/Unix
Red Hat Enterprise Linux
RHEL with HA
SUSE Linux
Ubuntu Pro

고려 사항 (Considerations)

Capacity Blocks를 사용하기 전에 다음 세부 정보와 제한을 고려하세요.

UltraServer Capacity Block에서 손상(impairment)이 감지되면 알림을 받지만 일반적으로 Capacity Block의 인스턴스는 종료되지 않아요. 이는 워크로드에 의도치 않은 중단을 최소화하기 위해서입니다. 알림을 받은 후 UltraServer Capacity Block을 그대로 계속 사용하거나, Capacity Block의 모든 인스턴스를 종료하고 AWS 지원 케이스를 제출해 시정(remediation)을 요청할 수 있어요. 지원 케이스를 받으면 시정 완료 시 알림을 받고 UltraServer Capacity Block에 인스턴스를 다시 시작할 수 있어요.
P6e-GB200 UltraServer Capacity Blocks의 경우 Capacity Block 종료 시간 최소 60분 전에 인스턴스를 종료해야 해요.
Local Zones에서 Capacity Blocks를 구매·사용하려면 해당 Local Zone에 opt in되어 있어야 해요.
각 Capacity Block은 최대 64개 인스턴스를, Capacity Blocks 전체에서는 최대 256개 인스턴스를 가질 수 있어요.
최소 30분 후에 시작할 수 있는 Capacity Block 오퍼링을 설명할 수 있어요.
Capacity Blocks는 **오전 11:30 UTC(Coordinated Universal Time)**에 종료됩니다.
Capacity Block에서 실행 중인 인스턴스의 종료 프로세스는 예약 마지막 날 오전 11:00 UTC에 시작됩니다.
Capacity Blocks는 최대 8주 미래의 시작 시간으로 예약할 수 있어요.
Capacity Block 취소는 허용되지 않습니다.
UltraServer Capacity Blocks는 AWS 계정 간 또는 AWS Organization 내에서 공유할 수 없어요.
Capacity Block은 이동하거나 분할할 수 없습니다.
Capacity Reservation Resource Group에 UltraServer Capacity Blocks와 인스턴스 Capacity Blocks를 모두 추가할 수 있어요. 자세한 내용은 Capacity Reservation Resource Groups를 참고하세요.
Capacity Blocks는 배치 그룹(placement groups)을 지원하지 않아요. 예약 ID로 Capacity Block을 타겟팅하든 Capacity Reservation Resource Group을 통해 타겟팅하든, Capacity Block으로 인스턴스를 시작할 때 배치 그룹을 지정할 수 없습니다.
특정 날짜에 AWS Organization의 모든 계정에 걸쳐 Capacity Blocks에 예약할 수 있는 인스턴스의 총 수는 256개를 초과할 수 없어요.
Capacity Block을 사용하려면 인스턴스가 예약 ID를 명시적으로 타겟팅해야 해요.
Capacity Block의 인스턴스는 On-Demand 인스턴스 한도에 포함되지 않아요.
사용자 지정 AMI를 사용하는 P5 인스턴스는 EFA에 필요한 소프트웨어와 구성을 갖추었는지 확인하세요.
Amazon EKS 관리형 노드 그룹은 "Create a managed node group with Amazon EC2 Capacity Blocks for ML"을, Amazon EKS 자체 관리형 노드 그룹은 "Use Capacity Blocks for ML with self-managed nodes"를 참고하세요.

Capacity Block을 만든 뒤에는 다음을 할 수 있어요.

Capacity Block으로 인스턴스 시작하기. 자세한 내용은 Launch instances using Capacity Blocks를 참고하세요.
Amazon EC2 Auto Scaling 그룹 만들기. 자세한 내용은 Amazon EC2 Auto Scaling User Guide의 Use Capacity Blocks for machine learning workloads를 참고하세요. Amazon EC2 Auto Scaling이나 Amazon EKS를 사용하면 Capacity Block 예약 시작 시점에 맞춰 스케일링을 예약할 수 있어요. 예약 스케일링으로 AWS가 자동으로 재시도를 처리하므로, 일시적 실패를 처리할 재시도 로직을 직접 구현할 필요가 없어요.
AWS Parallel Computing Service로 ML 워크로드 개선하기. 자세한 내용은 Capacity Blocks support for AWS Parallel Computing Service를 참고하세요.
AWS ParallelCluster로 ML 워크로드 개선하기. 자세한 내용은 Enhancing ML workflows with AWS ParallelCluster and Amazon EC2 Capacity Blocks for ML을 참고하세요.

Note
AWS Parallel Computing Service에 대한 자세한 내용은 What is AWS Parallel Computing Service를, AWS ParallelCluster에 대한 자세한 내용은 What is AWS ParallelCluster를 참고하세요.

ML용 Capacity Blocks