딥러닝 인스턴스용 Amazon ECS 태스크 정의

Amazon ECS에서 딥러닝 워크로드를 사용하려면 Amazon EC2 DL1 인스턴스를 클러스터에 등록하세요. Amazon EC2 DL1 인스턴스는 Habana Labs(Intel 계열사)의 Gaudi 가속기로 구동됩니다. Habana Gaudi 가속기에 연결하려면 Habana SynapseAI SDK를 사용하세요. 이 SDK는 널리 쓰이는 머신러닝 프레임워크인 TensorFlow와 PyTorch를 지원해요.

출처: 문서

본문

고려 사항

Amazon ECS에서 DL1 배포를 시작하기 전에 다음을 고려하세요:

클러스터에는 DL1 인스턴스와 비-DL1 인스턴스가 섞여 있을 수 있어요.
서비스를 만들거나 독립 실행형 태스크를 실행할 때, 태스크 배치 제약 조건을 구성할 때 인스턴스 유형 속성을 사용해서 태스크가 지정한 컨테이너 인스턴스에서 실행되도록 할 수 있어요. 이렇게 하면 리소스를 효과적으로 사용하고, 딥러닝 워크로드용 태스크가 DL1 인스턴스에서 실행되도록 보장할 수 있습니다. 자세한 내용은 Amazon ECS가 태스크를 컨테이너 인스턴스에 배치하는 방법(How Amazon ECS places tasks on container instances)을 참고하세요.

다음 예시는 기본 클러스터의 dl1.24xlarge 인스턴스에서 태스크를 실행합니다:

aws ecs run-task \
     --cluster default \
     --task-definition ecs-dl1-task-def \
     --placement-constraints type=memberOf,expression="attribute:ecs.instance-type == dl1.24xlarge"

DL1 AMI 사용

Amazon EC2 DL1 인스턴스에서 Amazon ECS용 AMI를 실행하는 방법은 세 가지가 있어요:

Habana가 여기(here)에 제공하는 AWS Marketplace AMI.
Amazon Web Services가 제공하는 Habana Deep Learning AMI. Amazon ECS 컨테이너 에이전트가 포함되어 있지 않으므로 별도로 설치해야 합니다.
GitHub 리포지토리가 제공하는 Packer를 사용해 사용자 지정 AMI를 빌드하는 방법. 자세한 내용은 Packer 문서를 참고하세요.