Amazon CloudWatch로 S3 Files 모니터링

Amazon CloudWatch로 S3 Files 모니터링 (Monitoring S3 Files with Amazon CloudWatch)

Amazon CloudWatch를 사용해 S3 Files 파일 시스템을 모니터링할 수 있어요. CloudWatch는 Amazon S3 Files의 원시 데이터를 수집·처리해 읽기 쉬운 메트릭으로 만들어요. 이 메트릭은 15개월간 보존되어 과거 정보에 액세스하고 파일 시스템 성능에 대한 더 나은 관점을 얻을 수 있어요.

S3 Files 메트릭 데이터는 자동으로 CloudWatch로 전송돼요. 대부분의 메트릭은 1분 간격으로 전송되고, 스토리지 메트릭은 15분마다 전송돼요. 메트릭이 지정한 임계값을 초과할 때 알림을 보내는 CloudWatch 알람을 만들 수 있어요. 또한 CloudWatch 콘솔에서 리소스를 단일 보기로 모니터링할 수 있는 사용자 지정 홈페이지인 CloudWatch 대시보드를 사용할 수도 있어요. 자세한 내용은 사용자 지정 CloudWatch 대시보드 생성을 참고하세요.

출처: 문서

본문

S3 Files CloudWatch 메트릭

S3 Files 메트릭은 AWS/S3/Files 네임스페이스를 사용해요. 모든 메트릭은 단일 차원 FileSystemId에 대해 보고돼요. AWS/S3/Files 네임스페이스에는 다음 메트릭이 포함돼요.

메트릭 설명 단위 및 유효 통계
StorageBytes 데이터와 메타데이터를 포함한 파일 시스템의 총 크기(바이트). 이 메트릭은 15분마다 CloudWatch로 전송돼요. 단위: Bytes. Minimum, Maximum, Average
Inodes S3 Files 파일 시스템의 총 inode(파일, 디렉터리, 심볼릭 링크 등) 수. 이 메트릭은 15분마다 CloudWatch로 전송돼요. 단위: Count. Sum
PendingExports S3 버킷으로 내보내기 대기 중인 파일 및 디렉터리 총 수. 단위: Count. Sum
ImportFailures 재시도 후 파일 시스템으로 가져오기에 실패한 객체 총 수(예: 잘못된 IAM 권한). 단위: Count. Sum
ExportFailures 내보내기에 실패하고 재시도되지 않을 파일 및 디렉터리 총 수. 이 메트릭은 문제 해결과 조치를 취할 수 있도록(예: IAM 권한 업데이트) 터미널 내보내기 실패를 식별하는 데 도움을 줘요. 단위: Count. Sum
ImportAge 파일 시스템이 연결된 S3 버킷에서 가져오는 진행 중인 변경 사항의 수명. 수명은 각 변경 사항이 버킷에서 발생한 시점부터 측정돼요. 가져오기가 최신 상태인지 모니터링하려면 이 메트릭을 사용하세요. 지속적인 증가는 가져오기가 버킷의 변경 사항을 따라잡지 못하고 있다는 의미예요. 단위: Seconds
ExportAge 파일 시스템이 연결된 S3 버킷으로 내보내는 진행 중인 변경 사항의 수명. 수명은 각 변경 사항이 파일 시스템에서 발생한 시점부터 측정돼요. 내보내기가 최신 상태인지 모니터링하려면 이 메트릭을 사용하세요. 지속적인 증가는 내보내기가 파일 시스템의 변경 사항을 따라잡지 못하고 있다는 의미예요. 단위: Seconds
DataReadBytes 파일 시스템에서 읽은 바이트 수. SampleCount는 데이터 읽기 작업 수를 제공해요. 이 메트릭을 단위 시간당 조회해 데이터 읽기 처리량을 계산할 수 있어요. 단위: Bytes(Minimum, Maximum, Average, Sum), Count(SampleCount)
DataWriteBytes 파일 시스템에 쓴 바이트 수. SampleCount는 데이터 쓰기 작업 수를 제공해요. 이 메트릭을 단위 시간당 조회해 데이터 쓰기 처리량을 계산할 수 있어요. 단위: Bytes(Minimum, Maximum, Average, Sum), Count(SampleCount)
MetadataReadBytes 파일 시스템에서 읽은 메타데이터 바이트 수. SampleCount는 메타데이터 읽기 작업 수를 제공해요. 단위: Bytes(Minimum, Maximum, Average, Sum), Count(SampleCount)
MetadataWriteBytes 파일 시스템에 쓴 메타데이터 바이트 수. SampleCount는 메타데이터 쓰기 작업 수를 제공해요. 단위: Bytes(Minimum, Maximum, Average, Sum), Count(SampleCount)
LostAndFoundFiles 분실물 보관함(lost and found) 디렉터리의 파일 총 수. 분실물 보관함 디렉터리는 파일 시스템의 루트 디렉터리에 .s3files-lost+found-파일시스템ID라는 이름으로 위치해요. 분실물 보관함 디렉터리의 파일은 S3 버킷으로 복사되지 않아요. 파일 시스템과 S3 버킷 모두에서 같은 데이터에 대한 동시 변경으로 인해 충돌이 발생하면 S3 Files는 S3 버킷을 진실 원천으로 간주하고 충돌한 파일을 분실물 보관함 디렉터리로 이동해요. 단위: Count. Sum
ClientConnections 파일 시스템에 대한 활성 클라이언트 연결 수. 단위: Count. Sum

클라이언트 연결성 메트릭 (Client connectivity metrics)

S3 Files는 클라이언트가 연결된 S3 버킷에서 파일 데이터를 직접 읽을 수 있게 해 읽기 성능을 최적화할 수 있어요. 이를 지원하기 위해 S3 Files 클라이언트는 클라이언트가 필요한 연결을 설정할 수 있는지 모니터링하는 연결성 메트릭을 생성해요.

이 메트릭은 S3 Files 클라이언트(amazon-efs-utils)에 의해 생성되며 efs-utils/S3Files CloudWatch 네임스페이스로 게시돼요. 메트릭 전송은 S3 Files 경험의 일부로 기본적으로 활성화되어 있어요.

메트릭 설명 단위 및 유효 통계
NFSConnectionAccessible 클라이언트가 NFS 마운트를 통해 파일 시스템에 연결할 수 있는지 여부. 값 1은 연결이 가능하다는 의미예요. 값 0은 연결이 가능하지 않다는 의미예요. 단위: None. Minimum, Maximum, Average
S3BucketAccessible 클라이언트가 연결된 S3 버킷에서 데이터를 읽는 데 필요한 권한을 가지고 있는지 여부. 값 1은 클라이언트가 필요한 권한을 가지고 있다는 의미예요. 값 0은 필요한 권한이 없다는 의미예요. 단위: None. Minimum, Maximum, Average
S3BucketReachable 연결된 S3 버킷과 프리픽스가 존재하고 클라이언트에서 연결 가능한지 여부. 값 1은 버킷과 프리픽스에 연결할 수 있다는 의미예요. 값 0은 버킷 또는 프리픽스에 연결할 수 없다는 의미예요. 단위: None. Minimum, Maximum, Average

CloudWatch 메트릭 액세스

CloudWatch 콘솔, AWS CLI 또는 CloudWatch API를 사용해 S3 Files 메트릭을 볼 수 있어요.

CloudWatch 콘솔로 메트릭 보기

  1. CloudWatch 콘솔을 https://console.aws.amazon.com/cloudwatch/ 에서 엽니다.
  2. 탐색 창에서 메트릭(Metrics) 을 선택한 다음 모든 메트릭(All metrics) 을 선택하세요.
  3. S3Files 네임스페이스를 선택하세요.
  4. 파일 시스템 메트릭(File System Metrics) 을 선택하세요.
  5. 보려는 메트릭을 선택하세요.
  6. 그래프 메트릭(Graphed metrics) 탭을 선택해 그래프 표시를 구성하세요.

AWS CLI로 메트릭 보기

get-metric-statistics 명령을 사용하세요. 예를 들어 DataReadBytes를 보려면 다음과 같이 해요.

aws cloudwatch get-metric-statistics \
  --namespace AWS/S3/Files \
  --metric-name DataReadBytes \
  --dimensions Name=FileSystemId,Value=file-system-id \
  --start-time 2025-01-20T00:00:00Z \
  --end-time 2025-01-20T23:59:59Z \
  --period 3600 \
  --statistics Sum