S3 Storage Lens 지표를 S3 Tables로 내보내기

Amazon S3 Storage Lens를 스토리지 분석 및 인사이트를 S3 Tables로 내보내도록 구성할 수 있어요. S3 Tables 내보내기를 활성화하면 지표가 AWS 관리형 aws-s3 테이블 버킷의 읽기 전용 Apache Iceberg 테이블에 자동으로 저장되어, Amazon Athena, Amazon Redshift, Amazon EMR 같은 AWS 분석 서비스에서 SQL로 쿼리할 수 있게 돼요.

출처: Exporting S3 Storage Lens metrics to S3 Tables

본문

참고

S3 Storage Lens 지표를 AWS 관리형 S3 Tables로 내보내는 데는 추가 비용이 없어요. 테이블 스토리지, 테이블 관리, 테이블에 대한 요청에는 표준 요금이 적용돼요. 자세한 내용은 Amazon S3 요금을 참고하세요.

콘솔을 사용해 S3 Tables 내보내기 활성화

AWS Management Console에 로그인하고 https://console.aws.amazon.com/s3/에서 Amazon S3 콘솔을 열어요.
왼쪽 탐색 창에서 Storage Lens를 선택한 다음 Storage Lens Dashboards를 선택해요.
Storage Lens Dashboards 목록에서 편집할 대시보드를 선택해요.
Edit을 선택해요.
Dashboard 페이지에서 Metrics export and publishing 섹션으로 이동해요.
Default metrics report에 대해 Table Export를 활성화하려면 Bucket type에서 Table bucket을 선택해요.
Expanded prefixes metrics report에 대해 Table Export를 활성화하려면 Bucket type에서 Table bucket을 선택해요.
대시보드 구성을 검토하고 Submit을 선택해요.

참고

S3 Tables 내보내기를 활성화한 후 첫 데이터가 테이블에서 사용 가능해지려면 최대 48시간이 걸릴 수 있어요.

참고

S3 Storage Lens 지표를 AWS 관리형 S3 Tables로 내보내는 데는 추가 비용이 없어요. 테이블 스토리지, 테이블 관리, 테이블에 대한 요청, 모니터링에는 표준 요금이 적용돼요. Amazon S3 콘솔, Amazon S3 API, AWS CLI, AWS SDK를 사용해 S3 Tables로의 내보내기를 활성화하거나 비활성화할 수 있어요.

참고

기본적으로 S3 테이블의 레코드는 만료되지 않아요. 테이블의 스토리지 비용을 최소화하려면 테이블에 대한 레코드 만료를 활성화하고 구성할 수 있어요. 이 옵션을 사용하면 Amazon S3가 레코드가 만료될 때 테이블에서 레코드를 자동으로 제거해요. 자세한 내용은 테이블의 레코드 만료를 참고하세요.

AWS CLI를 사용해 S3 Tables 내보내기 활성화

참고

다음 명령을 실행하기 전에 최신 CLI 버전이 있는지 확인하세요. AWS CLI 최신 버전 설치 또는 업데이트를 참고하세요.

다음 예시는 AWS CLI를 사용해 S3 Storage Lens 구성 "Default metrics report"에 대해 S3 Tables 내보내기를 활성화해요. 이 예시를 사용하려면 user input placeholders를 본인 정보로 바꿔요.

aws s3control put-storage-lens-configuration --account-id=555555555555 --config-id=your-configuration-id --storage-lens-configuration '{
   "Id":"your-configuration-id",
   "AccountLevel":{
      "ActivityMetrics":{
        "IsEnabled":true
      },
      "BucketLevel":{
         "ActivityMetrics":{
            "IsEnabled":true
         }
      }
   },
   "DataExport":{
      "S3BucketDestination":{
         "OutputSchemaVersion":"V_1",
         "Format":"CSV",
         "AccountId":"555555555555",
         "Arn":"arn:aws:s3:::my-export-bucket",
         "Prefix":"storage-lens-exports/"
      },
      "StorageLensTableDestination":{
         "IsEnabled":true
      }
   },
   "IsEnabled":true
}'

AWS SDK를 사용해 S3 Tables 내보내기 활성화

다음 예시는 AWS SDK for Python(Boto3)을 사용해 S3 Storage Lens 구성 "Default metrics report"에 대해 S3 Tables 내보내기를 활성화해요. 이 예시를 사용하려면 user input placeholders를 본인 정보로 바꿔요.

import boto3

s3control = boto3.client('s3control')

response = s3control.put_storage_lens_configuration( AccountId='555555555555', ConfigId='your-configuration-id', StorageLensConfiguration={
        'Id': 'your-configuration-id',
        'AccountLevel': {
            'ActivityMetrics': {
              'IsEnabled': True
            },
            'BucketLevel': {
                'ActivityMetrics': {
                    'IsEnabled': True
                }
            }
        },
        'DataExport': {
            'S3BucketDestination': {
                'OutputSchemaVersion': 'V_1',
                'Format': 'CSV',
                'AccountId': '555555555555',
                'Arn': 'arn:aws:s3:::my-export-bucket',
                'Prefix': 'storage-lens-exports/'
            },
            'StorageLensTableDestination': {
                'IsEnabled': True
            }
        },
        'IsEnabled': True
    }
)

AWS SDK 사용에 대한 자세한 내용은 AWS SDK 및 도구를 참고하세요.

다음 단계

S3 Tables 내보내기를 활성화한 후에는 다음을 할 수 있어요.

S3 Tables로의 S3 Storage Lens 내보내기 테이블 명명 알아보기
S3 Storage Lens 테이블 스키마 이해하기 알아보기

S3 Storage Lens 지표를 S3 Tables로 내보내기