메타데이터 테이블 조회
메타데이터 테이블 조회 (Querying metadata tables)
Amazon S3 Metadata 테이블은 테이블 형식(tabular) 데이터에 최적화된 스토리지를 제공하는 AWS 관리형 S3 테이블 버킷에 저장돼요. 메타데이터를 조회하려면 테이블 버킷을 Amazon SageMaker Lakehouse와 통합할 수 있어요. AWS Glue Data Catalog와 AWS Lake Formation을 사용하는 이 통합을 통해 AWS 분석 서비스가 테이블 데이터를 자동으로 발견하고 접근할 수 있어요.
출처: 문서
본문
테이블 버킷을 AWS Glue Data Catalog와 통합한 후에는 Amazon Athena, Amazon EMR, Amazon Redshift 같은 AWS 분석 서비스로 메타데이터 테이블을 직접 조회할 수 있어요. Amazon QuickSight를 사용해 쿼리 데이터로 대화형 대시보드를 만들 수도 있어요.
AWS 관리형 S3 테이블 버킷과 Amazon SageMaker Lakehouse 통합에 대한 자세한 내용은 Amazon S3 Tables와 AWS 분석 서비스 통합을 참고하세요.
Apache Spark, Apache Trino 및 Apache Iceberg 형식을 지원하는 기타 애플리케이션으로도 AWS Glue Iceberg REST 엔드포인트, Amazon S3 Tables Iceberg REST 엔드포인트 또는 Apache Iceberg용 Amazon S3 Tables Catalog 클라이언트 카탈로그를 사용해 메타데이터 테이블을 조회할 수 있어요. 메타데이터 테이블 접근에 대한 자세한 내용은 테이블 데이터 접근을 참고하세요.
Apache Iceberg 형식을 지원하는 모든 쿼리 엔진으로 메타데이터 테이블을 분석할 수 있어요. 예를 들어 메타데이터 테이블을 조회해 다음을 수행할 수 있어요.
- 스토리지 사용 패턴과 추세 발견
- 객체 전체에 걸친 AWS Key Management Service(AWS KMS) 암호화 키 사용 감사
- 사용자 정의 메타데이터와 객체 태그로 객체 검색
- 시간 경과에 따른 객체 메타데이터 변경 이해
- 객체가 업데이트되거나 삭제된 시점 파악(요청한 AWS 계정 ID 또는 IP 주소 포함)
S3 관리형 메타데이터 테이블과 커스텀 메타데이터 테이블을 조인하여 여러 데이터 세트에 걸쳐 조회할 수도 있어요.
쿼리 요금 고려 사항 (Query pricing considerations)
메타데이터 테이블에서 쿼리를 실행하면 추가 요금이 적용돼요. 자세한 내용은 사용 중인 쿼리 엔진의 요금 정보를 참고하세요.
쿼리를 더 비용 효율적으로 만드는 방법은 메타데이터 테이블 쿼리 성능 최적화를 참고하세요.