S3 테이블 복제하기

S3 테이블 복제하기 (Replicating S3 tables)

Amazon S3 Tables는 Amazon S3 테이블 버킷에 저장된 Apache Iceberg 테이블의 자동 복제를 지원해요. 복제 대상은 같은 AWS 리전 안, 여러 AWS 리전에 걸쳐, 같은 계정, 또는 다른 AWS 계정이 될 수 있어요. 테이블에 대한 복제를 구성하면 여러 위치에 걸쳐 데이터의 읽기 전용 복제본을 유지할 수 있어요. 복제본을 사용해 데이터 가용성을 높이고 규정 준수 요구를 충족하며 분산 애플리케이션의 접근 성능을 높일 수 있어요.

출처: 문서

본문

S3 Tables 복제는 스냅샷, 메타데이터, 데이터 파일을 포함한 모든 테이블 업데이트를 소스 테이블과 같은 순서로 대상 테이블에 커밋해 데이터 일관성을 유지해요.

S3 Tables 복제는 언제 쓸까

다음 목적으로 S3 Tables 복제를 사용할 수 있어요.

지연 시간 최소화 – 고객이 두 지리적 위치에 있다면 사용자에게 지리적으로 가까운 AWS 리전에서 읽기 복제본을 유지해 테이블 접근 지연 시간을 최소화할 수 있어요.
규제 준수 – 특정 지리적 위치나 AWS 계정에 읽기 복제본을 유지하면 특정 규제·준수 요구를 충족하는 데 도움이 될 수 있어요. 복제 대상 테이블 버킷을 소스와 다른 AWS KMS 키로 테이블을 암호화하도록 구성할 수 있어요.
중앙 집중식 분석 – 데이터가 여러 AWS 리전에 분산되어 있다면 리전별 데이터 세트를 중앙 리전으로 복제해 통합 보고, 크로스 리전 분석, 머신러닝 모델 학습에 사용할 수 있어요. 이렇게 하면 리전에 걸친 쿼리나 커스텀 데이터 집계 파이프라인 구축이 필요 없어져요.
테스트 및 개발 환경 – 별도 AWS 계정이나 테이블 버킷에 프로덕션 테이블의 읽기 복제본을 만들어 개발·QA 팀에 현실적인 테스트 데이터를 제공할 수 있어요. 이렇게 하면 테스트 워크로드를 프로덕션 시스템과 격리하면서도 수동 내보내기나 데이터 동기화 프로세스 없이 테스트 환경이 현재의 프로덕션과 같은 데이터를 갖도록 보장해요.

기능

S3 Tables 복제는 다음 기능을 제공해요.

S3 Tables용 읽기 전용 복제본

S3 Tables 복제는 테이블 버킷에 걸쳐 Apache Iceberg 테이블의 읽기 전용 복제본을 만들어요. 어떤 Iceberg 호환 엔진으로도 복제본을 독립적으로 쿼리할 수 있어요.

자동 유지 관리 복제본

S3 Tables 복제 서비스가 복제 테이블을 자동으로 유지 관리해요. 복제는 대개 소스 업데이트 후 수 분 내에 복제본을 업데이트해요. S3 Tables는 모든 업데이트를 소스 테이블과 같은 순서로 커밋해 일관성을 유지해요.

여러 대상으로의 복제

같은 테이블을 여러 대상 테이블 버킷으로 복제할 수 있어요. 복제 대상은 같은 AWS 리전 안, 여러 AWS 리전에 걸쳐, 같은 AWS 계정, 또는 다른 AWS 계정일 수 있어요.

독립적인 스냅샷 보존

복제 테이블의 스냅샷 만료는 소스 테이블과 독립적이어서, 필요하면 복제 테이블에 다른 보존 기간을 설정할 수 있어요. 예를 들어 소스 테이블은 스냅샷을 30일 보존하도록 구성하고 복제 테이블은 90일 보존 기간으로 설정할 수 있어요. 복제본에 더 긴 보존 기간을 구성하면 소스에서 만료된 스냅샷도 복제본에서는 사용 가능하고 쿼리 가능하게 유지돼요. 이 구성은 과거 분석을 위한 확장된 타임트래블 기능을 제공해요.

저비용 스토리지 계층에 복제 테이블 유지하기

대상 테이블 버킷을 S3 Intelligent-Tiering 스토리지 클래스를 사용하도록 구성할 수 있어요. 이 스토리지 클래스는 성능 영향이나 운영 오버헤드 없이 접근 패턴을 기반으로 스토리지 비용을 자동 최적화해요. S3 Intelligent-Tiering은 덜 자주 접근될 수 있는 복제 테이블에 잘 맞아요.

S3 Tables 복제에 대한 자세한 내용은 다음 항목들을 참고하세요.

더 알아보기 (Learn more)

Apache Iceberg V3 사용하기 (Working with Apache Iceberg V3)
S3 Tables 복제는 어떻게 동작하나요 (How S3 Tables replication works)
S3 Tables 복제 설정하기 (Setting up S3 Tables replication)
S3 Tables 복제 관리하기 (Managing S3 Tables replication)