Amazon S3 Tables와 테이블 버킷 사용하기

Amazon S3 Tables와 테이블 버킷 사용하기

Amazon S3 Tables는 분석 워크로드에 최적화된 S3 스토리지를 제공해요. 테이블의 쿼리 성능을 지속적으로 개선하고 스토리지 비용을 줄이도록 설계된 기능을 갖추고 있어요. S3 Tables는 일일 구매 트랜잭션, 스트리밍 센서 데이터, 광고 노출 수 같은 표 형식 데이터를 저장하기 위해 특별히 제작됐어요. 표 형식 데이터는 데이터베이스 테이블처럼 열과 행의 형태로 데이터를 나타내요.

S3 Tables의 데이터는 테이블 버킷(table bucket)이라는 새로운 버킷 유형에 저장돼요. 테이블 버킷은 테이블을 하위 리소스로 저장해요. 테이블 버킷은 Apache Iceberg 형식으로 테이블을 저장하는 것을 지원해요. 표준 SQL 문을 사용해 Amazon Athena, Amazon Redshift, Apache Spark 같은 Iceberg를 지원하는 쿼리 엔진으로 테이블을 쿼리할 수 있어요.

출처: Working with Amazon S3 Tables and table buckets

본문

  • S3 Tables의 기능
  • 관련 서비스
  • 튜토리얼: S3 Tables 시작하기
  • 테이블 버킷
  • S3 Tables 유지 관리
  • Intelligent-Tiering으로 테이블 비용 최적화
  • 테이블 네임스페이스
  • S3 테이블 버킷의 테이블
  • 테이블 데이터 접근
  • Apache Iceberg V3 사용하기
  • S3 테이블 복제
  • S3 Tables AWS 리전, 엔드포인트, 서비스 할당량
  • IPv6로 S3 Tables 요청하기
  • S3 Tables 보안
  • S3 Tables 로깅과 모니터링

S3 Tables의 기능

S3 Tables의 자세한 기능은 관련 문서를 참고하세요.

관련 서비스

S3 Tables와 함께 다음 AWS 서비스를 사용해 특정 분석 애플리케이션을 지원할 수 있어요.

  • Amazon Athena — Athena는 표준 SQL을 사용해 Amazon S3의 데이터를 직접 분석할 수 있는 대화형 쿼리 서비스예요. 또한 리소스를 계획하거나 구성하거나 관리할 필요 없이 Apache Spark를 사용해 데이터 분석을 대화형으로 실행할 수도 있어요. Athena에서 Apache Spark 애플리케이션을 실행하면 처리용 Spark 코드를 제출하고 결과를 직접 받아요.
  • AWS Glue — AWS Glue는 여러 소스의 데이터를 검색하고, 준비하고, 이동하고, 통합할 수 있는 서버리스 데이터 통합 서비스예요. 분석, 머신 러닝(ML), 애플리케이션 개발에 AWS Glue를 사용할 수 있어요. AWS Glue에는 작업을 작성하고 실행하며 비즈니스 워크플로를 구현하기 위한 추가 생산성 및 데이터 운영 도구도 포함돼 있어요.
  • Amazon SageMaker Unified Studio — SageMaker Unified Studio는 모든 데이터에 대한 통합 접근으로 분석과 AI를 위한 통합된 환경을 제공해요. Amazon Q Developer로 가속화된 SQL 분석, 데이터 처리, 모델 개발, 생성형 AI를 위한 익숙한 AWS 도구를 사용해 SageMaker Unified Studio에서 협업하고 구축할 수 있어요.
  • Amazon EMR — Amazon EMR은 AWS에서 Apache Hadoop과 Apache Spark 같은 빅 데이터 프레임워크의 실행을 간소화하는 관리형 클러스터 플랫폼으로, 방대한 양의 데이터를 처리하고 분석하는 데 사용해요.
  • Amazon Redshift — Amazon Redshift는 클라우드의 페타바이트 규모 데이터 웨어하우스 서비스예요. Amazon Redshift Serverless를 사용하면 프로비저닝된 데이터 웨어하우스의 모든 구성 없이 데이터에 접근하고 분석할 수 있어요. 리소스는 자동으로 프로비저닝되고 데이터 웨어하우스 용량은 가장 까다롭고 예측할 수 없는 워크로드에도 빠른 성능을 제공하도록 지능적으로 확장돼요. 데이터 웨어하우스가 유휴 상태일 때는 비용이 발생하지 않으므로 사용한 만큼만 지불하면 돼요. Amazon Redshift 쿼리 편집기 v2나 선호하는 비즈니스 인텔리전스(BI) 도구에서 데이터를 로드하고 바로 쿼리를 시작할 수 있어요.
  • Amazon QuickSight — QuickSight는 시각화 구축, 임시 분석 수행, 데이터에서 비즈니스 인사이트를 빠르게 얻기 위한 비즈니스 분석 서비스예요. QuickSight는 AWS 데이터 소스를 원활하게 검색하고 QuickSight SPICE(Super-fast, Parallel, In-Memory, Calculation Engine)를 사용해 빠르고 응답성 높은 쿼리 성능을 제공해요.
  • AWS Lake Formation — Lake Formation은 데이터 레이크를 설정하고, 보호하고, 관리하는 프로세스를 간소화하는 관리형 서비스예요. Lake Formation은 데이터 소스를 검색한 후 데이터를 카탈로그화하고, 정리하고, 변환하도록 도와줘요. Lake Formation으로 Amazon S3의 데이터 레이크 데이터와 AWS Glue Data Catalog의 메타데이터에 대한 세분화된 접근 제어를 관리할 수 있어요.

더 알아보기 (Learn more)

  • 튜토리얼: S3 Tables 시작하기
  • 테이블 버킷
  • S3 Tables 유지 관리