Automated directory table metadata refreshes

Automated directory table metadata refreshes (자동화된 디렉터리 테이블 메타데이터 새로 고침)

내부 또는 외부 스테이지의 디렉터리 테이블 메타데이터를 자동으로 새로 고칠 수 있어요. 새로 고침 작업은 메타데이터를 저장소의 최신 관련 파일 집합과 동기화하며, 다음 유형의 변경에 응답해 발생해요.

출처: Snowflake Documentation

본문

  • 경로의 새 파일이 테이블 메타데이터에 추가돼요.
  • 경로의 파일이 테이블 메타데이터에서 업데이트돼요.
  • 경로에 더 이상 없는 파일이 테이블 메타데이터에서 제거돼요.

내부 스테이지

Preview 기능 — 열림

이 기능의 Preview 지원은 Amazon Web Services(AWS)에 호스팅된 Snowflake 계정에서만 사용할 수 있어요.

내부 스테이지의 디렉터리 테이블을 자동으로 새로 고치면 다음이 발생할 때 메타데이터를 내부 명명 스테이지와 경로의 최신 관련 파일 집합과 동기화해요.

  • 경로의 새 파일이 테이블 메타데이터에 추가돼요.
  • 경로의 파일 변경이 테이블 메타데이터에서 업데이트돼요.
  • 경로에 더 이상 없는 파일이 테이블 메타데이터에서 제거돼요.

디렉터리 테이블이 활성화된 내부 명명 스테이지 생성

CREATE STAGE 명령을 사용해 디렉터리 테이블이 활성화된 내부 명명 스테이지를 만들어요. Snowflake가 스테이징된 데이터 파일을 디렉터리 테이블 메타데이터로 읽어요.

CREATE STAGE my_int_stage
  DIRECTORY = (
    ENABLE = TRUE
    AUTO_REFRESH = TRUE
  );

외부 스테이지

다음 이벤트 알림 서비스를 사용해 디렉터리 테이블 메타데이터를 자동으로 새로 고칠 수 있어요.

자동 새로 고침을 설정하려면 파일이 있는 클라우드 저장소 서비스의 주제를 참고해요.

교차 클라우드 지원

Snowflake는 외부 스테이지에 대해 교차 클라우드, 교차 리전 자동 디렉터리 테이블 새로 고침을 지원해요.

다음 표는 Snowflake 계정을 호스팅하는 클라우드 플랫폼을 기준으로 Snowflake가 자동 디렉터리 테이블 새로 고침에 지원하는 교차 클라우드 옵션을 보여 줘요.

Amazon S3 Google Cloud Storage Microsoft Azure Blob storage Microsoft Data Lake Storage Gen2 Microsoft Azure General-purpose v2
AWS에 호스팅된 계정 ✔ ✔ ✔ ✔ ✔
GCP에 호스팅된 계정 ✔ ✔ ✔ ✔ ✔
Azure에 호스팅된 계정 ✔ ✔ ✔ ✔ ✔

고려 사항

  • 자동 새로 고침은 이벤트 기반이며 대규모 또는 빠르게 성장하는 스테이지에서 수동 새로 고침보다 더 나은 성능을 제공해요.
  • 내부 스테이지의 자동 새로 고침은 현재 AWS에 호스팅된 계정에서 사용할 수 있어요. Snowflake는 계정이 Google Cloud 또는 Azure에 호스팅되어 있을 때 내부 스테이지의 디렉터리 테이블 메타데이터 새로 고침을 지원하지 않아요.

다음 주제:

더 알아보기 (Learn more)