카탈로그용 외부 클라우드 스토리지 만들기

카탈로그용 외부 클라우드 스토리지 만들기

일반적으로 사용 가능(GA) — 정부 리전에서는 사용할 수 없어요.

이 문서는 다음 클라우드 스토리지 제공자의 Apache Iceberg™ 테이블용 외부 클라우드 스토리지를 만드는 방법을 설명해요:

  • Amazon S3
  • Cloud Storage from Google
  • Microsoft Azure container

Snowflake Open Catalog 계정에서 내부 카탈로그를 만들기 전에 먼저 외부 클라우드 스토리지를 만들고 구성해야 해요.

출처: Create external cloud storage for a catalog

본문

Amazon S3 버킷 만들기

  1. AWS Management Console에 로그인하세요.
  2. 홈 대시보드에서 S3를 검색해 선택하세요.
  3. Create bucket을 선택하세요.
  4. Bucket name에 버킷의 이름을 입력하세요.
  5. 스토리지 버킷의 설정을 구성하거나 기본 설정을 사용하세요.
  6. Create bucket을 선택하세요.
  7. 만든 스토리지 버킷을 검색해 선택하세요.
  8. 폴더를 만들려면 Create folder를 선택하세요.

이 폴더를 만드는 것을 모범 사례로 권장해요.

  1. Folder name에 Apache Iceberg™ 테이블을 저장하려는 폴더의 이름을 입력한 다음 Create folder를 선택하세요.
  2. 만든 폴더를 선택하세요.
  3. Copy S3 URI를 선택한 다음 나중에 사용할 수 있도록 URI를 저장하세요.

Open Catalog에서 카탈로그를 만들 때 Default base location 필드에 S3 URI를 입력해요.

Cloud Storage 버킷 만들기

  1. 프로젝트 편집자로 Google Cloud 콘솔에 로그인하세요.
  2. 탐색 메뉴에서 Solutions > All products를 선택하세요.
  3. Storage 아래에서 Cloud Storage를 선택하세요.
  4. Create를 선택하세요.
  5. Get Started 아래에서 Cloud Storage 버킷의 이름을 입력하세요.
  6. 선택 사항: 스토리지 버킷의 설정을 구성하세요.
  7. Create를 선택하세요.
  8. Bucket details 페이지에서 CREATE FOLDER를 선택하세요.
  9. Apache Iceberg™ 테이블을 저장하려는 폴더 이름을 입력한 다음 Create를 선택하세요.
  10. Bucket details 페이지에서 만든 폴더 이름 옆의 Copy를 선택하고 나중에 사용할 수 있도록 경로를 저장하세요.

Open Catalog에서 카탈로그를 만들 때 Default base location 필드에 만든 폴더의 경로를 입력해요.

Microsoft Azure 컨테이너 만들기

Apache Iceberg 테이블용 Microsoft Azure 컨테이너를 만들려면 다음 Azure 클라우드 스토리지 서비스 중 하나를 사용하세요:

  • Blob storage
  • Data Lake Storage Gen2
  • General-purpose v1
  • General-purpose v2

이 서비스들은 Open Catalog가 스토리지 통합에 대해 지원하는 Azure 클라우드 스토리지 서비스예요. 스토리지 통합은 외부 클라우드 스토리지용 생성된 IAM(Identity and Access Management) 엔터티를 저장하며 카탈로그를 만들 때 생성되는 Open Catalog 객체예요.

1단계: 스토리지 계정 만들기

  1. Azure에 로그인하세요.
  2. 홈 대시보드에서 Storage account를 검색해 선택하세요.
  3. + Create를 선택하세요.
  4. Resource group에 스토리지 계정의 리소스 그룹을 선택하거나 새 리소스 그룹을 만들려면 Create new를 선택하세요.
  5. Storage account name에 스토리지 계정의 이름을 입력하세요.
  6. 선택 사항: 계층 네임스페이스를 활성화해 Azure Data Lake Storage Gen2 워크로드에 스토리지 계정을 사용하세요. 자세한 내용은 스토리지 계정 만들기를 참조하세요.
  7. 선택 사항: 스토리지 계정의 설정을 구성하세요.
  8. Review + create를 선택하세요.
  9. Create를 선택하세요.

2단계: 스토리지 계정에 컨테이너 만들기

  1. Azure에서 만든 스토리지 계정으로 이동하세요.
  2. 왼쪽 메뉴에서 Data storage를 선택하세요.
  3. Data storage 아래에서 Containers를 선택하세요.
  4. + Container를 선택하세요.
  5. 컨테이너의 이름을 입력한 다음 Create를 선택하세요.
  6. 컨테이너의 이름을 복사하고 저장하세요. Open Catalog에서 카탈로그를 만들 때 이 이름을 지정해야 해요.
  7. 선택 사항: 계층 네임스페이스를 사용 중이고 디렉터리를 추가해야 한다면: a. 만든 컨테이너를 선택하세요. b. + Add Directory를 선택하세요. c. 디렉터리의 이름을 입력한 다음 Save를 선택하세요. d. 이 디렉터리의 이름을 복사하고 저장하세요. Open Catalog에서 카탈로그를 만들 때 이 이름을 지정해야 해요.

3단계: 컨테이너의 엔드포인트 경로 복사

  1. Azure에서 만든 스토리지 계정으로 이동하세요.
  2. 왼쪽 메뉴에서 Settings를 선택하세요.
  3. Settings 아래에서 Endpoints를 선택하세요.
  4. 컨테이너의 기본 엔드포인트 경로를 복사하고 저장하세요:
  • blob storage를 사용한다면 Blob service 아래에서 Primary endpoint: Blob service 필드의 Copy to clipboard 아이콘을 선택하세요.
  • Azure Data Lake Storage를 사용한다면 Data Lake Storage 아래에서 Primary endpoint: Data Lake Storage 필드의 Copy to clipboard 아이콘을 선택하세요.

Open Catalog에서 카탈로그를 만들 때 Default base location 필드에 컨테이너의 기본 엔드포인트 경로를 입력해요. Open Catalog에서 카탈로그를 만드는 단계에는 이 경로를 Default base location 필드에 필요한 형식으로 지정하는 방법에 대한 지침이 포함돼 있어요.

더 알아보기