Google Cloud Storage에서 대량 로드
Google Cloud Storage에서 대량 로드
이미 Google Cloud Storage 계정이 있고 데이터 파일을 저장·관리하기 위해 Cloud Storage 버킷을 사용한다면, 기존 버킷과 폴더 경로를 활용해 Snowflake로 대량 로드할 수 있어요.
참고 — Snowflake는 Regional Storage와 Multi-Regional Storage 계정만 지원해요.
이 주제 묶음은 COPY INTO <table> 명령을 사용해 Cloud Storage 버킷에서 테이블로 데이터를 로드하는 방법을 설명해요.
아래 다이어그램처럼 Cloud Storage 버킷에서 데이터를 로드하는 작업은 두 단계로 나뉘어요.
1단계: Snowflake는 데이터 파일이 이미 Cloud Storage 버킷에 스테이징되어 있다고 가정해요. 아직 스테이징되지 않았다면 Google이 제공하는 업로드 인터페이스/유틸리티를 사용해 파일을 스테이징해요.
2단계: COPY INTO <table> 명령을 사용해 스테이징된 파일의 내용을 Snowflake 데이터베이스 테이블에 로드해요. 버킷에서 직접 로드할 수도 있지만, Snowflake는 버킷을 참조하는 외부 스테이지를 만들고 그 외부 스테이지를 사용할 것을 권장해요.
사용하는 방법과 관계없이 이 단계는 명령을 수동으로 또는 스크립트 안에서 실행할 경우 실행 중인 현재 세션 가상 웨어하우스가 필요해요. 웨어하우스는 테이블에 행을 실제로 삽입하는 데 필요한 컴퓨팅 리소스를 제공해요.
참고 — Snowflake 계정이 Google Cloud에 호스팅되어 있는 한, 네트워크 트래픽은 공용 인터넷을 경유하지 않아요.
팁 — 이 주제 묶음의 지침은 데이터 로드 준비를 읽었고, 원한다면 이름이 있는 파일 형식을 만들었다고 가정해요. 시작하기 전에 모범 사례, 팁, 기타 지침을 위해 데이터 로드 고려 사항을 읽는 것도 좋아요.
출처: Documentation