Snowsight를 사용해 데이터 로드

Snowsight를 사용해 데이터 로드

Snowsight를 통해 테이블에 데이터를 추가할 수 있어요.

이 인터페이스에서 CSV 또는 TSV 형식을 포함한 구조적 데이터, JSON, Avro, ORC, Parquet 또는 XML 형식을 포함한 반구조적 데이터가 담긴 파일을 업로드할 수 있어요.

다음 위치에서 데이터를 업로드할 수 있어요.

• 로컬 컴퓨터.
• 기존 스테이지.

한 번에 최대 250개의 파일을 업로드할 수 있어요. 각 파일은 최대 250MB예요. 더 큰 파일이나 많은 수의 파일을 로드하려면 Snowflake CLI 또는 SnowSQL 클라이언트를 사용해요. 자세한 내용은 로컬 파일 시스템에서 대량 로드를 참고해요.

출처: Documentation

본문

Snowsight를 사용해 데이터 로드

데이터를 로드할 때 새 테이블을 만들거나, 기존 테이블에 데이터를 로드할 수 있어요.

Snowsight의 데이터 로드 세션에서 Snowflake는 모든 SQL 명령을 명시적 트랜잭션에서 실행해요. 이러한 명령은 ACCOUNT 또는 USER 수준에서 설정한 AUTOCOMMIT 값과 관계없이 커밋돼요.

새 테이블 만들기

데이터를 로드할 때 종종 데이터에 대한 새 테이블을 동시에 만들고 자동으로 구성할 수 있어요.

참고 — 데이터 로드 시 XML 파일에서 새 테이블을 만드는 것은 지원되지 않아요. 데이터 로드 시 새 Apache Iceberg™ 테이블을 만드는 것도 지원되지 않아요. 이러한 상황에서는 새 빈 테이블을 만든 다음 기존 테이블에 데이터 로드 지침을 사용해요.

1. Snowsight에 로그인해요.
2. 왼쪽 아래 모서리에서 이름 » Switch role을 선택하고 다음 권한을 포함하는 역할을 선택해요.

3. 탐색 메뉴 상단에서 (Create) » Table » From File을 선택해요. Load Data into Table 대화 상자가 나타나요.
4. 테이블을 만들 데이터베이스와 스키마를 선택하거나 만들어요.
5. 다음 방법 중 하나를 사용해 데이터가 포함된 파일을 선택해요.
   • Drag and drop to upload files — 로컬 시스템에서 직접 파일을 끌어다 놓아 업로드.
   • Browse — 로컬 시스템의 파일 찾아보기.
   • Add from stage. Add from stage를 선택하면 스테이지 탐색기가 나타나요. 스테이지 탐색기에서 스테이지와 하위 폴더로 이동해 스테이지의 특정 폴더와 파일을 선택할 수 있어요. 스테이지에서 특정 파일을 선택하지 않고 Add를 선택하면 스테이지의 모든 파일과 폴더를 포함하는 루트 스테이지가 추가돼요. 스테이지 폴더에 표시할 수 있는 최대 파일 수는 250개예요.
6. 새 테이블 이름을 입력하고 Next를 선택해요. 테이블 스키마 대화 상자가 나타나요. Snowsight는 파일의 메타데이터 스키마를 감지하고 INFER_SCHEMA 함수가 식별한 파일 형식과 컬럼 정의를 반환해요.
7. 추론된 파일 형식, 데이터 유형, 컬럼 이름, 컬럼 데이터 샘플을 검토해요. 모든 정보가 정확한지 확인하고 필요하면 업데이트해요.
8. Load를 선택해요. Snowsight가 파일을 로드하고 파일에 대한 새 테이블을 만들어요.

기존 테이블에 데이터 로드

1. Snowsight에 로그인해요.
2. 사용자 메뉴를 열고 최소한 다음 권한을 포함하는 계정 역할을 선택해요.

3. 탐색 메뉴에서 Ingestion » Add Data를 선택해요.
4. Load data into a Table을 선택해요. Load Data into Table 대화 상자가 나타나요.
5. 다음 방법 중 하나를 사용해 데이터가 포함된 파일을 선택해요.
   • Drag and drop to upload files — 로컬 시스템에서 직접 파일을 끌어다 놓아 업로드.
   • Browse — 로컬 시스템의 파일 찾아보기.
   • Add from stage. Add from stage를 선택하면 스테이지 탐색기가 나타나요. 스테이지 탐색기에서 스테이지와 하위 폴더로 이동해 스테이지의 특정 폴더와 파일을 선택할 수 있어요. 스테이지에서 특정 파일을 선택하지 않고 Add를 선택하면 스테이지의 모든 파일과 폴더를 포함하는 루트 스테이지가 추가돼요. 스테이지 폴더에 표시할 수 있는 최대 파일 수는 250개예요.
6. 데이터를 로드할 데이터베이스, 스키마, 테이블을 선택해요.
7. Next를 선택해요. Load Data into Table 대화 상자에 Edit Schema 페이지가 나타나요.
8. 필요에 따라 최종 사용자 지정을 수행해요.
   • 현재 데이터베이스에서 파일 형식을 선택해요.
   • 사용자 지정할 파일 유형을 선택한 다음 데이터 파일에 대한 관련 설정을 선택해요.

참고 — Parquet 데이터를 Snowflake 관리 Iceberg 테이블에 로드하려면 Load as a single variant column? 을 선택 해제해요. Snowflake는 Parquet 데이터를 Iceberg 테이블 컬럼에 직접 로드해요. Snowsight로 Parquet 파일을 로드할 때는 기본 LOAD_MODE = FULL_INGEST만 지원돼요. 자세한 내용은 COPY INTO <table>을 참고해요.

• (선택) 형식 유형 옵션의 View options을 선택해요(예: 날짜 및 시간 형식 지정 또는 잘못된 문자 대체).
• (선택) 로드 중 오류가 발생하면 어떻게 할지 선택해요. 기본적으로 파일에서 데이터가 로드되지 않아요.
• Table loading methods에 대해 다음 옵션 중 하나를 선택해요. 기본 옵션은 Append예요.
  • Append: 로드 중 새 데이터가 기존 테이블에 추가돼요.
  • Replace: 새 데이터가 테이블의 기존 데이터를 대체해요.
• Match by column names 옵션 중 하나를 선택해 원본 파일과 대상 테이블을 자동으로 일치시켜요. 기본 옵션은 case insensitive예요.
• 테이블 스키마 대화 상자 오른쪽의 Edit Schema 탭을 선택해요. 원본 파일과 대상 테이블 사이에 불일치가 있으면 필요에 따라 조정해요. 드롭다운 목록에서 올바른 컬럼 이름을 선택해 원본 파일을 대상 테이블과 일치시켜요. 예를 들어 원본 파일에는 building이라는 컬럼이 있고 대상 테이블에는 BUILDING_ID라는 컬럼이 있을 수 있어요.
• 선택: Table Preview 탭을 선택해 들어오는 원본 파일의 데이터가 대상 테이블에서 어떻게 보일지 미리 보여요.

9. Load를 선택해요. Snowsight는 파일을 로드하고 테이블에 성공적으로 삽입된 행 수를 표시해요.

역할 선택

적절한 권한이 있는 역할을 선택해요. (왼쪽 아래 모서리에서 이름 » Switch role » ACCOUNTADMIN을 선택해요.)

• 데이터를 로드하려면 역할이 데이터를 로드하는 테이블이 포함된 데이터베이스와 스키마에 USAGE 권한이 있어야 해요.
• 데이터를 로드할 때 스테이지를 만들려면 역할이 데이터베이스 스키마에 CREATE STAGE 권한이 있어야 해요.
• 데이터를 로드할 때 파일 형식을 만들려면 역할이 데이터베이스 스키마에 CREATE FILE FORMAT 권한이 있어야 해요.

데이터를 로드할 테이블 선택

1. Databases를 선택해요.

2. 특정 데이터베이스와 스키마를 선택해요.

3. Tables 탭을 선택해요.

4. 데이터를 로드할 테이블을 찾아요.

5. 다음 중 하나를 수행해 특정 테이블에 데이터 로드를 시작해요.

   • 테이블 행을 선택한 다음 Load Data를 선택해요.
   • 테이블 이름을 선택해 테이블 세부 정보 페이지를 연 다음 Load Table을 선택해요.

   Load Data 마법사가 열려요.

6. 테이블에 데이터를 로드하는 데 사용할 웨어하우스를 선택해요. 드롭다운에는 USAGE 권한이 있는 모든 웨어하우스가 포함돼요.

7. Next를 선택해요.

로드할 데이터 선택

데이터를 로드할 위치에 따라 관련 단계를 따르세요. 여러 위치에서 데이터를 로드하려면 Load Data 마법사를 여러 번 사용해요.

컴퓨터에서 데이터를 로드하려면:

1. Load files from your computer 옵션을 선택하고 Select Files를 선택해 로드할 파일을 찾아봐요.
2. 로컬 데이터 파일을 하나 이상 선택하고 Open을 선택해요.
3. Next를 선택해요.

기존 스테이지에서 데이터를 로드하려면:

1. Load files from external stage 옵션을 선택해요.
2. Stage 드롭다운 목록에서 기존 스테이지를 선택해요.
3. (선택) 스테이지의 파일에 대한 경로를 지정해요.
4. Next를 선택해요.

예를 들어 외부 클라우드 스토리지에서 데이터를 로드하기 위해 스테이지를 만들려면:

1. Load files from external stage 옵션을 선택해요.
2. Stage 드롭다운 목록 옆의 + 를 선택해요.
3. 파일이 있는 지원되는 클라우드 스토리지 서비스를 선택해요.
4. Next를 선택해요.
5. 스테이지를 설명하는 필드를 완료해요. 자세한 내용은 CREATE STAGE를 참고해요.
6. Finish를 선택해요. 새 스테이지가 Stage 드롭다운 목록에서 자동으로 선택돼요.
7. (선택) 스테이지의 파일에 대한 경로를 지정해요.
8. Next를 선택해요.

데이터 로드 완료

로드할 파일을 선택한 후 테이블에 데이터 로드를 완료해요.

참고 — 데이터 로드를 완료할 때 웨어하우스가 실행 중이 아니면 데이터가 로드되기 전에 웨어하우스가 재개될 때까지(최대 5분) 기다려야 해요.

데이터 로드를 완료하려면 다음을 수행해요.

1. 드롭다운 목록에서 기존 이름이 있는 파일 형식을 선택하거나 새로 만들어요. 파일 형식을 만들려면: 드롭다운 목록 옆의 + 를 선택하고 데이터 파일 형식과 일치하도록 필드를 채워요. 옵션 설명은 CREATE FILE FORMAT을 참고해요. Finish를 선택해요. 새 이름이 있는 파일 형식이 드롭다운 목록에서 자동으로 선택돼요.
2. 데이터가 로드될 때 발생하는 오류를 어떻게 처리할지 결정해요.
   • 오류가 발생하면 데이터 로드를 중지하려면 Load를 선택해요.
   • 오류를 다른 방식으로 처리하려면: Next를 선택하고 오류를 처리하는 방식을 설명하는 옵션을 선택해요. 옵션에 대한 자세한 내용은 COPY INTO <table>의 ON_ERROR 섹션을 참고해요. Load를 선택해요.
3. Snowflake는 선택한 웨어하우스를 사용해 선택한 테이블에 데이터를 로드해요.
4. OK를 선택해 Load Data 마법사를 닫아요.

더 알아보기

• 로컬 파일 시스템에서 대량 로드
• 데이터 로드 준비