Copy History로 데이터 로드 활동 모니터링

Snowsight나 SQL을 사용해 계정의 모든 테이블 또는 특정 테이블에 대한 데이터 로드 활동을 모니터링할 수 있어요.

Copy History로 계정의 데이터 로드 모니터링
Copy History로 테이블의 데이터 로드 모니터링

출처: Documentation

본문

Copy History로 계정의 데이터 로드 모니터링

Snowsight의 Copy History 페이지 또는 SNOWFLAKE 데이터베이스의 ACCOUNT_USAGE 스키마에 있는 COPY_HISTORY 뷰를 사용해 지난 365일 동안 계정의 모든 테이블에서 발생한 데이터 로드 활동을 검토해요.

계정 수준 데이터 로드 활동은 최대 2시간의 지연 시간이 있으며, COPY INTO 문으로 수행된 대량 데이터 로드, 파이프를 사용한 연속 데이터 로드, 웹 인터페이스를 통해 로드된 파일을 포함해요.

전제 조건

SNOWFLAKE 데이터베이스에 접근할 수 있는 역할을 사용해야 해요. 다른 역할이 SNOWFLAKE 데이터베이스의 스키마를 사용하도록 설정을 참고해요.
Snowsight에서 Copy History 페이지를 보거나 SNOWFLAKE 데이터베이스를 조회하려면 웨어하우스가 필요해요. 사용자 프로필에 기본 웨어하우스가 있으면 Snowsight가 그 웨어하우스를 사용해요. 언제든지 웨어하우스를 전환할 수 있어요.

계정 수준 Copy History 검토

참고 — SNOWFLAKE 데이터베이스에 접근할 수 있는 역할을 사용해야 해요. 다른 역할이 SNOWFLAKE 데이터베이스의 스키마를 사용하도록 설정을 참고해요.

Snowsight에 로그인해요.
탐색 메뉴에서 Ingestion » Copy History를 선택해요.

Copies Over Time 그래프는 주어진 기간 동안의 데이터 로드를 시각화해요. 기본적으로 그래프는 7일 기록을 보여주며, 그래프의 각 막대는 하루를 나타내요.

그래프의 막대를 선택해 Copies 테이블을 해당 일로 필터링할 수 있어요.

데이터 로드 활동에 대한 자세한 내용은 Copies 테이블을 검토할 수 있어요. 테이블에는 다음 정보가 포함돼요.

File Name — 로드된 파일의 이름.
Loaded — 데이터가 로드된 시각을 로컬 시간대로 표시.
Status — 데이터 로드의 상태. 상태가 Failed인 데이터 로드에 마우스를 올리면 오류 세부 정보를 검토할 수 있어요.
Database — 데이터가 로드된 데이터베이스.
Schema — 데이터가 로드된 스키마.
Table — 데이터가 로드된 테이블.
Pipe — 데이터 로드에 사용된 파이프(해당하는 경우).
Size — 로드된 데이터의 크기. KB, MB, GB, TB 단위로 소수점 첫째 자리에서 반올림해요. 예를 들어 45800바이트를 로드하면 크기는 45.8KB로 표시돼요.
Rows — 로드된 행 수. 천, 백만 단위로 소수점 첫째 자리에서 반올림해요. 예를 들어 2000행을 로드하면 행 수는 2K로 표시돼요.
Location — 데이터가 로드된 위치에 대한 링크. 예를 들어 외부 스테이지로 추가된 AWS S3 버킷 또는 내부 이름이 있는 스테이지에 대한 링크. 링크 위에 마우스를 올리면 스테이지 이름을 볼 수 있고, 링크를 선택하면 스테이지 경로를 복사할 수 있어요.

특정 데이터 로드 활동을 더 쉽게 식별하려면 Copy History 페이지를 검색하고 필터링할 수 있어요.

다음으로 필터링할 수 있어요.

최대 365일(1년)의 시간 범위
데이터 로드 활동의 상태 — All(기본값), In progress, Loaded, Failed, Partially loaded, Skipped.
데이터 위치:
- Database
- Schema
- Pipe

Copies 테이블의 열 값을 검색해 특정 데이터 로드 활동을 찾을 수도 있어요.

(워크시트에서 기본 SQL 쿼리 열기) 아이콘을 선택해 테이블을 채우는 데 사용된 SQL 쿼리가 포함된 워크시트를 열어요. SQL 쿼리는 선택한 필터를 기반으로 해요.

Copies 테이블에서 특정 데이터 로드 활동을 선택하면 Snowsight는 테이블 수준 Copy History를 열어요. Copy History로 테이블의 데이터 로드 모니터링을 참고해요. 지연 시간이 줄어들어 그 테이블에서 더 새로운 결과가 보일 수 있지만, 14일의 활동만 검토할 수 있어요.

Copy History로 테이블의 데이터 로드 모니터링

Snowsight의 테이블에 대한 Copy History 세부 정보 또는 COPY_HISTORY 테이블 함수를 사용해 지난 14일 동안 데이터베이스의 특정 테이블에서 발생한 데이터 로드 활동을 검토해요.

테이블 수준 데이터 로드 활동은 지연 시간이 매우 낮으며, COPY INTO 문으로 수행된 대량 데이터 로드, 파이프를 사용한 연속 데이터 로드, 웹 인터페이스를 통해 로드된 파일을 포함해요.

전제 조건

다음 중 하나를 가진 역할을 사용해야 해요.

Snowflake 계정에 대한 MONITOR 권한.
테이블을 포함하는 데이터베이스와 스키마에 대한 USAGE 권한, 그리고 테이블에 대한 모든 권한.

파이프에 MONITOR 권한이 없는 역할을 사용하면 파이프 세부 정보가 NULL로 마스킹돼요.

Snowsight에서 데이터베이스의 Copy History 세부 정보를 보거나 테이블 함수를 실행하려면 웨어하우스가 필요해요. 사용자 프로필에 기본 웨어하우스가 있으면 Snowsight가 그 웨어하우스를 사용해요. 언제든지 웨어하우스를 전환할 수 있어요.

테이블 수준 Copy History 검토

테이블에 대한 복사 기록을 검토하려면 활동을 검토하려는 테이블을 찾아 열어요.

Snowsight에 로그인해요.
탐색 메뉴에서 Catalog » Explorer를 선택해요.
활동을 검토하려는 테이블이 있는 데이터베이스를 찾아 선택해요.
활동을 검토하려는 테이블이 있는 스키마를 선택해요.
Tables를 선택하고 테이블을 선택해요.
테이블 세부 정보에서 Copy History 탭을 선택해요.

그래프의 막대를 선택해 Copies 테이블을 해당 일로 필터링할 수 있어요.

다음으로 필터링할 수 있어요.

최대 14일의 시간 범위
데이터 로드 활동의 상태 — All(기본값), In progress, Loaded, Failed, Partially loaded, Skipped.
데이터 로드에 사용된 파이프

Copies 테이블의 열 값을 검색해 특정 데이터 로드 활동을 찾을 수도 있어요.

Copy History로 데이터 로드 활동 모니터링