Snowsight에서 Snowpipe 관리

Snowsight에서 Snowpipe 관리

Snowsight를 사용해 Snowpipe 세부 정보를 보고 일부 파이프 관리 작업을 수행할 수 있어요.

  • 스테이지, 파이프, 테이블을 그래프로 시각화하고 이 객체들 사이의 관계와 데이터 계보(lineage)를 이해해요.
  • 파이프에 대해 무엇이 로드되었는지(또는 부분적으로 로드되었는지)에 대한 전체 정보를 확인해요.
  • 파이프 중에 실패하거나, 중단되었거나, 파일의 새 데이터 로드를 멈춘 것이 있는지 확인해요.
  • 파이프 일시 중지 또는 재개, 파이프 삭제, 파이프 소유권 이전, 파이프에 주석 추가 같은 일부 파이프 관리 작업을 수행해요.
  • 자세한 상태와 복사 기록을 확인해요.

출처: Documentation

본문

요구 사항

파이프에 대한 세부 정보를 보려면 파이프에 MONITOR 또는 OWNERSHIP 권한이 있고, 파이프를 포함하는 데이터베이스와 스키마 모두에 USAGE 권한이 있는 역할을 사용해야 해요. 자세한 내용은 파이프 권한을 참고해요.

파이프 세부 정보

Snowsight에서 파이프 세부 정보를 보려면 다음 단계를 수행해요.

  1. Snowsight에 로그인해요.
  2. 탐색 메뉴에서 Catalog » Explorer를 선택해요.
  3. 파이프를 포함하는 데이터베이스와 스키마를 찾아요.
  4. 파이프를 선택해 세부 정보를 열어요.

Pipe Details 페이지에는 다음에 대한 정보가 포함돼요.

  • 상태. 예: Running, Paused.
  • 파이프에서 대기 중인 파일 수(있는 경우).
  • 마지막 수집이 수행된 날짜(해당하는 경우).
  • 웨어하우스. (Snowpipe는 항상 Serverless 컴퓨팅 리소스로 실행돼요.)
  • 새 파일이 있을 때 파이프에 알려주는 수신 알림 채널.
  • 그래프에서 스테이지, 파이프, 테이블 간의 관계.
  • 수행된 최신 복사.
  • 파이프를 만드는 데 사용된 SQL 명령(Pipe Definition).
  • 파이프에 부여된 권한.

파이프 관리

Pipe Details 페이지에서 다음 작업을 수행할 수 있어요.

  • 파이프에 주석을 추가하려면 ⋯(ellipsis) » Edit을 선택해요. 파이프의 다른 속성을 편집하려면 CREATE PIPE SQL 명령을 사용해 파이프를 교체해야 해요.
  • 파이프를 일시 중지하거나 재개하려면 ⋯ » Pause 또는 Resume을 선택해요.
  • 파이프를 삭제하려면 ⋯ » Drop을 선택해요.
  • 파이프 소유권을 다른 역할로 이전하려면 ⋯ » Transfer Ownership을 선택해요.

파이프 관리에 대한 자세한 내용은 Snowpipe 관리를 참고해요.

복사 기록

파이프의 복사 기록을 보려면 Pipe Details 페이지로 이동해 Copy History 탭을 선택해요.

Copy History 탭은 STATUS, DURATION, ROWS, SIZE, FILE NAME을 포함한 세부 정보를 보여줘요.

히스토그램은 최대 14일의 로드 기록을 표시하며 다음 차원 중에서 선택할 수 있어요.

  • Copies(기본값): 로드된 파일 수. 상태별로 그룹화된 파일 수를 일별 또는 시간별로 표시해 실패한 로드를 식별하고 시간에 따른 수집 추세를 모니터링하는 데 도움을 줘요.
  • Rows: 삽입된 행 수. 일별 또는 시간별로 행 수를 집계해 데이터 처리량 추세에 대한 통찰을 제공해요.
  • Duration: 파이프 수집 기간. 파이프 수집에 걸린 시간(일별 또는 시간별로 집계)을 보여주며, 이는 파이프의 서버리스 컴퓨팅 시간을 나타내고 컴퓨팅 비용의 대용물로 작용해요.

파이프 메트릭 섹션은 다음 핵심 메트릭으로 파이프의 상태와 처리량을 분석하는 데 도움을 줘요.

  • Success rate: 선택한 시간 범위 내에서 성공적으로 로드된 파일의 비율.
  • Max ingestion gap: 수집 주기 사이의 큰 간격을 강조해 연속 수집의 중단을 더 쉽게 식별하게 해요.
  • Time since last ingestion: 가장 최근 파일이 로드된 이후 경과한 시간을 나타내요.
  • Min row count: 예상보다 적은 행이 있는 파일 또는 빈 파일을 식별해요.
  • Pending files: 테이블에 아직 로드되지 않은 감지된 파일 수를 보여줘요.

페이지 오른쪽 위의 ⋯(ellipsis) 드롭다운 메뉴에서 Manual Refresh 옵션을 선택해 아직 로드되지 않은 파일을 수동으로 로드할 수도 있어요.

개별 파일을 검색하려면 페이지 오른쪽 위의 검색 창을 사용해요. 파일 이름, 상태 또는 날짜로 검색할 수 있어요.

더 알아보기