데이터 품질 모니터링 대시보드 사용하기

데이터 품질 모니터링 대시보드 사용하기

미리 보기 기능(Preview) — 오픈. Enterprise Edition(또는 그 이상)의 모든 계정에서 사용할 수 있어요. 업그레이드 문의는 Snowflake 지원에 연락해 주세요.

Enterprise Edition 기능 — 데이터 품질 모니터링(Data Quality Monitoring)은 Enterprise Edition이 필요해요. 업그레이드 문의는 Snowflake 지원에 연락해 주세요.

Snowsight의 데이터 품질 모니터링 대시보드는 Snowflake 계정의 모든 스키마와 테이블에 걸친 데이터 품질 상태를 계정 차원에서 보여줘요. 결과를 한 번에 하나의 객체씩 검토하는 대신, 이 대시보드를 사용해 전반적인 상태를 평가하고, 열린 인시던트를 분류(triage)하며, 어떤 스키마가 활발히 모니터링되는지 이해할 수 있어요 — 이 모든 것을 단일 페이지에서 할 수 있어요.

계정 전체에 걸친 데이터 품질의 광범위한 보기가 필요할 때 — 예를 들어 아침 분류 중이거나 어떤 스키마에 열린 문제가 가장 많은지 식별할 때 — 이 대시보드를 사용해요. 특정 테이블 또는 뷰의 데이터 품질 결과를 조사하려면 Snowsight에서 데이터 품질 검사 모니터링을 참고해요.

출처: Documentation

본문

전제 조건

액세스 제어 요구 사항

대시보드에서 데이터 품질 결과를 보려면 활성 역할이 SNOWFLAKE 데이터베이스에 부여된 다음 애플리케이션 역할 중 하나를 가져야 해요.

  • SNOWFLAKE.DATA_QUALITY_MONITORING_VIEWER
  • SNOWFLAKE.DATA_QUALITY_MONITORING_ADMIN

대시보드로 이동

  1. Snowsight에 로그인해요.
  2. 탐색 메뉴에서 Governance & security » Data quality를 선택해요.

대시보드 개요

대시보드는 데이터 품질 상태의 계정 차원 요약을 표시해요. 다음 섹션이 포함돼요.

요약 카드

페이지 상단의 두 카드가 한눈에 보는 메트릭을 제공해요.

  • Healthy tables — 현재 열린 인시던트가 없는 모니터링되는 테이블의 비율. 막대는 정상 대 비정상 테이블의 수를 보여줘요.
  • Monitoring coverage — 계정에서 활성 데이터 메트릭 함수(DMF) 연결이 하나 이상 있는 테이블의 비율. 예를 들어 계정에 1,000개의 테이블이 있고 100개에 DMF가 하나 이상 연결되어 있다면 모니터링 범위는 10%예요. 막대는 모니터링되는 테이블 대 모니터링되지 않는 테이블의 수를 보여줘요.

데이터 품질 인시던트

이 섹션은 유형별로 그룹화된 열린 인시던트의 요약 개수와 가장 최근 인시던트의 미리 보기를 보여줘요. 인시던트는 세 가지 유형으로 그룹화돼요.

  • Volume anomaly — 행 수가 자동 모니터링 엔진이 감지한 역사적 기준에서 크게 벗어난 테이블. 자세한 내용은 AUTOMATIC_DATA_QUALITY_MONITORING_RESULTS를 참고해요.
  • Freshness anomaly — 자동 모니터링 엔진이 감지한 대로 예상 창 안에서 업데이트되지 않은 테이블. 자세한 내용은 AUTOMATIC_DATA_QUALITY_MONITORING_RESULTS를 참고해요.
  • Failed expectations — 반환된 값이 정의된 기대값을 위반한 DMF 연결.

특정 인시던트 행에서 Investigate를 선택해 해당 인시던트의 컨텍스트가 미리 로드된 Cortex Code를 열어 근본 원인 분석을 수행할 수 있어요. View all을 선택하거나 테이블의 어떤 행이든 선택하면 전체 데이터 품질 인시던트 페이지가 열려요.

모니터링되는 스키마

이 섹션은 활성 DMF 연결이 있는 테이블을 하나 이상 포함하는 계정의 모든 스키마를 각 스키마의 상태 요약과 함께 나열해요. View all을 선택해 전체 모니터링되는 스키마 목록을 보거나, 행을 선택해 스키마 수준 세부 정보를 확인해요.

시간 범위로 필터링

오른쪽 상단의 Time range 필터를 사용해 인시던트 개수와 요약 메트릭을 특정 시간 창으로 범위를 한정해요. 기본값은 지난 7일이에요.

활성 컴퓨팅 웨어하우스가 시간 범위 필터 옆에 표시돼요. Snowflake는 이 웨어하우스를 사용해 대시보드를 구동하는 쿼리를 실행해요. 웨어하우스 이름을 선택해 웨어하우스를 변경할 수 있어요.

데이터 품질 인시던트 페이지

데이터 품질 인시던트 페이지는 계정의 모든 열린 인시던트의 완전하고 필터 가능한 목록을 제공해요. 대시보드의 인시던트 섹션에서 View all을 선택하거나 인시던트 행을 선택해 이동해요. 대시보드에서 행의 Investigate을 선택하면 해당 인시던트에 대해 Cortex Code가 직접 열리며 이 페이지로는 이동하지 않아요.

인시던트 테이블

인시던트 테이블의 각 행은 다음을 보여줘요.

  • Metric name — 인시던트를 생성한 데이터 메트릭 함수의 이름.
  • Database — 영향을 받은 객체를 포함하는 데이터베이스.
  • Schema — 영향을 받은 객체를 포함하는 스키마.
  • Object — 품질 문제가 있는 테이블 또는 뷰.
  • Column — DMF에 전달된 컬럼 인자(해당하는 경우). 테이블 수준 메트릭의 경우 —로 표시.

행 체크박스를 사용해 일괄 조사를 위해 여러 인시던트를 선택해요. 자세한 내용은 Cortex Code로 여러 인시던트 조사를 참고해요.

Cortex Code로 여러 인시던트 조사

한 번에 여러 관련 인시던트를 조사하려면 행 체크박스를 사용해 두 개 이상의 행을 선택한 다음 Investigate를 선택해요. Cortex Code는 선택된 모든 인시던트의 컨텍스트가 포함된 단일 스레드를 열어 여러 객체나 스키마에 걸친 연관된 근본 원인 분석을 가능하게 해요.

또한 단일 행에서 Investigate을 선택해 해당 인시던트의 컨텍스트가 미리 로드된 Cortex Code를 열 수도 있어요.

모니터링되는 스키마

모니터링되는 스키마 섹션은 활성 DMF 연결이 있는 테이블을 하나 이상 포함하는 계정의 모든 스키마를 나열해요. 각 행은 다음 컬럼을 보여줘요.

  • Database — 스키마를 포함하는 데이터베이스.
  • Schema — 스키마 이름.
  • Volume anomaly — 스키마의 열린 볼륨 이상 인시던트 수.
  • Freshness anomaly — 스키마의 열린 신선도 이상 인시던트 수.
  • Failing expectations — 스키마의 열린 DMF 기대값 위반 수.
  • Monitoring coverage — 스키마에서 DMF 연결이 하나 이상 있는 테이블의 비율을 보여주는 막대.
  • % unhealthy tables — 스키마에서 열린 인시던트가 하나 이상 있는 모니터링되는 테이블의 비율을 보여주는 막대.

참고 — 모니터링되는 스키마 목록은 테이블 수준 또는 스키마 수준에서 DMF 연결이 존재하는 스키마를 반영해요. 스키마 수준 연결에 대한 자세한 내용은 스키마의 데이터 품질 모니터링을 참고해요.

모니터링 범위 관리

Manage Monitors를 선택해 자동 모니터링에 포함되는 스키마를 보고 편집해요. 대화 상자는 인기 있는 테이블을 포함하는 스키마를 보여줘요 — Snowflake는 쿼리 빈도와 데이터 업데이트 패턴 같은 활동 신호를 기반으로 이러한 테이블을 식별해요. Snowflake는 매일 이러한 인기 테이블에서 자체 행 수 및 신선도 이상 감지를 실행해요. 이것은 자신의 테이블에 설정한 사용자 구성 DMF 이상 감지와는 별개의 엔진이에요. 기본 결과는 AUTOMATIC_DATA_QUALITY_MONITORING_RESULTS 뷰에서 사용할 수 있어요.

참고 — 이 미리 보기 동안 자동 모니터링은 Snowflake가 계산하며 계정에 컴퓨팅 요금이 부과되지 않아요. 청구는 사용자가 구성한 DMF가 예약된 객체에서 명시적으로 실행될 때만 적용돼요. 자세한 내용은 비용 고려 사항을 참고해요.

Snowflake가 인기도를 기반으로 모니터링할 테이블을 결정하므로 모니터링되는 테이블 집합은 시간이 지나며 변경될 수 있어요. 자동 모니터링은 발견 도구예요 — 데이터 자산 전반에서 품질 문제가 어디에 존재하는지 찾는 데 도움을 줘요. 뷰, 구체화된 뷰 또는 외부 테이블에는 적용되지 않아요. 자신에게 중요한 특정 객체의 지속적이고 신뢰할 수 있는 모니터링을 보장하려면 해당 객체에 데이터 품질 검사 또는 이상 감지가 있는 스키마 수준 DMF 연결을 설정해요.

모니터링되는 스키마 편집

Manage Monitors 대화 상자에서 다음을 할 수 있어요.

  • 스키마 행 체크 해제 — 해당 스키마를 모니터링에서 완전히 제거해 그 스키마에 대한 Freshness와 Volume 이상 감지를 모두 삭제.
  • 스키마 행에서 Freshness 또는 Volume 토글 — 다른 검사를 활성으로 유지하면서 특정 검사를 활성화하거나 비활성화.
  • + Add another schema 선택 — 모니터링 범위에 새 스키마 추가.

변경 후 Preview changes를 선택해 저장 전에 편집 내용을 검토해요.

권장 사항으로 모니터링 확장

Snowflake가 인기 있는 테이블을 포함하지만 아직 자동 모니터링이 활성화되지 않은 스키마를 찾으면 대시보드 상단에 알림 배너가 나타나요.

New schemas recommended for monitoring — 아직 추적되지 않는 인기 있는 테이블이 있는 N개의 새 스키마를 찾았습니다. 검토하고 모니터링 범위에 추가하세요.

Review를 선택해 Extend monitoring 대화 상자를 열어요. 이 대화 상자는 Snowflake가 모니터링 범위에 추가할 것을 권장하는 스키마를 권장 검사(Freshness 및/또는 Volume)와 함께 나열해요. 스키마는 테이블의 인기도를 기반으로 권장되며, 권장에 이미 이상이 감지되어 있어야 하는 것은 아니에요. 각 스키마는 다음 상태 중 하나를 보여줘요.

  • Recommended — 현재 역할로 스키마를 모니터링 범위에 추가할 수 있음.
  • No access — 스키마가 현재 역할이 수정할 수 없는 다른 역할이 소유함.

추가할 스키마를 선택한 다음 Enable monitoring을 선택해요. 변경 사항은 즉시 적용돼요.

권장 사항은 Snowflake가 AUTOMATIC_DATA_QUALITY_MONITORING_RESULTS 뷰에서 추적하는 인기도 신호를 기반으로 해요.

제한 사항 및 고려 사항

  • 대시보드는 단일 계정 안의 결과를 반영해요. 계정 간 또는 조직 간 보기는 지원되지 않아요.
  • KPI 카드와 인시던트 개수는 데이터 품질 이벤트 테이블에 저장된 결과를 반영해요. 새로 만든 테이블과 스키마는 나타나는 데 짧은 시간이 걸릴 수 있어요.
  • 자동 모니터링(신선도 및 볼륨 이상 감지)은 매일 실행돼요. 대시보드는 모니터링되는 각 스키마에 대한 가장 최근 실행을 반영해요.
  • SNOWFLAKE가 소유한 스키마는 모니터링 범위에 추가할 수 없어요.

더 알아보기