Openflow 커넥터 대시보드로 커넥터 모니터링

Openflow 커넥터 대시보드로 커넥터 모니터링

기능 — 일반 공급(Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP의 상용 리전에 있는 모든 계정에서 사용할 수 있어요.

Openflow BYOC 배포는 AWS 상용 리전의 모든 계정에서 사용할 수 있어요.

Openflow 커넥터 대시보드(Connectors Dashboard)는 설치된 모든 커넥터의 개괄적인 보기, 상태 스냅샷, 그리고 필터 조건에 맞는 모든 커넥터의 집계 평균 처리량과 총 수집 데이터량 같은 핵심 성과 지표를 제공해요.

사전 요구 사항

Openflow 커넥터 대시보드를 사용하려면 다음 사전 요구 사항을 충족해야 해요.

  • 이벤트 테이블에 대한 최소 읽기 전용 권한이 필요해요.
  • 다음 최소 Openflow 버전이 필요해요.
    • BYOC 배포: 1.36.0
    • Snowflake 배포: 1.26.0
    • 런타임: 2026.3.17.13
  • 다음 최소 커넥터 버전이 필요해요. 이 버전은 데이터베이스 커넥터에만 적용돼요. 다른 커넥터 유형에는 대시보드 지원을 위한 최소 버전 요구 사항이 없어요.
커넥터 최소 버전
MySQL 0.33.0
PostgreSQL 0.39.0
MongoDB 0.17.0
SQL Server 0.27.0
Oracle Embedded License 0.25.0
Oracle Independent License 0.24.0

자세한 내용은 Snowflake Openflow 버전 기록을 참조하세요.

Openflow 커넥터 대시보드 접근

  1. Snowsight에 로그인해요.
  2. 탐색 메뉴에서 수집(Ingestion) » Openflow를 선택하고 커넥터 관측성(Connector Observability) 탭으로 이동해요.

Openflow 커넥터 대시보드가 나타나요.

Openflow 커넥터 대시보드 개요

Openflow 커넥터 대시보드는 다음 정보를 표시해요.

상태(Status)

다음 상태를 가진 커넥터 수를 보여줘요.

  • 정상(Healthy): 선택한 기간 동안 오류가 발생하지 않았어요.
  • 비정상(Unhealthy): 선택한 기간 동안 이벤트 테이블에 오류를 기록했거나 하나 이상의 테이블이 실패(Failed) 상태입니다(데이터베이스 커넥터만 해당).
  • 업그레이드 필요(Upgrade required): Openflow 배포, 런타임 또는 커넥터가 상태·성능 지표를 표시하기 위한 최소 필수 버전을 실행하지 않고 있어요. 버전 사전 요구 사항을 검토하고 필요에 따라 업그레이드하세요.

평균 처리량(Average throughput)

소스 시스템에서 데이터를 읽어 모든 커넥터에 걸쳐 Snowflake로 보내는 속도를 측정해요.

  • 평균 처리량 » 수집됨(Ingested) 지표는 기본 필터 기준(시간 범위와 이벤트 테이블)에 맞는 모든 커넥터가 데이터를 Snowflake로 보내는 속도를 측정해요.
  • 평균 처리량 » 읽음(Read) 지표는 기본 필터 기준(시간 범위와 이벤트 테이블)에 맞는 모든 커넥터가 소스 시스템에서 데이터를 읽는 속도를 측정해요.

총 수집 데이터량(Total data ingested)

시간 범위와 이벤트 테이블에 대한 기본 필터 기준에 맞는 모든 커넥터가 선택한 기간 동안 Snowflake로 보낸 데이터량을 보여줘요. 이 지표를 사용해 특정 기간의 수집 이상 징후를 빠르게 식별해요.

대시보드 외 맞춤 원격 측정 쿼리는 원격 측정 데이터로 Openflow 모니터링을 참조하세요.

참고

  • 총 수집 데이터량과 평균 처리량 지표에는 원시 페이로드와 JSON 키, 중괄호, 구분자 같은 구조적 오버헤드가 모두 포함돼요. 이 지표는 전송된 총 볼륨을 추적하므로, 이 수치는 Snowpipe Streaming이 보고하는 압축되지 않은 데이터나 대상 테이블의 최종 저장 볼륨보다 높을 수 있어요.
  • 커넥터는 선택한 필터 기준에 맞고 선택한 시간 범위에 원격 측정 이벤트를 기록한 경우 목록에 나타나요.
  • 더 긴 시간 범위를 검토하면 이전에 삭제된 커넥터가 목록에 표시될 수 있어요. 예를 들어 6일 전에 커넥터를 배포하고 2일 전에 삭제했다면, 지난 7일(Last 7 days) 로 시간 범위를 설정했을 때 커넥터가 지난 7일 동안 원격 측정 이벤트를 기록했으므로 목록에 나타나요.

커넥터 필터링

Openflow 커넥터 대시보드는 다음 필터를 지원해요.

이벤트 테이블(Event table)

모니터링할 Openflow 커넥터 이벤트 테이블이에요. 이 필터는 적어도 하나의 Openflow 배포와 연결된 이벤트 테이블뿐 아니라 기본 이벤트 테이블과 계정 이벤트 테이블을 표시해요. 한 번에 하나의 이벤트 테이블만 선택할 수 있어요. 이벤트 테이블 뷰도 지원돼요.

이벤트 테이블은 Openflow를 설정할 때 설정돼요.

팁

Openflow 배포와 연결된 이벤트 테이블을 보려면 DESCRIBE OPENFLOW DATA PLANE INTEGRATION 명령을 사용하세요. 이벤트 테이블 구성에 대한 자세한 내용은 Openflow - Snowflake 배포 설정 또는 Openflow - BYOC 설정을 참조하세요.

시간 범위(Time frame)

특정 시간 범위에서 관련 커넥터를 식별하려면 이 필터를 사용하세요.

팁

커넥터 상태에 대한 최신 결과를 얻으려면 지난 1시간(Last Hour) 기간을 선택하세요.

상태(Status)

정상, 비정상 또는 모두(All) 커넥터로 필터링할 수 있어요.

소스(Source)

알려진 배포 커넥터를 기반으로 소스 시스템별로 필터링할 수 있어요. 이 필터는 커넥터가 사용하는 소스만 표시해요.

배포(Deployment)

Snowflake Openflow 배포별로 필터링할 수 있어요. 이 필터는 OPENFLOW_DATAPLANE_ 접두사와 배포 ID로 구성된 데이터 플레인 통합 이름을 표시해요. 배포 ID를 찾으려면 Openflow로 이동해 배포 탭을 선택한 다음 세부 정보 보기(View Details) 를 선택하세요.

런타임(Runtime)

Snowflake Openflow 런타임별로 필터링할 수 있어요. 이 필터는 런타임 키를 표시해요. 런타임 키를 UI의 Openflow 런타임 이름과 대응시키려면 Openflow로 이동해 런타임 탭을 선택하고 세부 정보 보기를 선택한 다음 해당 키를 찾으세요.

유형(Type)

커넥터 유형별로 필터링할 수 있어요: 데이터베이스(Databases), SaaS, 스트리밍(Streaming), 비구조화(Unstructured), 기타(Other).

참고

  • 기본 필터(이벤트 테이블과 시간 범위)는 보조 필터(상태, 소스, 배포, 런타임, 유형)보다 먼저 적용돼요.
  • 보조 필터(상태, 소스, 배포, 런타임, 유형)는 처리량 및 데이터 수집 시각화에는 적용되지 않아요.

Openflow 커넥터 모니터링

커넥터 세부 정보를 모니터링하려면 ▶ 세부 정보 보기(View Details) 를 선택하세요.

데이터베이스 커넥터

세부 정보 페이지는 Database 커넥터 구성의 일부인 각 테이블에 대해 다음 정보를 표시해요.

테이블 복제 상태(Table replication status)

테이블은 활성(Active) 또는 실패(Failed) 복제 상태일 수 있어요. 복제 상태는 테이블에 사용할 수 있는 가장 최근 원격 측정 이벤트를 기반으로 해요. 테이블의 복제를 실패시키는 이벤트는 대시보드에서 즉시 실패 복제 상태가 돼요. 실패 이유(Failure Reason) 메시지로 문제를 식별하세요.

오류 분포(Error distribution)

커넥터가 문제를 겪은 시점을 이해하는 데 도움이 되므로, 소스 시스템, 커넥터 구성 또는 Snowflake 대상지의 잠재적 문제를 식별할 수 있어요.

테이블 이름(Table name)

커넥터가 복제하도록 구성된 모든 테이블의 스키마와 테이블 이름을 보여줘요. 목록은 커넥터의 포함 테이블 이름(Included Table Names) 또는 포함 테이블 정규식(Included Table Regex) 구성 매개변수와 일치해요.

복제 상태(Replication status)

각 테이블이 활성 또는 실패 복제 상태인지 보여줘요.

복제 단계(Replication phase)

현재 테이블 복제 단계를 보여줘요. 커넥터에서 구성 후 테이블은 새로움(New) 복제 단계로 들어가고, 스냅샷 로드(Snapshot Load) 단계로 진행해 초기 로드를 수행한 후, 개별 변경 데이터 캡처 이벤트가 처리될 때 궁극적으로 증분 복제(Incremental Replication) 단계로 들어가요.

마지막 수집(Last Ingested)

선택한 시간 범위 동안 대상 테이블에 삽입된 마지막 레코드의 타임스탬프를 보여줘요. 이 지표를 볼 때는 레코드가 수집되고 이벤트가 기록되어 쿼리 가능해지기까지의 짧은 지연을 고려하세요.

커넥터는 각 병합 쿼리 후 이 타임스탬프를 업데이트하고, 새 데이터가 수집되지 않더라도 1분마다 마지막 알려진 값을 계속 내보내요. 3일 이상 병합 쿼리가 발생하지 않으면 커넥터는 지표 내보내기를 완전히 중단하고 대시보드는 타임스탬프 대신 3일 이상 전(More than 3 days ago) 을 표시해요. 마지막 수집 타임스탬프가 선택한 시간 범위를 벗어나면 지난 24시간(Last 24 hours) 이나 지난 7일(Last 7 days) 같은 더 긴 창으로 전환해 검색하세요.

복제 상태, 복제 단계, 시간 범위 필터를 사용해 테이블 목록을 좁힐 수 있어요.

모든 커넥터

커넥터 상태(Connector status)

커넥터 상태를 보여줘요: 선택한 시간 범위 동안 오류 메시지가 없으면 정상, 오류 메시지가 하나라도 있으면 비정상.

오류 분포(Error distribution)

선택한 기간 동안 이 커넥터가 겪은 오류 수를 보여줘요.

평균 처리량(Average throughput)

선택한 커넥터에 대해 소스 시스템에서 데이터를 읽고 Snowflake로 수집하는 속도를 측정해요.

  • 평균 처리량 » 수집됨 지표는 선택한 커넥터가 Snowflake로 데이터를 수집하는 속도를 측정해요.
  • 평균 처리량 » 읽음 지표는 선택한 커넥터가 소스 시스템에서 데이터를 읽는 속도를 측정해요.

총 수집 데이터량(Total data ingested)

선택한 커넥터가 선택한 기간 동안 Snowflake로 수집한 데이터량을 보여줘요. 이 지표를 사용해 특정 기간의 수집 이상 징후를 빠르게 식별해요.

사용자 지정 플로우

Openflow 캔버스에 구축된 사용자 지정 플로우도 대시보드에서 모니터링할 수 있어요. 단, 루트 캔버스의 프로세스 그룹으로 표현되고 Openflow Git 통합을 사용해 고객 Git 저장소에서 활발히 버전 관리되는 경우에만 가능해요. 이 기준을 충족하지 않는 사용자 지정 플로우는 대시보드에 나타나지 않아요.

자세한 내용은 사용자 지정 플로우의 버전 관리를 참조하세요.

Openflow 커넥터 디버깅

Openflow 커넥터 대시보드는 커넥터별 문제 디버깅의 시작점 역할을 하며 모든 커넥터 로그에 사용자가 쉽게 접근할 수 있게 해요.

AI로 커넥터 문제 해결

AI 지원 문제 해결을 사용해 프롬프트를 작성하거나 도구를 전환하지 않고도 비정상 커넥터에 대한 근본 원인 분석과 해결 단계를 대시보드에서 직접 얻을 수 있어요. AI 어시스턴트는 이벤트 테이블 로그, 커넥터 지표, 내장 런북을 결합해 문제를 식별하고 다음 단계를 추천해요. 또한 실패에 기여하는 소스 시스템 또는 Snowflake 대상지 구성 문제를 표면화할 수 있어요.

AI 지원 문제 해결은 두 가지 범위에서 시작할 수 있어요.

전체 커넥터 문제 해결

커넥터에 영향을 주는 모든 것을 조사하려면 이 옵션을 사용하세요. AI 어시스턴트는 선택한 시간 범위 동안 커넥터의 모든 오류와 지표를 살펴보고 가장 영향력 있는 문제와 해결 방법을 보고해요.

전체 커넥터를 문제 해결하려면 다음 중 하나를 수행하세요.

  • 커넥터 목록에서 비정상 커넥터의 행에 있는 상태 옆의 문제 해결 아이콘을 선택해요. 목록에서 이 컨트롤은 텍스트 라벨이 없는 아이콘뿐이에요.
  • 커넥터 세부 정보 페이지에서 페이지 헤더의 문제 해결(Troubleshoot) 버튼을 선택해요.

특정 문제 해결

단일 오류에 집중하려면 이 옵션을 사용하세요. AI 어시스턴트는 분석을 해당 오류로 한정해 대상화된 근본 원인 분석과 해결 단계를 반환해요.

특정 문제를 해결하려면 커넥터 세부 정보 페이지로 이동해 문제(Issues) 탭을 선택하고 조사하려는 오류를 찾은 다음 해당 오류의 문제 해결 버튼을 선택하세요.

참고

문제 해결 컨트롤은 커넥터 목록에서는 아이콘으로, 다른 곳에서는 문제 해결 버튼으로 표시되며, 비정상 상태의 커넥터나 문제에만 나타나요.

커넥터 오류 보기

선택한 시간 범위에서 커넥터가 겪은 모든 오류를 보려면 먼저 ▶ 세부 정보 보기(View Details) 를 선택해 커넥터 세부 정보 페이지로 이동한 다음 문제 탭을 선택하세요.

오류 헤드라인은 커넥터가 겪은 오류 유형을 알려주고, 내용은 오류의 전체 스택 추적을 제공해요.

커넥터 로그 보기

오류 메시지 주변의 맥락을 이해하기 위해 추가 커넥터 로그를 살펴볼 수도 있어요. 선택한 커넥터의 모든 로그를 보려면 ▶ 로그 보기(View logs) 를 선택하세요.

로그 탐색기를 연 후에는 필터를 변경해 다른 커넥터 또는 전체 런타임·배포에 대한 로그를 볼 수 있어요. 로그 탐색기는 데이터플레인 ID, 런타임 키, 프로세스 그룹 ID 같은 Openflow 특정 필터를 지원해요.

Openflow 캔버스 접근

커넥터 문제를 식별했으면 Openflow 캔버스로 이동해 수정해야 할 때가 많아요. 예를 들어 일부 구성 매개변수를 조정하거나 최신 커넥터 버전으로 업그레이드하는 경우예요.

Openflow 캔버스에서 선택한 커넥터로 이동하려면 ▶ 캔버스로 이동(Go to canvas) 을 선택하세요.

성능 최적화

더 큰 웨어하우스 선택

화면 오른쪽 위 구역의 웨어하우스 선택기를 사용해 쿼리를 실행할 다른 웨어하우스를 선택하세요.

참고

더 큰 웨어하우스는 쿼리를 더 빠르게 실행하지만 재개하는 데 더 오래 걸려 초기 페이지 로드 시간이 늘어날 수 있어요.

Openflow 이벤트 테이블에 클러스터링 설정

클러스터링 키를 사용하면 쿼리 중 마이크로 파티션 스캔을 피할 수 있어 이 열을 참조하는 쿼리의 성능이 크게 빨라져요. 자세한 내용은 데이터 클러스터링이란?을 참조하세요.

다음 쿼리를 실행하되, 자리 표시자를 사용자의 Openflow 이벤트 테이블로 바꾸세요.

ALTER TABLE <database>.<schema>.<event_table_name>
  CLUSTER BY (
    DATE_TRUNC('HOUR', timestamp),
    RECORD_TYPE,
    CAST(record_attributes:"metricNameHash" AS STRING)
  );

참고

  • 자동 클러스터링은 서버리스 컴퓨팅 리소스를 사용해 Snowflake 크레딧을 소비해요. 컴퓨트 시간당 소비되는 크레딧 수를 알아보려면 Snowflake 서비스 소비 테이블의 "서버리스 기능 크레딧 표"를 참조하세요.
  • 이벤트 테이블에 클러스터링을 활성화하면 완료하는 데 시간이 걸리는 백그라운드 프로세스가 시작돼요. 프로세스가 완료되면 대시보드 사용 시 성능이 개선된 것을 볼 수 있어야 해요.

쿼리 시간 범위 줄이기

필터에서 더 작은 시간 범위를 선택하면 스캔하는 데이터가 줄어 쿼리 성능이 빨라져요. 최상의 성능과 가장 최신의 커넥터 상태·성능 보기를 위해 지난 1시간(Last Hour) 필터를 사용하세요.

제한 사항

  • Openflow 커넥터 대시보드는 이벤트 테이블에 저장된 데이터를 사용해 Openflow 커넥터에 대한 인사이트를 제공해요. 선택한 기간과 이벤트 테이블에 따라 대시보드가 제공하는 정보가 커넥터의 현재 상태를 반영하지 않을 수 있어요.
  • 상세 상태 모니터링은 현재 데이터베이스 커넥터에만 제공돼요.
  • 데이터베이스 커넥터의 세부 정보 페이지는 최대 75,000개 테이블을 표시해요.
  • 배포 및 런타임 필터는 Openflow UI의 표시 이름과 다른 내부 이름을 사용해요. 이 이름을 대응시키는 방법은 커넥터 필터링을 참조하세요.
  • 데이터베이스 커넥터 테이블의 마지막 수집(Last Ingested) 열은 커넥터가 3일 이상 병합 쿼리를 수행하지 않으면 3일 이상 전을 표시하는데, 커넥터가 그 기간 이후 마지막 수집 지표 내보내기를 중단하기 때문이에요. 마지막 수집 타임스탬프가 선택한 시간 범위를 벗어나면 지난 24시간이나 지난 7일 같은 더 긴 창으로 전환해 검색하세요.

알려진 문제

  • 배포, 런타임, 커넥터를 사전 요구 사항에 언급된 버전으로 업그레이드한 후에는 오류 수 지표가 업그레이드 이후 발생한 오류에 대해서만 정확해요.

출처: Snowflake Openflow 커넥터 대시보드