Azure Data Explorer sink 커넥터

Azure Data Explorer(ADX) sink 커넥터는 Pulsar 토픽에서 메시지를 가져와 ADX 클러스터로 보내요. Pulsar 이벤트를 Azure의 시계열 분석 서비스에 적재하고 싶을 때 사용해요.

모든 Pulsar 커넥터는 다운로드 페이지에서 내려받을 수 있어요. 사용 전에 아래 설정 속성과 예시 구성을 확인해 두세요.

출처: 문서

본문

알아두기: 모든 Pulsar 커넥터는 다운로드 페이지에서 다운로드할 수 있어요.

Azure Data Explorer(ADX) sink 커넥터는 Pulsar 토픽에서 메시지를 가져와 ADX 클러스터로 보내요.

구성 (Configuration)

ADX sink 커넥터의 구성은 다음 속성을 가져요.

속성 (Property)

이름	타입	필수	기본값	설명
clusterUrl	String	true	(빈 문자열)	ADX 클러스터 URL.
database	String	true	(빈 문자열)	데이터를 수집(ingest)할 데이터베이스 이름.
table	String	true	(빈 문자열)	pulsar 데이터를 수집할 테이블 이름.
appId	String	false	(빈 문자열)	인증용 AAD 앱 Id.
appKey	String	false	(빈 문자열)	인증용 AAD 앱 시크릿.
tenantId	String	false	(빈 문자열)	인증용 테넌트 Id.
managedIdentityId	String	false	(빈 문자열)	인증용 Managed Identity 자격 증명. 사용자 할당 MI의 경우 clientId로, 시스템 할당 관리 ID의 경우 `'system'`으로 설정해요.
mappingRefName	String	false	(빈 문자열)	수집용 매핑 참조.
mappingRefType	String	false	(빈 문자열)	제공된 매핑 참조의 타입 (예: CSV, JSON 등).
flushImmediately	Boolean	false	false	집계 없이 즉시 플러시(flush)할지 여부. 프로덕션 워크로드에서는 `flushImmediately`를 활성화하지 않는 것이 좋아요.
batchSize	Int	false	100	배칭 시, ADX로 데이터를 보내기 전에 모아둘 레코드 수를 정의해요.
batchTimeMs	Long	false	10000	배칭 시, ADX로 보내기 전에 레코드를 보관할 시간(ms).
maxRetryAttempts	Int	false	1	일시적인 수집 오류 시 최대 재시도 횟수.
retryBackOffTime	Long	false	10	일시적 오류에 대해 재시도 전 백오프할 시간(밀리초).

예시 (Example)

ADX sink 커넥터를 사용하기 전에 다음 방법 중 하나로 구성 파일을 만들어야 해요.

JSON:

{
   "configs": {
       "clusterUrl":"https://somecluster.eastus.kusto.windows.net",
       "database":"somedb",
       "table": "tableName",
       "appId": "xxxx-xxxx-xxxx-xxxx",
       "appKey": "xxxx-xxxx-xxxx-xxxx",
       "tenantId": "xxxx-xxxx-xxxx-xxxx",
       "mappingRefName": "mapping ref name",
       "mappingRefType":"CSV",
       "flushImmediately":true,
       "batchSize":100,
       "batchTimeMs":10000,
   }
}

YAML:

configs:
    clusterUrl: https://somecluster.eastus.kusto.windows.net,
    database: somedb,
    table: tableName,
    appId: xxxx-xxxx-xxxx-xxxx,
    appKey: xxxx-xxxx-xxxx-xxxx,
    tenantId: xxxx-xxxx-xxxx-xxxx,
    mappingRefName: mapping ref name,
    mappingRefType: CSV,
    flushImmediately: true,
    batchSize: 100,
    batchTimeMs: 10000,

더 알아보기 (Learn more)

sink 커넥터 실행 방법은 소스·sink 문서를 참고해요.
다른 커넥터 목록은 Pulsar IO 커넥터 문서에서 확인할 수 있어요.
Azure Data Explorer 설정이 궁금하다면 Azure 공식 문서를 참고해요.