Kafka Connect 개요

Kafka Connect 개요 (Overview)

Kafka Connect는 Apache Kafka와 다른 시스템 사이에서 데이터를 확장 가능하고 안정적으로 스트리밍하는 도구예요. 대량의 데이터 컬렉션을 Kafka 안팎으로 옮기는 커넥터를 빠르게 정의하는 일을 간단하게 만들어 줍니다. 얘기하자면, 데이터 흐름을 잇는 '커넥터' 프레임워크라고 보면 돼요.

출처: 문서

본문

Kafka Connect는 Apache Kafka와 다른 시스템 사이에서 데이터를 확장 가능하고 안정적으로 스트리밍하는 도구입니다. 대량의 데이터 컬렉션을 Kafka 안팎으로 옮기는 커넥터를 빠르게 정의하는 것을 간단하게 만들어 줍니다. Kafka Connect는 전체 데이터베이스를 수집하거나 모든 애플리케이션 서버에서 지표(metrics)를 수집해 Kafka 토픽으로 보낼 수 있으며, 그 데이터를 낮은 지연시간으로 스트림 처리에 사용할 수 있게 합니다. 내보내기(export) 작업은 Kafka 토픽의 데이터를 보조 저장소·조회 시스템이나, 오프라인 분석용 배치 시스템으로 전달할 수 있습니다.

Kafka Connect의 주요 기능은 다음과 같습니다.

  • Kafka 커넥터를 위한 공통 프레임워크 - Kafka Connect는 다른 데이터 시스템과 Kafka의 통합을 표준화하여 커넥터 개발·배포·관리를 단순화합니다.
  • 분산 및 단독(standalone) 모드 - 전체 조직을 지원하는 대규모 중앙 관리 서비스로 확장하거나, 개발·테스트·소규모 프로덕션 배포로 축소할 수 있습니다.
  • REST 인터페이스 - 사용하기 쉬운 REST API를 통해 Kafka Connect 클러스터에 커넥터를 제출하고 관리할 수 있습니다.
  • 자동 오프셋 관리 - 커넥터가 조금만 정보를 주면 Kafka Connect가 오프셋 커밋 과정을 자동으로 관리하므로, 커넥터 개발자는 커넥터 개발에서 오류가 발생하기 쉬운 이 부분을 신경 쓸 필요가 없습니다.
  • 기본적으로 분산·확장 가능 - Kafka Connect는 기존의 그룹 관리 프로토콜 위에 구축됩니다. 워커(worker)를 더 추가하면 Kafka Connect 클러스터를 확장할 수 있습니다.
  • 스트리밍/배치 통합 - Kafka의 기존 기능을 활용해, Kafka Connect는 스트리밍과 배치 데이터 시스템을 잇는 이상적인 솔루션입니다.

더 알아보기 (Learn more)