Kafka 설정

Kafka 설정 (Configuration)

Kafka를 실제로 운영할 때 가장 많이 들춰보게 되는 곳이 바로 설정 문서예요. 브로커(Broker)부터 토픽, 프로듀서, 컨슈머, Connect, Streams까지 각 구성 요소마다 어떤 설정 항목이 있고 어떤 값을 넣을 수 있는지 정리되어 있어요.

출처: 문서

본문

설정 문서는 컴포넌트별로 나뉘어 있어요.

• Broker Configs — Kafka 브로커 자체의 설정이에요. 클러스터 동작, 리플리케이션, 로그 저장 등이 여기 속해요.
• Topic Configs — 토픽별 설정이에요. 파티션 수, 리텐션(보존 기간), 압축(compaction) 등이 해당돼요.
• Group Configs — 컨슈머 그룹과 관련된 설정이에요.
• Producer Configs — 프로듀서(데이터를 보내는 쪽) 설정이에요.
• Consumer and Share Consumer Configs — 컨슈머와 공유 컨슈머(Share Consumer) 설정이에요.
• Kafka Connect Configs — Connect 워커 설정이에요.
• Kafka Streams Configs — Kafka Streams 애플리케이션 설정이에요.
• Admin Configs — Admin 클라이언트 설정이에요.
• MirrorMaker Configs — 데이터를 미러링하는 MirrorMaker 설정이에요.
• System Properties — 시스템 속성(JVM 등) 관련 설정이에요.
• Tiered Storage Configs — 티어드 스토리지(계층형 저장소) 설정이에요.
• Configuration Providers — 외부 설정값을 주입할 때 쓰는 설정 프로바이더 관련 내용이에요.

더 알아보기 (Learn more)

• 브로커 설정이 궁금하다면 Broker Configs 페이지를 보면 돼요.
• 실제로 값을 넣어 쓰기 전에 각 항목의 기본값과 단위를 꼭 확인하는 걸 추천해요.