Apache Kafka와 Lambda 사용하기
Apache Kafka와 Lambda 사용하기
Lambda는 Apache Kafka를 이벤트 소스로 지원해요. Apache Kafka는 높은 처리량의 실시간 데이터 파이프라인과 스트리밍 애플리케이션을 처리하도록 설계된 오픈소스 이벤트 스트리밍 플랫폼입니다. Apache Kafka와 Lambda를 함께 사용하는 방법은 크게 두 가지가 있습니다:
본문
- Lambda와 Amazon MSK 사용하기 – Amazon Managed Streaming for Apache Kafka(Amazon MSK)는 AWS의 완전 관리형 서비스입니다. Amazon MSK는 프로비저닝, 패치, 스케일링을 포함해 Kafka 인프라 관리를 자동화하는 데 도움을 줍니다.
- Lambda와 자체 관리형 Apache Kafka 사용하기 – AWS 용어에서 자체 관리형 클러스터에는 AWS 외부에서 호스팅되는 Kafka 클러스터가 포함됩니다. 예를 들어 Confluent Cloud나 Redpanda 같은 비-AWS 클라우드 제공업체가 호스팅하는 Kafka 클러스터와도 Lambda를 함께 사용할 수 있어요.
Amazon MSK와 자체 관리형 Apache Kafka 중 무엇을 선택할지는 운영 요구 사항과 제어 요구 사항을 고려해 정하세요. 최소한의 운영 오버헤드로 확장 가능하고 프로덕션 준비가 된 Kafka 구성을 AWS가 빠르게 관리해 주길 원한다면 Amazon MSK가 더 좋은 선택입니다. MSK는 보안, 모니터링, 고가용성을 단순화해서 인프라 관리보다는 애플리케이션 개발에 집중할 수 있게 해줍니다. 반면 자체 관리형 Apache Kafka는 온프레미스 클러스터를 포함해 비-AWS 호스팅 환경에서 실행되는 사용 사례에 더 적합합니다.
Topics
- Lambda와 Amazon MSK 사용하기
- Lambda와 자체 관리형 Apache Kafka 사용하기
- Lambda의 Apache Kafka 이벤트 폴러 스케일링 모드
- Lambda의 Apache Kafka 폴링 및 스트림 시작 위치
- Lambda에서 커스터마이즈 가능한 컨슈머 그룹 ID
- Amazon MSK 및 자체 관리형 Apache Kafka 이벤트 소스의 이벤트 필터링
- Lambda에서 Kafka 이벤트 소스에 스키마 레지스트리 사용하기
- Kafka 이벤트 소스의 저지연 처리
- Kafka 이벤트 소스의 오류 처리 제어 구성하기
- Amazon MSK 및 자체 관리형 Apache Kafka 이벤트 소스의 버려진 배치 캡처
- on-failure 대상으로 Kafka 토픽 사용하기
- Kafka 이벤트 소스 매핑 로깅
- Kafka 이벤트 소스 매핑 오류 문제 해결