Lambda용 Amazon MSK 이벤트 소스 구성

Lambda 함수의 이벤트 소스로 Amazon MSK 클러스터를 사용하려면 두 리소스를 연결하는 이벤트 소스 매핑을 만들어요. 이 페이지는 Amazon MSK용 이벤트 소스 매핑을 만드는 방법을 설명해요.

이 페이지는 MSK 클러스터와 그것이 있는 Amazon Virtual Private Cloud(VPC)를 이미 올바르게 구성했다고 가정해요. 클러스터나 VPC를 설정해야 한다면 Lambda용 Amazon MSK 클러스터 및 Amazon VPC 네트워크 구성을 참고하세요. 오류 처리용 재시도 동작을 구성하려면 Kafka 이벤트 소스용 오류 처리 컨트롤 구성을 참고하세요.

출처: AWS Lambda 개발자 안내서

본문

Topics(주제)

Amazon MSK 클러스터를 이벤트 소스로 사용

Apache Kafka 또는 Amazon MSK 클러스터를 Lambda 함수의 트리거로 추가하면 클러스터가 이벤트 소스로 사용돼요.

Lambda는 지정한 시작 위치를 기준으로 CreateEventSourceMapping 요청에서 Topics로 지정한 Kafka 토픽의 이벤트 데이터를 읽어요. 성공적으로 처리한 후에는 Kafka 토픽이 Kafka 클러스터에 커밋되죠.

Lambda는 각 Kafka 토픽 파티션의 메시지를 순차적으로 읽어요. 단일 Lambda 페이로드에는 여러 파티션의 메시지가 포함될 수 있어요. 더 많은 레코드가 있으면 Lambda는 CreateEventSourceMapping 요청에서 지정한 BatchSize 값에 따라 배치로 레코드를 계속 처리하다가, 함수가 토픽을 따라잡을 때까지 처리해요.

Lambda는 각 배치를 처리한 후 그 배치의 메시지 오프셋을 커밋해요. 함수가 배치의 어떤 메시지에 대해서도 오류를 반환하면 Lambda는 처리에 성공하거나 메시지가 만료될 때까지 메시지 전체 배치를 재시도해요. 모든 재시도에 실패한 레코드는 나중에 처리할 수 있도록 실패 시 대상(on-failure destination)으로 보낼 수 있어요.

참고
Lambda 함수는 일반적으로 최대 타임아웃 한도가 15분이지만, Amazon MSK, 자체 관리형 Apache Kafka, Amazon DocumentDB, Amazon MQ for ActiveMQ·RabbitMQ용 이벤트 소스 매핑은 최대 타임아웃 한도가 14분인 함수만 지원해요.

더 알아보기 (Learn more)

MSK 클러스터 이벤트 소스 매핑 생성과 인증 방법, 교차 계정, 구성 매개변수를 이어서 살펴보세요.