Apache Flink
Apache Flink
Apache Flink는 무제한(unbounded) 데이터 스트림을 처리하기 위해 만들어진 분산 스트림 처리 엔진이에요. 실시간 스트림 처리와 배치 처리를 하나의 통일된 런타임에서 다루며, 이벤트 시간(Event Time) 기반의 정확한 시간 처리와 강력한 상태(state) 관리, 정확히 한 번(exactly-once) 장애 복구를 핵심 능력으로 내세워요.
핵심 개념
- 스트림 처리(Stream Processing): 무한히 흐르는 이벤트를 실시간으로 처리하는 파이프라인
- 시간(Timely): 이벤트 시간·처리 시간, 워터마크, 늦은 데이터
- 상태(State): 키 기반 상태, 상태 백엔드, 체크포인트를 통한 장애 복구
- 윈도우(Windows): 텀블링·슬라이딩·세션 윈도우로 스트림을 유한한 조각으로 나눠 집계
이 카테고리의 문서
- 개념: 스트림 처리 개념, 시간 기반 스트림 처리, 상태 기반 스트림 처리
- 실무: 윈도우 연산, 체크포인트, 상태 다루기