Data Prepper buffers
출처: 문서
본문
Data Prepper 버퍼
OpenSearch Data Prepper 파이프라인에서 buffer 컴포넌트는 source 컴포넌트와 sink 컴포넌트 사이에서 중간 계층 역할을 해요. 이벤트를 임시 저장하는 공간으로서, source를 다운스트림 프로세서와 싱크로부터 분리해 줘요. 버퍼는 메모리 기반일 수도 있고 디스크 기반일 수도 있어요.
파이프라인 설정에 명시적으로 지정하지 않으면, Data Prepper는 기본값인 bounded_blocking 버퍼를 사용해요. 이 버퍼는 저장할 수 있는 이벤트 개수로 크기가 제한되는 인메모리 큐예요. bounded_blocking 버퍼는 이벤트 양과 처리 속도가 가용 메모리 제약 안에서 감당할 수 있을 때 편리한 선택이에요.