{: .heading-icon} OpenSearch Data Prepper
{: .heading-icon} OpenSearch Data Prepper
출처: 문서
본문
{: .heading-icon} OpenSearch Data Prepper
OpenSearch Data Prepper는 서버 측 데이터 수집기로, 다운스트림 분석과 시각화를 위해 데이터를 필터링, 보강, 변환, 정규화, 집계할 수 있어요. Data Prepper는 OpenSearch에서 선호하는 데이터 수집 도구예요. OpenSearch의 대부분의 데이터 수집 사용 사례와 대규모 복잡한 데이터 세트를 처리하는 데 권장돼요.
Data Prepper를 사용하면 애플리케이션의 운영 관점을 개선하기 위해 사용자 정의 파이프라인을 구축할 수 있어요. Data Prepper의 두 가지 일반적인 사용 사례는 trace analytics와 log analytics예요. Trace analytics는 이벤트 흐름을 시각화하고 성능 문제를 식별하는 데 도움을 줘요. Log analytics는 검색 기능을 향상하고, 종합적인 분석을 수행하며, 애플리케이션의 성능과 동작에 대한 통찰력을 얻을 수 있는 도구를 제공해요.
주요 개념 및 기본 사항
Data Prepper는 사용자 정의 가능한 pipelines을 통해 데이터를 수집해요. 이 파이프라인은 필요에 맞게 사용자 정의할 수 있는 플러그형 구성 요소로 이루어져 있으며, 직접 구현한 구성 요소를 연결할 수도 있어요. Data Prepper 파이프라인은 다음 구성 요소로 이루어져요:
- 하나의 source
- 하나 이상의 sinks
- (선택 사항) 하나의 buffer
- (선택 사항) 하나 이상의 processors
각 파이프라인에는 source와 sink라는 두 가지 필수 구성 요소가 있어요. 파이프라인에서 buffer, processor 또는 둘 다 누락된 경우 Data Prepper는 기본 bounded_blocking 버퍼와 no-op 프로세서를 사용해요. 하나의 Data Prepper 인스턴스는 하나 이상의 파이프라인을 가질 수 있다는 점에 유의하세요.
기본 파이프라인 구성
파이프라인 구성 요소가 Data Prepper 구성 내에서 어떻게 작동하는지 이해하려면 다음 예제를 참조하세요. 각 파이프라인 구성은 yaml 파일 형식을 사용해요. 자세한 내용과 예제는 Pipelines을 참조하세요.
최소 구성
다음 최소 파이프라인 구성은 파일 소스에서 데이터를 읽고 동일한 경로의 다른 파일에 데이터를 써요. buffer와 processor 구성 요소에 기본 옵션을 사용해요.
sample-pipeline:
source:
file:
path: <path/to/input-file>
sink:
- file:
path: <path/to/output-file>
포괄적인 구성
다음 포괄적인 파이프라인 구성은 필수 및 선택 구성 요소를 모두 사용해요:
sample-pipeline:
workers: 4 # Number of workers
delay: 100 # in milliseconds, how often the workers should run
source:
file:
path: <path/to/input-file>
buffer:
bounded_blocking:
buffer_size: 1024 # max number of events the buffer will accept
batch_size: 256 # max number of events the buffer will drain for each read
processor:
- string_converter:
upper_case: true
sink:
- file:
path: <path/to/output-file>
주어진 파이프라인 구성에서 source 구성 요소는 input-file에서 문자열 이벤트를 읽고 최대 크기가 1024인 bounded buffer로 데이터를 푸시해요. workers 구성 요소는 버퍼에서 이벤트를 처리할 4개의 동시 스레드를 지정하며, 각 스레드는 100밀리초마다 버퍼에서 최대 256개의 이벤트를 읽어요. 각 workers 구성 요소는 string_converter 프로세서를 실행하는데, 이 프로세서는 문자열을 대문자로 변환하고 처리된 출력을 output-file에 써요.