Ingest pipelines
출처: 문서
본문
수집 파이프라인
_수집 파이프라인_은 문서가 인덱스에 수집될 때 문서에 적용되는 _프로세서_의 시퀀스예요. 파이프라인의 각 프로세서는 데이터 필터링, 변환, 보강과 같은 특정 작업을 수행해요.
프로세서는 요청 본문에 나타나는 순서대로 순차적으로 실행되는 사용자 지정 가능한 작업이에요. 각 프로세서는 이전 프로세서의 출력에 의존하므로 이 순서가 중요해요. 수정된 문서는 프로세서가 적용된 후 인덱스에 나타나요.
OpenSearch 수집 파이프라인과 Data Prepper 비교
OpenSearch 수집 파이프라인은 OpenSearch 클러스터 내에서 실행되는 반면, Data Prepper는 OpenSearch 클러스터에서 실행되는 외부 구성 요소예요.
OpenSearch 수집 파이프라인은 인덱스에 대해 작업을 수행하며, 간단한 데이터 세트 전처리, 머신러닝(ML) 프로세서, 벡터 임베딩 프로세서와 같은 사용 사례에 선호돼요. OpenSearch 수집 파이프라인은 간단한 데이터 전처리 및 소규모 데이터 세트에 권장돼요.
Data Prepper는 지원하는 모든 데이터 처리 작업, 특히 대규모 데이터 세트 및 복잡한 데이터 전처리 요구 사항을 다룰 때 권장돼요. Data Prepper는 대규모 데이터 세트 전송 및 가져오기 프로세스를 간소화하면서 복잡한 데이터 준비 및 변환 작업을 위한 강력한 기능을 제공해요. 자세한 내용은 Data Prepper 문서를 참조하세요.
OpenSearch 수집 파이프라인은 수집 API 작업을 통해서만 관리할 수 있어요. {: .note}
전제 조건
OpenSearch 수집 파이프라인을 사용하기 위한 전제 조건은 다음과 같아요.
- 프로덕션 환경에서 수집을 사용하는 경우 클러스터에 노드 역할 권한이
ingest로 설정된 노드가 하나 이상 있어야 해요. 클러스터 내 노드 역할 설정에 대한 자세한 내용은 클러스터 구성을 참조하세요. - OpenSearch Security 플러그인이 활성화된 경우 수집 파이프라인을 관리하려면
cluster_manage_pipelines권한이 있어야 해요.
파이프라인 정의
_파이프라인 정의_는 수집 파이프라인의 시퀀스를 설명하며 JSON 형식으로 작성할 수 있어요. 수집 파이프라인은 다음으로 구성돼요.
{
"description" : "..."
"processors" : [...]
}
요청 본문 필드
| 필드 | 필수 | 유형 | 설명 |
|---|---|---|---|
processors |
Required | Array of processor objects | 데이터가 OpenSearch로 수집될 때 특정 데이터 처리 작업을 수행하는 구성 요소예요. |
description |
Optional | String | 수집 파이프라인에 대한 설명이에요. |
파이프라인 정의는 클러스터 상태에 저장돼요. include_global_state를 true로 설정하여 스냅샷을 생성하면 파이프라인 정의가 포함돼요. 자세한 내용은 전역 클러스터 상태를 참조하세요.
다음 단계
다음 방법을 알아보세요.