Codec processor combinations
출처: 문서
본문
코덱 프로세서 조합
수집 시에, s3 소스가 수신한 데이터는 코덱으로 파싱될 수 있습니다. 코덱은 OpenSearch Data Prepper 파이프라인 프로세서를 통해 수집하기 전에 대규모 데이터 세트를 특정 형식으로 압축 및 해제합니다.
대부분의 코덱은 대부분의 프로세서와 함께 사용할 수 있지만, 다음 코덱 프로세서 조합은 특정 입력 유형과 함께 사용할 때 파이프라인을 더 효율적으로 만들 수 있습니다.
JSON 배열
JSON 배열은 서로 다른 유형의 요소를 정렬하는 데 사용됩니다. JSON에서는 배열이 필수이므로, 배열에 포함된 데이터는 표 형식이어야 합니다.
JSON 배열은 프로세서가 필요하지 않습니다.
NDJSON
JSON 배열과 달리, NDJSON은 각 데이터 행을 줄바꿈으로 구분할 수 있으므로, 배열 대신 줄 단위로 데이터가 처리됩니다.
NDJSON 입력 유형은 newline 코덱을 사용하여 파싱되며, 각 줄을 단일 로그 이벤트로 파싱합니다. 그런 다음 parse_json 프로세서가 각 줄을 단일 이벤트로 출력합니다.
CSV
CSV 데이터 유형은 데이터를 테이블로 입력합니다. 코덱이나 프로세서 없이 사용할 수 있지만, 둘 중 하나는 필요합니다. 예를 들어, csv 프로세서만 사용하거나 csv 코덱만 사용할 수 있습니다.
CSV 입력 유형은 다음 코덱 프로세서 조합과 함께 사용할 때 가장 효과적입니다.
csv 코덱
csv 코덱을 프로세서 없이 사용하면, CSV에서 헤더를 자동으로 감지하여 인덱스 매핑에 사용합니다.
newline 코덱
newline 코덱은 각 행을 단일 로그 이벤트로 파싱합니다. 코덱은 header_destination이 구성된 경우에만 헤더를 감지합니다. 그런 다음 csv 프로세서가 이벤트를 열로 출력합니다. newline 코덱의 header_destination에서 감지된 헤더는 csv 프로세서의 column_names_source_key.에서 사용할 수 있습니다.
Parquet
Apache Parquet은 Hadoop용으로 구축된 컬럼 기반 스토리지 형식입니다. 파이프라인을 구성할 때 Parquet 코덱을 사용하여 Amazon Simple Storage Service(Amazon S3) 객체에서 직접 Parquet 데이터를 읽을 수 있습니다. 그러면 Parquet에서 모든 데이터를 검색합니다. 또는 코덱 대신 S3 Select를 사용할 수 있습니다. 이 경우 S3 Select가 Parquet 파일을 직접 파싱합니다. 데이터의 하위 집합을 필터링하거나 로드하는 경우 이 방법이 더 효율적일 수 있습니다.
S3 Select를 사용하면 추가 S3 요금이 부과됩니다. {: .note}
Avro
Apache Avro는 Hadoop용으로 구축된 컬럼 기반 스토리지 형식입니다. 코덱을 사용하지 않을 때 가장 효율적입니다. S3 Select와 함께 사용하면 선택적 데이터 검색이 가능해져 Avro의 성능이 뛰어납니다.
event_json
event_json 출력 코덱은 이벤트 데이터와 메타데이터를 JSON 형식으로 변환하여 S3 싱크와 같은 싱크로 전송합니다. event_json 입력 코덱은 이벤트와 해당 메타데이터를 읽어 Data Prepper에서 이벤트를 생성합니다.