프로세서 (Processors)
프로세서는 파이프라인 안에서 실행되며 데이터 구조화 작업을 수행하고, 로그를 보강할 새 속성을 만들어내요. Datadog Log Management에서 파서·리맵퍼 같은 다양한 프로세서를 조합해 로그를 파싱하고, 구조화하고, 보강할 수 있어요.
출처: 문서
본문
개요
참고: 이 문서에서 설명하는 프로세서는 클라우드 기반 로깅 환경에 특화된 것이에요. 온프레미스 로그를 파싱·구조화·보강하려면 Observability Pipelines을 참고하세요.
프로세서는 Pipeline 안에서 실행되어 데이터 구조화 작업을 완료하고, 로그를 보강할 속성을 생성해요.
로그 구성 설정에서 Grok 파서나 date remapper 같은 프로세서를 구성해 속성을 추출·생성·리매핑하고, 로그를 보강하고 패싯 검색을 강화할 수 있어요.
참고:
- 구조화된 로그는 유효한 형식으로 전송되어야 해요. 파싱에 문제가 생기는 잘못된 문자(구조상 유효하지 않은 문자)가 포함되어 있다면, Agent 레벨에서 mask_sequences 기능을 사용해 제거해야 해요.
- 모범 사례로 파이프라인당 최대 20개의 프로세서를 사용하는 것을 권장해요.
프로세서 유형
프로세서 유형을 선택해 자세히 알아보세요:
- Arithmetic Processor: 기존 숫자 속성에 수식을 적용한 결과를 담은 새 속성을 로그에 추가해요.
- Array Map Processor: 소스 배열의 각 요소에 일련의 하위 프로세서를 적용해 대상 배열을 만들어요.
- Array Processor: 로그의 JSON 배열에서 값을 추출·집계·변환해요.
- Attribute Remapper: 소스 속성이나 태그를 다른 대상 속성이나 태그로 리매핑해요.
- Category Processor: 검색 쿼리 일치에 따라 로그에 새 속성을 추가해 그룹화·분류해요.
- Decoder Processor: Base64나 Hex 같은 바이너리-텍스트 인코딩 필드를 원래 표현으로 변환해요.
- Exclude Attribute Processor: 파이프라인 처리 중에 지정한 속성을 로그에서 제거해요.
- GeoIP Parser: IP 주소 속성에서 대륙, 국가, 하위 구역, 도시 정보를 추출해요.
- Grok Parser: 로그 메시지나 특정 속성에서 데이터를 추출·구조화하는 사용자 정의 파싱 규칙을 만들어요.
- Log Date Remapper: 하나 이상의 속성을 로그의 공식 타임스탬프로 지정해요.
- Log Message Remapper: 하나 이상의 속성을 로그의 공식 메시지로 지정해요.
- Log Status Remapper: 하나 이상의 속성을 로그의 공식 심각도 상태로 지정해요.
- Lookup Processor: 로그 속성을 Reference Table이나 매핑 테이블의 사람이 읽을 수 있는 값으로 매핑해요.
- OCSF Processor: 보안 로그를 OCSF(Open Cybersecurity Schema Framework)로 정규화해요.
- Service Remapper: 하나 이상의 속성을 로그의 공식 서비스로 지정해요.
- Span Remapper: 애플리케이션 스팬과 로그 사이의 상관관계를 정의해요.
- String Builder Processor: 기존 속성과 원시 문자열 템플릿에서 새 속성을 만들어요.
- Threat Intel Processor: IoC(침해 지표) 테이블과 매칭해 로그에 Threat Intelligence 속성으로 보강해요.
- Trace Remapper: 애플리케이션 트레이스와 로그 사이의 상관관계를 정의해요.
- URL Parser: URL 속성에서 쿼리 파라미터와 기타 구성 요소를 추출해요.
- User-Agent Parser: user-agent 속성을 파싱해 OS, 브라우저, 기기, 기타 사용자 데이터를 추출해요.
더 알아보기 (Learn more)
추가로 도움이 되는 문서, 링크, 아티클: