Ingest settings
출처: 문서
본문
인제스트 설정
OpenSearch는 데이터 처리 파이프라인에서 허용되는 인제스트 프로세서를 제어하는 인제스트 설정을 제공해요. 이러한 설정은 인제스트 파이프라인에서 사용할 수 있는 프로세서를 제한하여 데이터 변환 작업에 대한 보안과 제어를 유지하는 데 도움을 줘요.
이 설정을 적용하는 방법을 알아보려면 OpenSearch 구성을 참조하세요.
사용자 에이전트 프로세서 설정
사용자 에이전트 프로세서 설정은 인제스트 파이프라인에서 허용되는 사용자 에이전트 파싱 프로세서를 제어해요.
OpenSearch는 다음과 같은 정적 사용자 에이전트 프로세서 설정을 지원해요.
ingest.useragent.processors.allowed(Static, list): 인제스트 파이프라인에서 사용할 수 있는 사용자 에이전트 프로세서를 지정해요. 이 목록이 비어 있으면(기본값) 제한이 적용되지 않으며 모든 사용자 에이전트 프로세서를 사용할 수 있어요. 특정 프로세서 이름으로 구성하면 해당 프로세서만 파이프라인에서 허용돼요. 이 설정은 보안 및 데이터 거버넌스 목적으로 어떤 사용자 에이전트 파싱 프로세서를 사용할 수 있는지 제어하는 데 도움을 줘요. 기본값은[](빈 목록 - 제한 없음)이에요.
공통 프로세서 설정
공통 프로세서 설정은 인제스트 파이프라인에서 허용되는 표준 인제스트 프로세서를 제어해요.
OpenSearch는 다음과 같은 정적 공통 프로세서 설정을 지원해요.
ingest.common.processors.allowed(Static, list): 인제스트 파이프라인에서 사용할 수 있는 공통 인제스트 프로세서를 지정해요. 이 목록이 비어 있으면(기본값) 제한이 적용되지 않으며set,remove,rename,convert와 같은 모든 공통 프로세서를 사용할 수 있어요. 특정 프로세서 이름으로 구성하면 해당 프로세서만 파이프라인에서 허용돼요. 이 설정은 보안 및 규정 준수 요구 사항을 위해 데이터 변환 기능을 세밀하게 제어할 수 있게 해줘요. 기본값은[](빈 목록 - 제한 없음)이에요.
캐싱 및 성능 설정
캐싱 및 성능 설정은 다양한 인제스트 프로세서의 캐시 크기와 실행 제한을 제어해요.
OpenSearch는 다음과 같은 정적 캐싱 및 성능 설정을 지원해요.
-
ingest.user_agent.cache_size(Static, long): 사용자 에이전트 문자열 파싱 결과의 캐시 크기를 설정해요. 이 캐시는 파싱된 사용자 에이전트 정보를 저장하여 반복되는 사용자 에이전트 문자열이 있는 문서를 처리할 때 성능을 향상시켜요. 값이 높을수록 일반적인 사용자 에이전트의 파싱 오버헤드는 줄어들지만 더 많은 메모리를 사용해요. 캐시는 사용자 에이전트 문자열과 파싱된 구성 요소(브라우저, 운영 체제, 장치 정보) 간의 매핑을 저장해요. 기본값은1000이에요. 최소값은0이에요. -
ingest.grok.watchdog.interval(Static, time unit): Grok 프로세서 감시자가 장기 실행 패턴 일치 작업을 확인하는 간격을 설정해요. 감시자는 복잡하거나 비효율적인 패턴으로 Grok 프로세서가 과도한 CPU 시간을 소비하는 것을 방지하는 데 도움을 줘요. 더 자주 확인하면 실행 중인 작업을 더 잘 보호할 수 있지만 약간의 오버헤드가 추가돼요. 기본값은1s이에요. -
ingest.grok.watchdog.max_execution_time(Static, time unit): 감시자가 Grok 패턴 일치 작업을 중단하기 전에 허용되는 최대 실행 시간을 설정해요. 이는 잘못 설계되었거나 악의적인 Grok 패턴이 과도한 CPU 사용을 유발하거나 인제스트 처리를 차단하는 것을 방지해요. 이 제한을 초과하는 작업은 클러스터 안정성을 유지하기 위해 종료돼요. 기본값은1s이에요.