Configuring OpenSearch Data Prepper

출처: 문서

본문

OpenSearch Data Prepper 구성

Data Prepper 설치 위치에 있는 data-prepper-config.yaml 파일을 편집하면 OpenSearch Data Prepper 구성을 커스터마이즈할 수 있어요. 다음 구성 옵션들은 파이프라인 구성 옵션과는 별개예요.

Data Prepper 구성

다음 옵션들을 사용하면 Data Prepper 구성을 커스터마이즈할 수 있어요.

Peer Forwarder 옵션

다음 섹션에서는 피어 포워딩에 사용할 수 있는 다양한 구성 옵션을 자세히 설명해요.

피어 포워딩 일반 옵션

다음 표는 피어 포워딩의 일반 구성을 정리한 거예요.

Peer Forwarder의 TLS/SSL 옵션

다음 옵션들을 사용하면 인증서 소스(파일, S3, ACM)와 검증 동작을 포함해서 Peer Forwarder의 TLS/SSL을 활성화하고 구성할 수 있어요.

Peer Forwarder의 인증 옵션

다음 옵션을 사용하면 피어 간 요청에 대해 Peer Forwarder가 인증하는 방식을 지정할 수 있어요.

서킷 브레이커

Data Prepper에는 Java 힙 메모리 고갈을 방지하는 데 도움이 되는 서킷 브레이커가 포함되어 있어요. 버퍼 너머로 데이터를 메모리에 유지하는 상태 저장(stateful) 프로세서를 사용하는 파이프라인에서 특히 유용해요.

서킷 브레이커가 작동하면 브레이커가 리셋될 때까지 Data Prepper는 버퍼로 라우팅되는 유입 데이터를 거부해요.

다음 표는 사용 가능한 서킷 브레이커 구성 블록을 정리한 거예요.

힙 서킷 브레이커

heap 서킷 브레이커는 JVM 힙이 지정된 사용량 임계값에 도달하면 유입 데이터를 거부하도록 Data Prepper를 구성해요. heap 파라미터는 다음 값들을 지원해요.

익스텐션 플러그인

Data Prepper는 사용자가 구성할 수 있는 익스텐션 플러그인을 지원해요. 익스텐션 플러그인은 파이프라인 플러그인(소스, 버퍼, 프로세서, 싱크) 전반에서 공유되는 재사용 가능한 구성을 제공해요.

AWS 익스텐션 플러그인

aws 익스텐션은 secrets 구성을 제공해요. 이 구성은 AWS Secrets Manager와 통합되어 파이프라인의 민감한 구성 값을 안전하게 관리할 수 있게 해 줘요. 다음 예제는 기본적인 구성을 보여 줘요:

extensions:
  aws:
    secrets:
      <YOUR_SECRET_CONFIG_ID_1>:
        secret_id: <YOUR_SECRET_ID_1>
        region: <YOUR_REGION_1>
        sts_role_arn: <YOUR_STS_ROLE_ARN_1>
        refresh_interval: <YOUR_REFRESH_INTERVAL>
        disable_refresh: false
      <YOUR_SECRET_CONFIG_ID_2>:
        # ...

{% include copy.html %}

Secrets

secrets 구성은 다음 파라미터들을 지원해요.

시크릿 참조

pipelines.yaml에서 플러그인 설정에 시크릿 값을 참조하려면 다음 형식을 사용하세요:

• 일반 텍스트: {% raw %}${{aws_secrets:<YOUR_SECRET_CONFIG_ID>}}{% endraw %}
• JSON 키: {% raw %}${{aws_secrets:<YOUR_SECRET_CONFIG_ID>:<YOUR_KEY>}}{% endraw %}

시크릿 치환에는 다음 설정 타입들을 사용할 수 있어요: string, number, long, short, integer, double, float, Boolean, character.

다음은 두 개의 시크릿 구성 ID(host-secret-config와 credential-secret-config)가 포함된 data-prepper-config.yaml 예제예요:

extensions:
  aws:
    secrets:
      host-secret-config:
        secret_id: <YOUR_SECRET_ID_1>
        region: <YOUR_REGION_1>
        sts_role_arn: <YOUR_STS_ROLE_ARN_1>
        refresh_interval: <YOUR_REFRESH_INTERVAL_1>
      credential-secret-config:
        secret_id: <YOUR_SECRET_ID_2>
        region: <YOUR_REGION_2>
        sts_role_arn: <YOUR_STS_ROLE_ARN_2>
        refresh_interval: <YOUR_REFRESH_INTERVAL_2>

{% include copy.html %}

그런 다음 pipelines.yaml에서 이 시크릿들을 다음과 같이 참조할 수 있어요:

sink:
  - opensearch:
      hosts: [{% raw %}"${{aws_secrets:host-secret-config}}"{% endraw %}]
      username: {% raw %}"${{aws_secrets:credential-secret-config:username}}"{% endraw %}
      password: {% raw %}"${{aws_secrets:credential-secret-config:password}}"{% endraw %}
      index: "test-migration"

{% include copy.html %}

시크릿 자동 새로 고침

각 시크릿 구성마다 Data Prepper는 AWS Secrets Manager의 시크릿 로테이션을 지원하기 위해 일정한 주기로 최신 값을 폴링해요. 새로 고친 값은 연결/인증을 새로 고칠 수 있는 플러그인(예: 싱크)에서 사용돼요. 시크릿 구성이 여러 개인 경우, 초기 폴링 때 모든 구성에 걸쳐 최대 60s의 지터가 적용돼요.

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/data-prepper/managing-data-prepper/configuring-data-prepper/