Peer Forwarder

출처: 문서

본문

Peer Forwarder

Peer Forwarder는 집계를 위해 OpenSearch Data Prepper 노드 간에 event의 피어 포워딩을 수행하는 HTTP 서비스예요. 이 HTTP 서비스는 해시 링(hash-ring) 방식을 사용해 이벤트를 집계하고, 주어진 트레이스를 어떤 Data Prepper 노드가 처리해야 하는지 판단한 뒤 해당 노드로 다시 라우팅해요. 현재 Peer Forwarder는 aggregate, service_map, otel_traces 프로세서에서 지원돼요.

Peer Forwarder는 지원되는 프로세서가 제공하는 식별 키를 기준으로 이벤트를 그룹화해요. service_map과 otel_traces의 경우 식별 키는 기본적으로 traceId이며 설정할 수 없어요. aggregate 프로세서는 identification_keys 설정 옵션을 사용해 설정해요. 여기서 Peer Forwarder에 사용할 키를 지정할 수 있어요. 식별 키에 대한 자세한 내용은 Aggregate Processor 페이지를 참고하세요.

피어 디스커버리는 Data Prepper가 통신하게 될 다른 노드를 찾을 수 있게 해줘요. 현재 피어 디스커버리는 정적 목록, DNS 레코드 조회, 또는 AWS Cloud Map을 통해 제공돼요.

디스커버리 모드

다음 섹션에서는 디스커버리 모드에 대한 정보를 제공해요.

정적(Static)

정적 디스커버리 모드는 Data Prepper 노드가 IP 주소 또는 도메인 이름 목록을 사용해 노드를 디스커버리할 수 있게 해줘요. 정적 디스커버리 모드의 예시는 다음 YAML 파일을 참고하세요:

peer_forwarder:4
  discovery_mode: static
  static_endpoints: ["data-prepper1", "data-prepper2"]

DNS 조회

Data Prepper 클러스터를 확장할 때는 정적 디스커버리보다 DNS 디스커버리가 선호돼요. DNS 디스커버리는 단일 도메인 이름이 주어졌을 때 Data Prepper 호스트 목록을 반환하도록 DNS 공급자를 설정해요. 이 목록은 DNS A 레코드와 주어진 도메인의 IP 주소 목록으로 구성돼요. DNS 조회의 예시는 다음 YAML 파일을 참고하세요:

peer_forwarder:
  discovery_mode: dns
  domain_name: "data-prepper-cluster.my-domain.net"

AWS Cloud Map

AWS Cloud Map은 DNS 기반 서비스 디스커버리와 함께 API 기반 서비스 디스커버리도 제공해요.

Peer Forwarder는 AWS Cloud Map의 API 기반 서비스 디스커버리를 사용할 수 있어요. 이를 지원하려면 API 인스턴스 디스커버리를 위해 구성된 기존 네임스페이스가 있어야 해요. AWS Cloud Map 문서에서 제공하는 안내를 따라 새로 만들 수 있어요.

Data Prepper 설정에는 다음이 포함되어야 해요:

• aws_cloud_map_namespace_name – AWS Cloud Map 네임스페이스 이름으로 설정하세요.
• aws_cloud_map_service_name – 지정한 네임스페이스 내의 서비스 이름으로 설정하세요.
• aws_region – 네임스페이스가 존재하는 AWS 리전으로 설정하세요.
• discovery_mode – aws_cloud_map으로 설정하세요.

Data Prepper 설정에는 다음을 선택적으로 포함할 수 있어요:

• aws_cloud_map_query_parameters – 키-값 쌍은 인스턴스에 연결된 커스텀 속성을 기준으로 결과를 필터링하는 데 사용돼요. 결과에는 지정된 모든 키-값 쌍과 일치하는 인스턴스만 포함돼요.

설정 예시

AWS Cloud Map 설정의 예시는 다음 YAML 파일을 참고하세요:

peer_forwarder:
  discovery_mode: aws_cloud_map
  aws_cloud_map_namespace_name: "my-namespace"
  aws_cloud_map_service_name: "data-prepper-cluster"
  aws_cloud_map_query_parameters:
    instance_type: "r5.xlarge"
  aws_region: "us-east-1"

필요한 권한이 포함된 IAM 정책

Data Prepper 또한 필요한 권한을 가진 상태로 실행되고 있어야 해요. 다음 AWS Identity and Access Management(IAM) 정책은 필요한 권한을 보여줘요:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "CloudMapPeerForwarder",
            "Effect": "Allow",
            "Action": "servicediscovery:DiscoverInstances",
            "Resource": "*"
        }
    ]
}

설정

다음 표는 선택적 설정 값을 제공해요.

SSL 설정

다음 표는 다른 Data Prepper 인스턴스에 연결할 수 있도록 Peer Forwarder 클라이언트용 트러스트 매니저를 설정하게 해주는 선택적 SSL 설정 값을 제공해요.

설정 예시

다음 YAML 파일은 설정 예시를 제공해요:

peer_forwarder:
  ssl: true
  ssl_certificate_file: "<cert-file-path>"
  ssl_key_file: "<private-key-file-path>"

인증

Authentication은 선택 사항이며 상호 TLS(mTLS)를 활성화하는 Map이에요. mutual_tls 또는 unauthenticated 중 하나일 수 있어요. 기본값은 unauthenticated이에요. 다음 YAML 파일은 인증 예시를 제공해요:

peer_forwarder:
  authentication:
    mutual_tls:

메트릭

Core Peer Forwarder는 다음 커스텀 메트릭을 제공해요. 모든 메트릭에는 core.peerForwarder 접두사가 붙어요.

타이머

Peer Forwarder의 타이머 기능은 다음 정보를 제공해요:

• requestForwardingLatency: Peer Forwarder 클라이언트가 포워딩한 요청의 지연 시간을 측정해요.
• requestProcessingLatency: Peer Forwarder 서버가 처리한 요청의 지연 시간을 측정해요.

카운터

다음 표는 카운터 메트릭 옵션을 제공해요.

게이지

peerEndpoints는 동적으로 디스커버리된 피어 Data Prepper 엔드포인트의 개수를 측정해요. static 모드의 경우 크기가 고정돼요.

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/data-prepper/managing-data-prepper/peer-forwarder/