최소 미처리 요청

최소 미처리 요청 (Least Outstanding Requests)

이 문서는 현재 미처리(outstanding) 요청 수가 가장 적은 풀(pool)로 트래픽을 보내는 Least Outstanding Requests 스티어링 방식과 그 한계에 대해 안내해요.

출처: 문서

본문

Least Outstanding Requests 스티어링은 현재 미처리 요청 수가 가장 적은 풀로 트래픽을 라우팅할 수 있게 해 줘요.

이 스티어링 정책은 random_steering 가중치뿐만 아니라 각 풀의 처리 중(in-flight) 요청 수를 고려해 풀을 선택해요. 대기 중인 요청이 많은 풀은 다른 풀에 비해 비례적으로 덜 가중치가 부여돼요.

Least Outstanding Requests 스티어링은 풀 들이 동시 요청의 급증(spike)에 쉽게 과부하되는 경우에 사용하기 가장 좋아요. 이 스티어링 방식은 지연 시간, 지리적 정렬, 또는 다른 지표보다 서버 상태를 중시하는 애플리케이션에 적합해요. 이 방식은 풀의 상태, adaptive routing(적응형 라우팅), session affinity(세션 어피니티)를 함께 고려해요.

API로 구성하기

Load Balancersjson

{
  "steering_policy": "least_outstanding_requests"
}

로드 밸런서 구성에 대한 자세한 내용은 API 문서를 참고해요.

참고

Least Outstanding Requests 스티어링은 풀 내부의 엔드포인트에 대한 미처리 요청 수와 가중치를 고려하는 지역 트래픽 스티어링 정책으로도 풀에 구성할 수 있어요.

제한 사항 (Limitations)

Least Outstanding Requests 스티어링은 DNS 전용 로드 밸런서에 구성할 수 있지만, 무작동(no-operation) 형태로만 지원돼요. DNS 전용 로드 밸런서의 경우 모든 풀의 미처리 요청 수가 0으로 간주되어, 트래픽은 오직 random_steering 가중치에 따라서만 제공돼요.

구성할 수는 있지만, 부분적인 지원 때문에 DNS 전용 로드 밸런서에는 Least Outstanding Requests 스티어링을 사용하지 않는 것이 권장돼요.

더 알아보기 (Learn more)

동시 요청이 급증할 때 서버 상태를 우선시하고 싶다면 Least Outstanding Requests 스티어링이 좋은 선택이에요. 풀 내부 엔드포인트 단위로도 같은 방식을 적용할 수 있어요.