Shard indexing backpressure
출처: 문서
본문
샤드 인덱싱 백프레셔
샤드 인덱싱 백프레셔는 클러스터에 부하가 걸렸을 때 인덱싱 요청을 동적으로 거절하는, 샤드 단위의 스마트 거절 메커니즘이에요. 과부하에 걸린 노드나 샤드에서 아직 정상 상태인 다른 노드나 샤드로 요청을 옮겨주는 백프레셔를 전파해요.
샤드 인덱싱 백프레셔를 사용하면 느린 노드, 멈춘 작업, 리소스를 많이 소모하는 요청, 트래픽 급증, 한쪽으로 치우친 샤드 할당 등으로 인한 성능 저하 때문에 클러스터의 노드가 연쇄 장애로 빠지는 것을 예방할 수 있어요.
샤드 인덱싱 백프레셔는 프라이머리 파라미터 하나와 세컨더리 파라미터 하나가 임계값을 넘었을 때에만 효과가 발휘돼요.
프라이머리 파라미터
프라이머리 파라미터는 클러스터에 부하가 걸렸음을 알려주는 초기 지표예요:
- 샤드 메모리 한도 초과: 샤드의 메모리 사용량이 할당된 메모리의 95%를 초과하면 이 한도가 초과된 거예요.
- 노드 메모리 한도 초과: 노드의 메모리 사용량이 할당된 메모리의 70%를 초과하면 이 한도가 초과된 거예요.
프라이머리 파라미터가 초과되었다고 해서 실제로 요청이 거절되지는 않아요. 세컨더리 파라미터에 대한 평가가 시작될 뿐이에요.
세컨더리 파라미터
세컨더리 파라미터는 샤드 수준에서 성능을 점검해서 클러스터에 부하가 걸렸는지 확인해요:
- 처리량: 샤드 수준의 처리량이 과거 이력 대비 크게 감소하면 이 한도가 초과된 거예요.
- 성공한 요청: 대기 중인 요청 수가 과거 이력 대비 크게 증가하면 이 한도가 초과된 거예요.