가드레일 로드 밸런싱

가드레일 로드 밸런싱 (Guardrail Load Balancing)

여러 가드레일 인스턴스에 요청 검사를 분산하거나, 가드레일 간 라우팅 규칙을 구성하는 방법을 알려드려요.

출처: 문서

본문

개요 (Overview)

LiteLLM에서 가드레일을 다수 구성해 요청 유형·키·모드에 따라 어떤 가드레일(또는 가드레일 조합)이 실행될지 제어할 수 있어요. 또한 같은 가드레일 로직을 여러 인스턴스로 확장해 처리 용량을 늘릴 수 있어요.

주요 개념 (Key concepts)

• 가드레일 선택: 요청의 guardrails 배열, 키 메타데이터, 콘피그의 default_on 설정으로 어느 가드레일을 실행할지 결정해요.
• 조합: pre_call과 post_call을 모두 실행하려면 둘 이상의 가드레일을 목록으로 지정하거나, 한 가드레일에 mode를 여러 개 지정할 수 있어요.
• 로드 밸런싱: 가드레일 공급자가 여러 엔드포인트/인스턴스를 지원하면, LiteLLM이 요청을 분산시켜 병목을 줄일 수 있어요.

설정 예시 (Configuration example)

guardrails:
  - guardrail_name: "input-guard"
    litellm_params:
      guardrail: <provider>           # e.g. presidio, lakera_v2 ...
      mode: "pre_call"
      default_on: true
      value1: ...                     # 공급자별 파라미터
  - guardrail_name: "output-guard"
    litellm_params:
      guardrail: <provider>
      mode: "post_call"
      default_on: true

참고 사항 (Notes)

가드레일 로드 밸런싱의 세부 동작, 지원되는 배포 토폴로지, 공급자별 로드 밸런싱 파라미터는 원문 문서를 참고하세요. 특히 대규모 트래픽에서 어느 단계나 인스턴스로 검사를 보낼지 제어하는 설정을 확인하세요.