가드레일 정책

가드레일 정책 (Guardrail Policies)

LiteLLM에서 가드레일에 정책을 설정하는 방법을 알려드려요. 유해 콘텐츠 감지, PII 보호, 젤브레이크 방어 등 특정 목표를 위한 정책을 구성해요.

출처: 문서

본문

개요 (Overview)

가드레일 정책은 특정 보안·안전 요구사항을 다루는 지침과 규칙 모음이에요. LiteLLM에서 정책은 가드레일 구성(공급자, mode, 임계값, 파라미터)으로 표현되며, 요청/응답이 검사되는 방식을 결정해요.

정책 구성 요소 (Policy building blocks)

공급자 (Provider): 검사를 실행하는 백엔드(예: presidio, lakera_v2, openai_moderation, litellm_content_filter)
모드 (Mode): pre_call, post_call, during_call 등 검사 시점
임계값 (Threshold): 차단/플래그 여부를 결정하는 점수 임계값
동작 (Action): BLOCK(차단), MASK(마스킹), LOG(기록) 등 위반 시 취할 조치
대상 (Scope): 입력만, 출력만, 또는 둘 다 검사할지

설정 예시 (Configuration example)

guardrails:
  - guardrail_name: "content-policy"
    litellm_params:
      guardrail: litellm_content_filter
      mode: [pre_call, post_call]
      default_on: true
      categories:
        - category: "harmful_violence"
          enabled: true
          action: "BLOCK"
          severity_threshold: "medium"

참고 사항 (Notes)

정책별 권장 설정, 규제 준수 템플릿, 커스텀 정책 작성 방법 등 자세한 내용은 원문 문서를 참고하세요.