가드레일 공급자: IBM Guardrails

가드레일 공급자: IBM Guardrails (IBM Guardrails)

LiteLLM은 IBM Guardrails를 가드레일 공급자로 지원해, LLM 입력과 출력에 대한 콘텐츠 조정 및 정책 강제를 제공해요.

출처: 문서

본문

빠른 시작 (Quick Start)

1. LiteLLM config.yaml에 가드레일 정의하기

guardrails 섹션 아래에 가드레일을 정의하세요:

model_list:
  - model_name: gpt-5.6-luna
    litellm_params:
      model: openai/gpt-5.6-luna
      api_key: os.environ/OPENAI_API_KEY
guardrails:
  - guardrail_name: "ibm-guard"
    litellm_params:
      guardrail: ibm
      mode: "pre_call"
      api_key: os.environ/IBM_API_KEY
      api_base: os.environ/IBM_GUARDRAILS_API_BASE
      ...

mode에 대한 지원 값 (Supported values for mode):

• pre_call - LLM 호출 전, 입력에 대해 실행
• post_call - LLM 호출 후, 출력에 대해 실행
• during_call - LLM 호출 중, 입력에 대해 실행. pre_call과 같지만 LLM 호출과 병행 실행

2. 환경 변수 설정

IBM Guardrails 자격 증명과 엔드포인트를 환경 변수로 설정하세요 (IBM_API_KEY, IBM_GUARDRAILS_API_BASE 등).

3. LiteLLM 게이트웨이 시작

litellm --config config.yaml

4. 테스트 요청

성공 호출:

curl -i http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ***" \
  -d '{
    "model": "gpt-5.6-luna",
    "messages": [
      {"role": "user", "content": "What is the capital of France?"}
    ],
    "guardrails": ["ibm-guard"]
  }'

차단 요청:

콘텐츠가 IBM 정책을 위반하면 차단될 것으로 예상:

curl -i http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ***" \
  -d '{
    "model": "gpt-5.6-luna",
    "messages": [
      {"role": "user", "content": "Content that violates policy"}
    ],
    "guardrails": ["ibm-guard"]
  }'

구성 옵션 (Configuration Options)

각 산업별·구성별 파라미터의 정확한 이름과 의미는 원문 문서를 참고하세요.

관측성 (Observability)

IBM 가드레일 로그는 guardrail_status(success, guardrail_intervened, guardrail_failed_to_respond), guardrail_provider, guardrail_json_response, duration 등을 포함하며, 구성한 LiteLLM 로깅 콜백을 통해 사용할 수 있어요.

오류 처리 (Error Handling)

가드레일은 오류를 우아하게 처리해요. API 실패 시 오류를 기록하고 예외를 발생시키며(guardrail_failed_to_respond 상태), 잘못된 구성 시 초기화에서 오류가 발생해요.

지원 (Support)

IBM Guardrails에 대한 자세한 정보는 IBM 공식 문서를 참고하세요.