팀 BYO(Bring-Your-Own) 가드레일

팀 BYO(Bring-Your-Own) 가드레일 (Team Bring-Your-Own Guardrails)

팀 기반 가드레일을 사용하면 개발자가 API를 통해 팀의 가드레일을 등록하고, 관리자가 LiteLLM UI에서 검토한 뒤 승인하거나 거부할 수 있어요. 이런 방식으로 등록할 수 있는 가드레일은 Generic Guardrail API 가드레일뿐이에요.

출처: 문서

본문

개요 (Overview)

개발자 흐름: 가드레일 등록하기

사전 요구사항 (Prerequisites)

요청 (Request)

엔드포인트: POST /guardrails/register
헤더: Authorization: Bearer <team_...key>
본문: Generic Guardrail API config와 일치하는 JSON

필드	타입	필수	설명
guardrail_name	string	예	가드레일의 고유 이름
litellm_params	object	예	`guardrail: "generic_guardrail_api"`, `mode`(예: `pre_call`, `post_call`), `api_base`를 포함해야 함. Generic Guardrail API 참조
guardrail_info	object	아니요	선택 메타데이터 (예: description)

litellm_params 요구사항

예시 (Example)

curl -X POST "http://localhost:4000/guardrails/register" \
  -H "Authorization: Bearer <your_...key>" \
  -H "Content-Type: application/json" \
  -d '{
    "guardrail_name": "my-team-guard",
    "litellm_params": {
      "guardrail": "generic_guardrail_api",
      "mode": "pre_call",
      "api_base": "https://your-guardrail-api.com",
      "api_key": "optional-api-key",
      "unreachable_fallback": "fail_closed",
      "forward_api_key": true
    },
    "guardrail_info": {
      "description": "Team content moderation guardrail"
    }
  }'

응답 예시 (Example response)

{
  "guardrail_id": "123e4567-e89b-12d3-a456-426614174000",
  "guardrail_name": "my-team-guard",
  "status": "pending_review",
  "submitted_at": "2025-02-28T12:00:00.000Z"
}

오류 (Errors)

등록에 성공한 후 가드레일은 관리자가 승인하거나 거부할 때까지 pending_review 상태로 남아요.

관리자 흐름: UI에서 승인 또는 거부

관리자는 LiteLLM 프록시 UI에서 팀 가드레일 제출물을 검토하고 승인하거나 거부해요.

1. 가드레일 페이지 열기

프록시 대시보드에서 Guardrails(사이드바 또는 내비게이션)로 이동해요.

2. 팀 가드레일 탭 열기

Team Guardrails 탭으로 전환해요. 이 탭에는 팀이 제출한 모든 가드레일과 상태가 나열돼요.

3. 제출물 검토하기

테이블에는 다음이 표시돼요. 요약 카드에는 Total, Pending Review, Active, Rejected 수가 표시돼요.

4. 승인 또는 거부하기

승인은 config 또는 관리자 가드레일 API를 통해 가드레일을 추가할 때와 동일한 초기화를 트리거해요. 거부는 상태만 업데이트하고 가드레일을 로드하지 않아요.

API 대응 (관리자 전용)

관리자는 REST API도 사용할 수 있어요. 이 엔드포인트들은 관리자(예: PROXY_ADMIN) 인증이 필요해요.

요약 (Summary)

역할	동작
개발자	팀 범위 키와 `generic_guardrail_api` config로 `POST /guardrails/register` 호출. 제출물은 `pending_review`로 들어감
관리자	UI에서 Guardrails → Team Guardrails 열기(또는 제출 API 사용), 각 제출물을 Approve 또는 Reject. 승인된 가드레일은 활성화됨

등록에 허용되는 가드레일은 litellm_params.guardrail: "generic_guardrail_api"인 것뿐이에요. 전체 계약과 구성 옵션은 Generic Guardrail API를 참조하세요.

더 알아보기 (Learn more)

가드레일 문서