Config Settings

Config Settings (All Settings)

LiteLLM 프록시의 전체 설정(config.yaml) 참조예요. 이 페이지는 프록시의 모든 옵션을 섹션별로 다루며, 각 섹션 아래에 세부 키들이 나열돼요.

출처: 문서

본문

개요 (Overview)

LiteLLM 프록시는 단일 config.yaml 파일로 모든 것을 구성해요. 기본 구조는 다음 최상위 섹션들로 이뤄져요:

model_list:               # 모델과 배포 정의
litellm_settings:         # LiteLLM 동작 설정 (캐싱, 콜백 등)
general_settings:         # 프록시 일반 설정 (마스터 키, DB, 재시도 등)
router_settings:          # 라우터 재시도/쿨다운 등
environment_variables:    # 환경 변수 선언
guardrails:               # 가드레일 정의
files_settings:           # 파일/배치 API 설정

model_list (모델 목록)

프록시에서 사용 가능한 모델과 해당 배포를 정의해요. 각 항목은 model_name, litellm_params(실제 model, api_key, api_base 등), 그리고 선택적으로 model_info, tpm, rpm을 가져요.

model_list:
  - model_name: gpt-5.6-luna
    litellm_params:
      model: openai/gpt-5.6-luna
      api_key: os.environ/OPENAI_API_KEY
      api_base: https://api.openai.com/v1
    model_info:
      id: gpt-5.6-luna

한 모델 이름 아래에 여러 배포(다른 api_base/api_key)를 나열하면 로드밸런싱·폴백을 구성할 수 있어요.

litellm_settings (LiteLLM 설정)

코어 LiteLLM 동작을 제어해요. 주요 하위 섹션:

캐싱 (cache / cache_params): cache: True 및 cache_params.type(redis, local, s3, gcs 등), ttl, namespace, supported_call_types 등. 상세는 Caching 문서 참고
콜백 (callbacks / success_callback / failure_callback): 로깅·지표 통합 (langfuse, prometheus, s3, datadog 등)
드롭 파라미터 (drop_params): 매핑되지 않은 파라미터를 자동 제거
JSON 로그 (json_logs): 로그를 JSON 형식으로
우선 순위 예약 (priority_reservation): 동적 TPM/RPM 할당 예약
프롬프트 관리 (prompts): 프롬프트 템플릿 정의

litellm_settings:
  set_verbose: True
  drop_params: True
  cache: True
  cache_params:
    type: redis
    host: os.environ/REDIS_HOST
    port: 6379
  callbacks: ["prometheus"]

general_settings (일반 설정)

프록시 수준의 설정을 제어해요:

master_key: 프록시 마스터 키
database_url: PostgreSQL 연결 URL
alerting: 알림 채널 (slack, webhook 등)
custom_auth: 커스텀 인증 함수 경로
enforce_user_param: 모든 요청에 user 파라미터 요구
coordination_redis: 지출 추적·요율 제한용 조정 Redis
store_model_in_db / STORE_MODEL_IN_DB: 모델을 DB에 저장
allow_dynamic_callback_disabling: 동적 콜백 비활성화 허용

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: os.environ/DATABASE_URL
  alerting: ["slack"]

router_settings (라우터 설정)

라우터의 재시도·폴백·쿨다운·라우팅 전략을 제어해요:

router_settings:
  num_retries: 2
  allowed_fails: 3
  cooldown_time: 30
  disable_cooldowns: False
  max_fallbacks: 5
  routing_strategy: simple-shuffle
  enable_pre_call_checks: True

environment_variables (환경 변수)

config.yaml 안에서 환경 변수를 선언·참조할 수 있어요:

environment_variables:
  OPENAI_API_KEY: "sk-..."
  REDIS_HOST: "localhost"
  LITELLM_MASTER_KEY: "..."

os.environ/VAR_NAME 구문으로 litellm_params 등에서 참조할 수도 있어요.

guardrails (가드레일)

가드레일 공급자와 정책을 정의해요. 상세는 Guardrails 문서 참고:

guardrails:
  - guardrail_name: "pii-mask"
    litellm_params:
      guardrail: presidio
      mode: "pre_call,post_call"

통합 (Integrations)

files_settings: /v1/files(배치) 엔드포인트용 설정
callbacks: 외부 관측성 도구 연동
alerting: Slack/이메일/웹훅 알림

참고 사항 (Notes)

본 페이지(원문)는 위의 모든 섹션에 대해 수백 개의 개별 설정 키를 표로 상세히 나열하는 방대한 참조예요. 각 섹션의 전체 키 목록, 각 키의 타입·기본값·설명, 그리고 환경 변수 형태의 대응은 원문 문서에서 열람·번역을 권장해요. 이 한국어 페이지는 프록시 config.yaml의 구조와 주요 섹션을 개괄한 것이며, 특정 기능의 상세 설정은 각 기능별 문서(캐싱, 가드레일, 알림, 예산, DB 등)를 참고하세요.