LLM 비용에 대한 수수료/가격 마진

LLM 비용에 대한 수수료/가격 마진 (Fee/Price Margin on LLM Costs)

특정 공급자 또는 전역에 백분율 기반 또는 고정 금액 마진을 적용할 수 있어요. 내부 소비자에게 청구할 때 운영 오버헤드 비용을 추가해야 하는 엔터프라이즈에 유용해요.

출처: 문서

본문

이 기능을 써야 할 때

생성형 AI 플랫폼에 인프라 비용과 함께 다양한 운영·아키텍처 오버헤드가 얽혀 있다면, 총 LLM 비용에 추가 수수료 또는 마진을 적용하는 기능이 필요할 수 있어요.

흔한 사용 사례:

내부 차지백 (Internal chargebacks) — 내부 팀에 청구할 때 운영 오버헤드 비용을 추가해요.
비용 회수 (Cost recovery) — 인프라, 지원, 플랫폼 유지 비용을 회수해요.

UI로 마진 설정하기

이 워크스루는 LiteLLM UI에서 공급자 마진을 추가하고 비용 분해를 보는 방법을 보여줘요.

1단계: Settings로 이동

LiteLLM 대시보드에서 왼쪽 사이드바의 Settings를 클릭해요.

2단계: Cost Tracking 열기

Cost Tracking을 클릭해 비용 구성 옵션에 접근해요.

3단계: Fee/Price Margin 선택

Fee/Price Margin을 클릭해요 — 이 섹션에서 내부 청구와 비용 회수를 위해 LLM 비용에 수수료나 마진을 추가할 수 있어요.

4단계: 공급자 마진 추가

+ Add Provider Margin을 클릭해 새 마진 설정을 만들어요.

5단계: 공급자 선택

검색 필드를 클릭해 마진을 적용할 공급자를 선택해요. **Global (All Providers)**을 선택해 모든 공급자에 마진을 적용하거나, Bedrock, OpenAI, Anthropic 같은 특정 공급자를 선택할 수 있어요. 이 예시에서는 공급자로 Bedrock을 선택해요.

6단계: 마진 유형 선택

마진 유형을 선택해요. 백분율 기반(Percentage-based)(예: 10% 마크업) 또는 고정 금액(Fixed Amount)(예: 요청당 $0.001) 중에서 선택할 수 있어요. 이 예시에서는 요청당 고정 수수료를 더하려고 Fixed Amount를 선택해요.

7단계: 마진 값 입력

마진 값을 입력해요. 이 예시에서는 요청당 $25 고정 수수료를 추가해요.

8단계: 마진 저장

Add Provider Margin을 클릭해 설정을 저장해요.

9단계: Playground에서 마진 테스트

Playground로 이동해 요청을 만들어 마진 설정을 테스트해요. 모델을 선택하고 테스트 메시지를 보내요. 메시지 필드에 프롬프트를 입력하고 제출해요. 모델로부터 응답을 받게 돼요.

10단계: 로그에서 비용 분해 보기

Logs로 이동해 요청의 상세 비용 분해를 확인해요. 확장 아이콘을 클릭해 요청 세부 정보를 봐요.

11단계: 비용 분해 세부 정보 보기

Cost Breakdown을 클릭해 마진을 포함한 총 비용이 어떻게 계산됐는지 봐요. 비용 분해에는 추가된 마진 금액이 표시돼요. 이 예시에서는 +$25.00 마진이 명확히 표시돼요. 총 비용은 기본 LLM 비용에 마진을 더한 값으로, 비용 구조가 완전히 투명하게 보여요.

설정(config)으로 마진 설정하기

config.yaml 파일에서도 마진을 직접 설정할 수 있어요.

1단계: config.yaml에 마진 설정 추가

# Apply margins to providers
litellm_settings:
  cost_margin_config:
    global: 0.05            # 5% global margin on all providers
    openai: 0.10            # 10% margin for OpenAI (overrides global)
    anthropic:
      fixed_amount: 0.001   # $0.001 fixed fee per request

2단계: 프록시 시작

litellm /path/to/config.yaml

마진은 설정된 공급자의 모든 비용 계산에 자동으로 적용돼요.

마진이 동작하는 방식

마진은 할인(설정된 경우) 이후에 적용돼요.
마진은 할인과 독립적으로 계산돼요.
다음을 사용할 수 있어요:
- 백분율 기반: {"openai": 0.10} = 10% 마진
- 고정 금액: {"openai": {"fixed_amount": 0.001}} = 요청당 $0.001
- 전역: {"global": 0.05} = 모든 공급자에 5% 마진(공급자별 마진이 없을 때)
공급자별 마진이 전역 마진을 재정의해요.
마진 정보는 비용 분해 로그에 추적돼요.
마진 정보는 응답 헤더로 반환돼요:
- x-litellm-response-cost-margin-amount — 추가된 총 마진(USD)
- x-litellm-response-cost-margin-percent — 적용된 마진 백분율

마진 계산 예시

예시 1: 백분율 전용 마진

litellm_settings:
  cost_margin_config:
    openai: 0.10  # 10% margin

기본 비용이 $1.00이면, 최종 비용 = $1.00 x 1.10 = $1.10

예시 2: 고정 금액 전용

litellm_settings:
  cost_margin_config:
    anthropic:
      fixed_amount: 0.001  # $0.001 per request

기본 비용이 $1.00이면, 최종 비용 = $1.00 + $0.001 = $1.001

예시 3: 공급자 오버라이드가 있는 전역 마진

litellm_settings:
  cost_margin_config:
    global: 0.05   # 5% global margin
    openai: 0.10   # 10% margin for OpenAI (overrides global)

OpenAI 요청: 10% 마진 적용
기타 모든 공급자: 5% 마진 적용

할인과 함께 쓰는 마진

마진과 할인은 독립적으로 계산돼요:

기본 비용이 계산돼요.
할인이 적용돼요(설정된 경우).
할인된 비용에 마진이 적용돼요.

예시:

litellm_settings:
  cost_discount_config:
    openai: 0.05  # 5% discount
  cost_margin_config:
    openai: 0.10  # 10% margin

기본 비용이 $1.00이면:

할인 후: $1.00 x 0.95 = $0.95
마진 후: $0.95 x 1.10 = $1.045

지원되는 공급자 (Supported Providers)

LiteLLM이 지원하는 모든 공급자 또는 global로 모든 공급자에 마진을 적용할 수 있어요. 흔한 예:

global — 모든 공급자에 적용(공급자별 마진이 없을 때)
openai — OpenAI
anthropic — Anthropic
vertex_ai — Google Vertex AI
gemini — Google Gemini
azure — Azure OpenAI
bedrock — AWS Bedrock

전체 공급자 목록은 LlmProviders 열거형에서 확인할 수 있어요.

LLM 비용에 대한 수수료/가격 마진