모델 가격·컨텍스트 창 추가하기

모델 가격·컨텍스트 창 추가하기 (Add Model Pricing & Context Window)

모델에 가격이나 컨텍스트 창 정보를 추가하려면 이 파일에 PR을 보내면 돼요.

model_prices_and_context_window.json

출처: 문서

본문

샘플 스펙 (Sample Spec)

"litellm_provider": "one of https://docs.litellm.ai/docs/providers",
"max_input_tokens": "max input tokens, if the provider specifies it. if not default to max_tokens",
"max_output_tokens": "max output tokens, if the provider specifies it. if not default to max_tokens",
"max_tokens": "LEGACY parameter. set to max_output_tokens if provider specifies it. IF not set to max_input_tokens, if provider specifies it.",
"mode": "one of: chat, embedding, completion, image_generation, audio_transcription, audio_speech, image_generation, moderation, rerank, search"

예시 (Examples)

Anthropic Claude

{
  "claude-3-5-haiku-20241022": {
    "cache_creation_input_token_cost": 1e-06,
    "cache_creation_input_token_cost_above_1hr": 6e-06,
    "cache_read_input_token_cost": 8e-08,
    "deprecation_date": "2025-10-01",
    "input_cost_per_token": 8e-07,
    "litellm_provider": "anthropic",
    ...

Vertex AI Gemini

{
  "vertex_ai/gemini-3-pro-preview": {
    "cache_read_input_token_cost": 2e-07,
    "cache_read_input_token_cost_above_200k_tokens": 4e-07,
    "cache_creation_input_token_cost_above_200k_tokens": 2.5e-07,
    "input_cost_per_token": 2e-06,
    "input_cost_per_token_above_200k_tokens": 4e-06,
    "input_cost_per_token_batches": 1e-06,
    "litellm_provider": "vertex_ai",
    "max_audio_length_hours": 8.4,
    "max_audio_per_prompt": 1,
    "max_images_per_prompt": 3000,
    "max_input_tokens": 1048576,
    "max_output_tokens": 65535,
    "max_pdf_size_mb": 30,
    "max_tokens": 65535,
    ...

별칭(Aliases) 사용하기

많은 프로바이더가 같은 모델을 여러 이름으로 제공해요. 예를 들어 latest 태그와 claude-sonnet-4-5-20250929 같은 날짜 버전이 그렇죠. 전체 엔트리를 중복하지 않고 aliases 필드를 사용할 수 있어요.

{
  "claude-sonnet-4-5": {
    "aliases": ["claude-sonnet-4-5-20250929"],
    "input_cost_per_token": 3e-06,
    "output_cost_per_token": 1.5e-05,
    "litellm_provider": "anthropic",
    "max_input_tokens": 200000,
    "max_output_tokens": 64000,
    "mode": "chat",
    ...

로드 시 각 별칭은 정식(canonical) 엔트리와 같은 데이터를 공유하는 최상위 엔트리로 확장돼요. 위 예시는 claude-sonnet-4-5와 claude-sonnet-4-5-20250929가 동일한 가격과 기능으로 해석되게 만들어 줍니다.

참고: 이것은 사용자가 보는 모델 이름을 LiteLLM 모델 식별자에 매핑하는 런타임 SDK/프록시 기능인 model_alias_map과는 달라요. 여기 aliases 필드는 모델 비용 JSON 전용이며, 동일한 가격·기능을 공유하는 모델의 중복 엔트리를 피하기 위한 것입니다.

더 알아보기 (Learn more)

• model_prices_and_context_window.json
• model_alias_map