모델 별칭

모델 별칭 (Model Alias)

사용자에게 보여주는 모델 이름과 실제로 LiteLLM에 전달하는 모델 이름이 다를 수 있어요. 예를 들어 화면에는 GPT-5.6이라고 보여주면서 실제로는 백엔드의 gpt-5.6-luna를 호출하는 경우죠. 모델 별칭 매핑을 이용하면 이런 이름을 손쉽게 관리할 수 있답니다.

출처: 문서

본문

최종 사용자에게 보여주는 모델 이름은 LiteLLM에 전달하는 이름과 다를 수 있어요. 예를 들어 화면에는 GPT-5.6을 보여주면서 실제로는 백엔드에서 gpt-5.6-luna를 호출하는 경우죠.

LiteLLM은 모델 별칭 매핑을 전달할 수 있게 해서 이를 간단히 처리해 줍니다.

기대 형식 (expected format)

litellm.model_alias_map = {
    # a dictionary containing a mapping of the alias string to the actual litellm model name string
    "model_alias": "litellm_model_name"
}

사용 방법 (usage)

관련 코드 (Relevant Code)

model_alias_map = {
    "GPT-5.6": "gpt-5.6-luna",
    "llama2": "replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca12251a30609463dcfd4cd76703f22e96cdf"
}

litellm.model_alias_map = model_alias_map

전체 코드 (Complete Code)

import litellm 
from litellm import completion 

## set ENV variables
os.environ["OPENAI_API_KEY"] = "openai key"
os.environ["REPLICATE_API_KEY"] = "cohere key"

## set model alias map
model_alias_map = {
    "GPT-5.6": "gpt-5.6-luna",
    "llama2": "replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca12251a30609463dcfd4cd76703f22e96cdf"
}

litellm.model_alias_map = model_alias_map

messages = [{ "content": "Hello, how are you?","role": "user"}]

# call "gpt-5.6-luna"
response = completion(model="GPT-5.6", messages=messages)

# call replicate/llama-2-70b-chat:2796ee9483c3fd7aa2e171d38f4ca1...
response = completion("llama2", messages)

위 코드처럼 model_alias_map에 별칭을 매핑해 두면, completion(model="GPT-5.6", ...)처럼 편한 이름으로 실제 모델을 호출할 수 있어요.

더 알아보기 (Learn more)