프롬프트 포매팅

프롬프트 포매팅 (Prompt Formatting)

LiteLLM은 OpenAI ChatCompletions 프롬프트 형식을 다른 모델로 자동 변환합니다. 모델에 커스텀 프롬프트 템플릿을 설정해 제어할 수도 있어요.

Huggingface 모델

LiteLLM은 Huggingface Chat Templates 를 지원하며, huggingface 모델에 등록된 채팅 템플릿이 있는지(예: Mistral-7b) 자동으로 확인합니다.

인기 모델(예: meta-llama/llama2)은 패키지의 일부로 템플릿이 저장되어 있어요.

저장된 템플릿:

코드 보기

프롬프트 직접 포매팅

프롬프트를 직접 포매팅할 수도 있어요. 방법은 다음과 같습니다:

import litellm
# Create your own custom prompt template 
litellm.register_prompt_template(
	    model="togethercomputer/LLaMA-2-7B-32K",
        initial_prompt_value="You are a good assistant", # [OPTIONAL]
	    roles={
            "system": {
                "pre_message": "[INST] <<SYS>>\n", # [OPTIONAL]
                "post_message": "\n<</SYS>>\n [/INST]\n" # [OPTIONAL]
            },
            "user": { 
                "pre_message": "[INST] ", # [OPTIONAL]
                "post_message": " [/INST]" # [OPTIONAL]
            }, 
            "assistant": {
                "pre_message": "\n", # [OPTIONAL]
                "post_message": "\n" # [OPTIONAL]
            }
        },
        final_prompt_value="Now answer as best you can:" # [OPTIONAL]
)

def test_huggingface_custom_model():
    model = "huggingface/togethercomputer/LLaMA-2-7B-32K"
    response = completion(model=model, messages=messages, api_base="https://my-huggingface-endpoint")
    print(response['choices'][0]['message']['content'])
    return response

test_huggingface_custom_model()

이것은 현재 Huggingface, TogetherAI, Ollama, Petals를 지원합니다.

다른 프로바이더는 고정된 프롬프트 템플릿(예: Anthropic)을 가지거나 자체적으로 포매팅합니다(예: Replicate). 커버되지 않는 프로바이더가 있다면 알려주세요!

출처: 문서

본문

모든 프로바이더

모든 프로바이더를 어떻게 포매팅하는지에 대한 코드입니다. 더 개선할 방법을 알려주세요.

더 알아보기 (Learn more)

• Chat Completions
• Input Params