Mock Completion 응답 - 테스팅 비용 절약

Mock Completion 응답 - 테스팅 비용 절약

LLM API를 실제로 호출하지 않고 LLM Completion 호출을 테스트하고 싶으신가요? litellm.completion에 mock_response를 전달하면 litellm이 LLM API를 호출하고 돈을 쓰지 않고도 응답을 바로 반환해 줍니다.

출처: 문서

본문

completion()을 mock_response와 함께 사용

from litellm import completion model = "gpt-5.6-luna"messages = [{"role":"user", "content":"Why is LiteLLM amazing?"}]completion(model=model, messages=messages, mock_response="It's simple to use and easy to get started")

completion을 사용한 pytest 함수 만들기

from litellm import completionimport pytestdef test_completion_openai():    try:        response = completion(
            model="gpt-5.6-luna",
            messages=[{"role":"user", "content":"Why is LiteLLM amazing?"}],
            mock_response="LiteLLM is awesome"
        )
        # Add any assertions here to check the response
        print(response)
        print(response['choices'][0]['finish_reason'])
    except Exception as e:
        pytest.fail(f"Error occurred: {e}")

더 알아보기 (Learn more)

• Mock Requests