Oobabooga Text Web API 튜토리얼
Oobabooga Text Web API 튜토리얼
Oobabooga Text Web API를 LiteLLM으로 호출하는 방법을 알아봐요.
설치 + LiteLLM 임포트
uv add litellm
from litellm import completion import os
oobabooga 모델 호출
api_base를 설정하는 것을 잊지 마세요.
response = completion( model="oobabooga/WizardCoder-Python-7B-V1.0-GPTQ", messages=[{ "content": "can you write a binary tree traversal preorder","role": "user"}], api_base="http://localhost:5000", max_tokens=4000)
응답 확인
print(response)
이 튜토리얼은 Shuai Shao에게 크레딧을 드립니다.