채팅 컴플리션
채팅 컴플리션 (Chat Completions)
LiteLLM의 채팅 컴플리션(completion) 기능 소개 페이지예요. LiteLLM은 모든 공급사(provider)에서 OpenAI 호환 응답 형식을 그대로 반환하므로, 코드를 바꾸지 않고도 여러 모델을 손쉽게 사용할 수 있답니다.
출처: 문서
본문
- 📄️ 입력 파라미터 (Input Params): 공통 파라미터(Common Params)에 대한 내용을 다뤄요.
- 📄️ 출력 형식 (Output Format): 응답의 형태를 설명해요.
- 📄️ 사용 방법 (Usage): LiteLLM은 모든 공급사에서 OpenAI 호환 usage 객체를 반환해요.
- 📄️ 커스텀 HTTP 핸들러 (Custom HTTP Handler): 성능과 제어를 위해 커스텀 aiohttp 세션을 구성해 LiteLLM 컴플리션에서 사용할 수 있어요.