LiteLLM 가이드
LiteLLM 가이드
LiteLLM으로 하려는 작업별로 정리해 둔 집중 참고 자료 모음이에요. 요청 만들기, 도구 사용하기, 미디어 다루기, 컨텍스트 관리, 게이트웨이 안전 운영 같은 작업을 찾아보면 돼요.
출처: 문서
본문
가이드는 LiteLLM으로 하고 싶은 작업(요청 만들기, 도구 사용하기, 미디어 다루기, 컨텍스트 관리, 게이트웨이를 안전하게 운영하기)에 따라 정리된 집중 참고 자료예요.
LiteLLM이 처음이거나 SDK 경로를 먼저 써야 할지 Gateway 경로를 먼저 써야 할지 모르겠다면, Learn부터 시작해 보세요.
LiteLLM으로 구축하기 (Build With LiteLLM)
- ⚡ Core Requests — 스트리밍, 배칭, 구조화된 출력, 추론(Reasoning) 동작을 다뤄요.
- 🛠️ Tool Calling — 함수 호출, 웹 도구, 가로채기 패턴, 컴퓨터 사용, 코드 인터프리터, 도구 호출 위생(tool-call hygiene)을 다뤄요.
- 🖼️ Multimodal I/O — 비전(Vision), 오디오, PDF, 이미지 생성, 비디오 생성을 다뤄요.
- 📚 Retrieval & Knowledge — 벡터 스토어, 파일 검색, 인용, 지식 기반 라우팅을 다뤄요.
- 🧠 Prompts & Context — 프롬프트 캐싱, 트리밍, 포매팅, assistant prefill, 예측 출력(predicted outputs)을 다뤄요.
운영 & 확장 (Operate & Extend)
- 🎛️ Compatibility & Extensibility — 프로바이더별 파라미터, 모델 별칭, 파인튜닝 모델, 어댑터를 다뤄요.
- 🧪 Reliability, Testing & Spend — 재시도, 폴백, mock 응답, 예산 관리(budget controls)를 다뤄요.
- 🔒 Security & Network — SSL, 커스텀 CA 번들, HTTP 프록시 설정, 서비스별 검증을 다뤄요.