LiteLLM 지원 프로바이더 개요

LiteLLM 지원 프로바이더 개요

LiteLLM의 진짜 힘은 '한 줄 호출로 어떤 모델이든 부른다'에 있어요. 그런데 그 힘을 누리려면 먼저 "어떤 벤더를 어떻게 등록하느냐"부터 알아야 합니다. 이 페이지는 LiteLLM이 지원하는 프로바이더(제공사)의 전체 지도를 보여드리고, 각각을 연결하는 방식이 어떻게 갈리는지를 정리해 드릴게요.

출처: 공식문서 - Providers

프로바이더라는 개념부터

프로바이더는 모델을 서빙해 주는 업체나 서비스를 가리켜요. OpenAI, Anthropic, Google Vertex AI, AWS Bedrock처럼 직접 모델을 만드는 기업도 있고, vLLM이나 Ollama처럼 우리가 직접 호스팅한 추론 서버도 프로바이더가 됩니다. LiteLLM은 이 수많은 프로바이더의 API를 OpenAI 형식 하나로 통일해서 호출해요. 그래서 코드는 completion(model="...") 한 가지 패턴만 알면 됩니다.

프로바이더는 크게 세 갈래로 나뉘어요.

  1. 정식 지원 프로바이더 — LiteLLM이 자체 변환 로직을 갖고 있어 anthropic/, vertex_ai/, bedrock/처럼 프리픽스만 붙이면 바로 호출되는 것들.
  2. OpenAI 호환(openai-like) 프로바이더 — OpenAI API를 그대로 흉내 내는 서버라서 openai/ 프리픽스로 우회 시키는 것들.
  3. 커스텀(custom) 프로바이더 — 우리가 직접 핸들러를 짜서 연결하는 것들.

각각 어떻게 연결을 시작하나요

LiteLLM 프로바이더 페이지의 맨 위는 둘로 나뉘어요.

  • Integrate as a Model Provider — 내가 새 프로바이더를 LiteLLM에 "등록"하는 입장. 내 API가 OpenAI 호환이면 JSON 한 파일만 고치면 되고, 아니라면 변환 클래스를 직접 작성합니다.
  • Add OpenAI-Compatible Provider (JSON) — Hyperbolic, Nscale처럼 이미 OpenAI 호환인 서비스들을 LiteLLM 설정 JSON에 한 줄 추가해서 쓰는 간단한 방법.

그 아래로는 각 프로바이더별 가이드가 줄지어 있어요. OpenAI, Azure OpenAI, Azure AI, Vertex AI, Google AI Studio, Anthropic, Bedrock, AWS Sagemaker, LiteLLM Proxy 등이 대표적입니다. 각 항목을 열면 해당 벤더의 인증 방식, 지원 엔드포인트, 예제 코드가 나옵니다.

프로바이더 선택 기준

  • 정식 지원인지 먼저 확인하세요. 정식 지원이면 프리픽스 + 인증 설정만으로 끝나요. 예를 들어 Anthropic은 anthropic/, Vertex는 vertex_ai/, Bedrock은 bedrock/ 프리픽스를 씁니다.
  • 정식 지원이 아니지만 OpenAI 호환이라면 openai/ 프리픽스로 우회할 수 있어요. 대신 가짜 API 키 문제가 생길 수 있으니, 해당 시점의 자세한 내용은 OpenAI 호환 엔드포인트 페이지를 보세요.
  • 우리 내부 서비스나 torch-serve 같은 독자 형식이라면 커스텀 API 서버와 프로바이더 등록 가이드를 따라 직접 핸들러를 만듭니다.

여기서 짚고 갈 것들

프로바이더 목록은 계속 늘어나요. LiteLLM은 릴리스마다 새 업체를 추가하고, 일부는 JSON만으로, 일부는 코드 등록으로 지원됩니다. 그래서 "지원되나요?"를 물어볼 때는 해당 프로바이더 페이지가 실제로 존재하는지를 먼저 확인하는 습관이 중요해요. 존재한다면 그 페이지가 곧 가장 정확한 연결 방법입니다.

이 지도에서 큰 줄기를 이해했다면, 다음 단계로 실제 연결 방법을 하나씩 따라가 보세요. OpenAI 호환 연결부터 시작하면 가장 빠르게 실습할 수 있어요.

더 알아보기