Vector Stores - 개요
Vector Stores - 개요
LiteLLM은 벡터 스토어를 다루는 세 가지 뚜렷한 방법이 있어요. 서로 별개의 API이고 각각 엔드포인트가 있으므로, 어느 것이 필요한지 아는 것이 많은 혼란을 줄여줍니다:
-
LiteLLM Managed Vector Stores: 제공자에 이미 벡터 스토어(Bedrock Knowledge Base, Vertex AI Search datastore, Azure AI Search index 등)가 있다면, LiteLLM에 한 번 등록하세요. LiteLLM이 제공자, 자격 증명, id 매핑을 저장합니다. 그러면 proxy의 모든 키가 하나의 OpenAI 호환 엔드포인트로 쿼리하거나, RAG를 위해
/chat/completions와/v1/responses요청에 첨부할 수 있어요. 등록은config.yaml, 관리 API(POST /vector_store/new), 또는 Admin UI에서 이루어집니다. -
OpenAI 호환 벡터 스토어 API: OpenAI API 형태를 사용해 LiteLLM을 통해 제공자 자체에 벡터 스토어를 만들고 관리합니다.
POST /v1/vector_stores는 상류에 새 스토어를 만들고,/v1/vector_stores/{id}/files는 파일을 관리하며,/rag/ingest는 업로드, 청킹, 임베딩, 스토어 생성을 한 호출로 묶습니다. -
Pass-through 제공자 API: proxy를 통해 제공자의 네이티브 API(네이티브 요청/응답 형태)를 호출합니다. 예:
/vertex_ai/discovery/...또는/bedrock/knowledgebases/.... 통합 API가 노출하지 않는 제공자 기능이 필요할 때 사용하세요.
용어
LiteLLM의 managed vector store는 새 저장소가 아닌 등록(registration) 입니다. LiteLLM은 스토어가 어느 제공자에 있는지, 어떻게 인증하는지를 저장해서 요청이 id로 참조할 수 있게 합니다. 제공자에는 아무것도 생성되지 않아요. 예전 문서에서는 이 개념을 "knowledge base"라고 불렀는데 같은 것입니다.
어느 엔드포인트가 필요한가?
| You want to | Use | Docs |
| Query an existing provider store through one unified API | Register it, then POST /v1/vector_stores/{id}/search | Managed Vector Stores |
| Give a model RAG context in /chat/completions | tools: [{"type": "file_search", "vector_store_ids": [...]}] with a registered store | Using Vector Stores with Chat Completions |
| Use file_search on /v1/responses | Registered store + the file_search tool | File Search tutorial |
| Create a brand new store on the provider | POST /v1/vector_stores | Create |
| Upload, chunk, embed, and store documents in one call | POST /rag/ingest | RAG Ingest |
| Search plus rerank plus completion in one call | POST /rag/query | RAG Query |
| Manage the files inside a store | /v1/vector_stores/{id}/files | Files |
| Call the provider's native API directly | Pass-through routes | Vertex AI Search, Azure AI (passthrough) |
이름이 비슷한 두 개의 create 엔드포인트를 주의하세요. POST /v1/vector_stores(복수)는 제공자에 새 스토어를 만듭니다. POST /vector_store/new(단수)는 기존 스토어를 LiteLLM에 등록합니다. 전체 관리 API는 Managed Vector Stores를 참고하세요.
제공자 지원
통합 엔드포인트 지원은 제공자에 따라 다릅니다. Search는 POST /v1/vector_stores/{id}/search, Create는 POST /v1/vector_stores입니다.
| Provider (custom_llm_provider) | Search | Create | Notes |
| openai | Yes | Yes | Also supports the files API |
| azure (Azure OpenAI) | Yes | Yes | |
| bedrock (Knowledge Bases) | Yes | No | Setup |
| vertex_ai (RAG Engine) | Yes | Yes | |
| vertex_ai/search_api (Vertex AI Search) | Yes | No | Register the datastore as a managed vector store |
| azure_ai (Azure AI Search) | Yes | No | Setup |
| gemini (File Search) | Yes | Yes | Setup |
| milvus | Yes | Yes | Setup |
| mongodb (BETA) | Yes | No | Searches existing MongoDB Vector Search indexes on Atlas or self-managed deployments. Setup, chat completions, worked example |
| pg_vector | Yes | Yes | Requires the litellm-pgvector connector |
| s3_vectors | Yes | No | Create via /rag/ingest, Setup |
| valkey | Yes | No | Searches an existing valkey-search index, setup |
| ragflow | No | Yes | Dataset management only, setup |
조회(retrieve), 목록(list), 업데이트(update), 삭제(delete)(GET/POST/DELETE /v1/vector_stores/{id})는 OpenAI 요청 형태를 그대로 전달하므로, OpenAI 형태의 벡터 스토어 API를 노출하는 제공자(OpenAI, Azure OpenAI)와 함께 사용하세요. 라우팅 세부 사항은 Create를 참고하세요.