임베더
임베더 (Embedders)
임베더(Embedder)는 사전 학습된 모델을 이용해 텍스트나 문서를 벡터 표현으로 바꾸는 컴포넌트예요. 이렇게 만든 임베딩은 질의응답, 정보 검색 같은 작업에서 텍스트 간 유사도를 재는 기준이 돼요. 임베딩 기반 검색을 구성하고 싶다면 쿼리용 TextEmbedder와 문서용 DocumentEmbedder를 어떤 조합으로 쓸지 정하는 것부터 시작하면 돼요.
출처: 공식문서
개요
임베더는 사전 학습된 모델을 이용해 텍스트나 문서를 벡터 표현으로 변환해요. 그 임베딩을 질의응답, 정보 검색 등의 작업에 사용할 수 있어요.
자기에게 맞는 임베더를 고르는 일반적인 지침은 올바른 임베더 고르기 페이지를 참고하세요.
Haystack에서 사용할 수 있는 임베더 목록은 다음과 같아요.
| Embedder | 설명 |
|---|---|
| AmazonBedrockTextEmbedder | Amazon Bedrock API를 통해 모델로 텍스트(예: 쿼리)의 임베딩을 계산해요. |
| AmazonBedrockDocumentEmbedder | Amazon Bedrock API를 통해 모델로 문서의 임베딩을 계산해요. |
| AmazonBedrockDocumentImageEmbedder | 문서의 이미지 임베딩을 계산해요. |
| AzureOpenAITextEmbedder | Azure를 통해 배포된 OpenAI 모델로 텍스트(예: 쿼리)의 임베딩을 계산해요. |
| AzureOpenAIDocumentEmbedder | Azure를 통해 배포된 OpenAI 모델로 문서의 임베딩을 계산해요. |
| CohereTextEmbedder | Cohere 모델로 단일 문자열(예: 쿼리)을 임베딩해요. Cohere API 키가 필요해요. |
| CohereDocumentEmbedder | Cohere 모델로 문서 리스트를 임베딩해요. Cohere API 키가 필요해요. |
| CohereDocumentImageEmbedder | 문서 리스트의 이미지 임베딩을 계산해 각 문서의 embedding 필드에 결과 벡터를 저장해요. |
| EdenAITextEmbedder | Eden AI 임베딩 모델로 단일 문자열(예: 쿼리)을 임베딩해요. |
| EdenAIDocumentEmbedder | Eden AI 임베딩 모델로 문서 리스트를 임베딩해요. |
| FastembedTextEmbedder | Fastembed가 지원하는 임베딩 모델로 문자열의 임베딩을 계산해요. |
| FastembedDocumentEmbedder | Fastembed가 지원하는 모델로 문서 리스트의 임베딩을 계산해요. |
| FastembedSparseTextEmbedder | Fastembed가 지원하는 모델로 단일 문자열(예: 쿼리)을 희소 벡터로 임베딩해요. |
| FastembedSparseDocumentEmbedder | Fastembed가 지원하는 모델로 문서 리스트에 희소 임베딩을 채워 넣어요. |
| GoogleGenAITextEmbedder | Google AI 모델로 단일 문자열(예: 쿼리)을 임베딩해요. Google API 키가 필요해요. |
| GoogleGenAIDocumentEmbedder | Google AI 모델로 문서 리스트를 임베딩해요. Google API 키가 필요해요. |
| GoogleGenAIMultimodalDocumentEmbedder | Google AI 모델로 비텍스트 문서 리스트를 임베딩해요. Google API 키가 필요해요. |
| HuggingFaceAPIDocumentEmbedder | 다양한 Hugging Face API로 문서 임베딩을 계산해요. |
| HuggingFaceAPITextEmbedder | 다양한 Hugging Face API로 문자열을 임베딩해요. |
| JinaTextEmbedder | Jina AI 임베딩 모델로 단일 문자열(예: 쿼리)을 임베딩해요. Jina AI API 키가 필요해요. |
| JinaDocumentEmbedder | Jina AI 임베딩 모델로 문서 리스트를 임베딩해요. Jina AI API 키가 필요해요. |
| JinaDocumentImageEmbedder | 문서 리스트의 이미지 임베딩을 계산해 각 문서의 embedding 필드에 결과 벡터를 저장해요. |
| MistralTextEmbedder | Mistral API와 모델로 문자열을 벡터로 변환해요. |
| MistralDocumentEmbedder | Mistral API와 모델로 문서 리스트의 임베딩을 계산해요. |
| MockTextEmbedder | API 호출 없이 문자열에 대한 결정적 임베딩을 돌려줘요 — 테스트와 프로토타입에서 실제 Text Embedder를 대체하는 무비용 대역이에요. |
| MockDocumentEmbedder | API 호출 없이 문서 리스트에 대한 결정적 임베딩을 돌려줘요 — 테스트와 프로토타입에서 실제 Document Embedder를 대체하는 무비용 대역이에요. |
| NvidiaTextEmbedder | 단일 문자열(예: 쿼리)을 벡터로 임베딩해요. |
| NvidiaDocumentEmbedder | 문서의 메타데이터에 콘텐츠 임베딩을 채워 넣어요. |
| OllamaTextEmbedder | Ollama 라이브러리와 호환되는 임베딩 모델로 문자열의 임베딩을 계산해요. |
| OllamaDocumentEmbedder | Ollama 라이브러리와 호환되는 임베딩 모델로 문서 리스트의 임베딩을 계산해요. |
| OpenAIDocumentEmbedder | OpenAI 임베딩 모델로 문서 리스트를 임베딩해요. 활성화된 OpenAI 계정의 API 키가 필요해요. |
| OpenAITextEmbedder | OpenAI 임베딩 모델로 단일 문자열(예: 쿼리)을 임베딩해요. 활성화된 OpenAI 계정의 API 키가 필요해요. |
| OptimumTextEmbedder | Hugging Face Optimum 라이브러리로 로드한 모델로 텍스트를 임베딩해요. |
| OptimumDocumentEmbedder | Hugging Face Optimum 라이브러리로 로드한 모델로 문서의 임베딩을 계산해요. |
| PerplexityDocumentEmbedder | Perplexity 임베딩 모델로 문서 리스트의 임베딩을 계산해요. Perplexity API 키가 필요해요. |
| PerplexityTextEmbedder | Perplexity 임베딩 모델로 단일 문자열(예: 쿼리)을 임베딩해요. Perplexity API 키가 필요해요. |
| SentenceTransformersTextEmbedder | Sentence Transformer 모델로 단일 문자열(예: 쿼리)을 임베딩해요. |
| SentenceTransformersDocumentEmbedder | Sentence Transformer 모델로 문서 리스트를 임베딩해요. |
| SentenceTransformersDocumentImageEmbedder | 문서 리스트의 이미지 임베딩을 계산해 각 문서의 embedding 필드에 결과 벡터를 저장해요. |
| SentenceTransformersSparseTextEmbedder | Sentence Transformers 모델로 단일 문자열(예: 쿼리)을 희소 벡터로 임베딩해요. |
| SentenceTransformersSparseDocumentEmbedder | Sentence Transformers 모델로 문서 리스트에 희소 임베딩을 채워 넣어요. |
| STACKITTextEmbedder | STACKIT API로 텍스트 임베딩을 하게 해 줘요. |
| STACKITDocumentEmbedder | STACKIT API로 문서 임베딩을 하게 해 줘요. |
| TwelveLabsTextEmbedder | TwelveLabs Marengo 멀티모달 모델로 단일 문자열(예: 쿼리)을 임베딩해요. TwelveLabs API 키가 필요해요. |
| TwelveLabsDocumentEmbedder | TwelveLabs Marengo 멀티모달 모델로 문서 리스트를 임베딩해요. TwelveLabs API 키가 필요해요. |
| VertexAITextEmbedder | VertexAI 임베딩 API를 통해 모델로 텍스트(예: 쿼리)의 임베딩을 계산해요. 이 통합은 곧 지원 중단될 예정이라 GoogleGenAITextEmbedder 통합을 권장해요. |
| VertexAIDocumentEmbedder | VertexAI 임베딩 API를 통해 모델로 문서의 임베딩을 계산해요. 이 통합은 곧 지원 중단될 예정이라 GoogleGenAIDocumentEmbedder 통합을 권장해요. |
| VLLMTextEmbedder | vLLM으로 서빙되는 모델로 문자열의 임베딩을 계산해요. |
| VLLMDocumentEmbedder | vLLM으로 서빙되는 모델로 문서 리스트의 임베딩을 계산해요. |
| WatsonxTextEmbedder | IBM Watsonx 모델로 텍스트(예: 쿼리)의 임베딩을 계산해요. |
| WatsonxDocumentEmbedder | IBM Watsonx 모델로 문서의 임베딩을 계산해요. |