FAISSEmbeddingRetriever
FAISSEmbeddingRetriever
FAISSDocumentStore와 호환되는 임베딩 기반 리트리버예요.
출처: 문서
본문
- 파이프라인에서의 일반적인 위치: 1. RAG 파이프라인에서 Text Embedder 뒤,
PromptBuilder앞. 2. 시맨틱 검색 파이프라인의 마지막 컴포넌트. 3. 추출형 QA 파이프라인에서 Text Embedder 뒤,TransformersExtractiveReader앞. - 필수 초기화 변수:
document_store(FAISSDocumentStore인스턴스) - 필수 실행 변수:
query_embedding(쿼리를 나타내는 벡터, float 리스트) - 출력 변수:
documents(문서 리스트)
개요 (Overview)
FAISSEmbeddingRetriever는 FAISSDocumentStore를 조회하는 임베딩 기반 리트리버예요. 쿼리 임베딩을 FAISS에 저장된 문서 임베딩과 비교해 가장 유사한 문서를 반환해요.
이 리트리버는 Document Store에 미리 계산된 임베딩이 있고, 런타임에는 쿼리 임베딩이 있기를 기대해요. 인덱싱 파이프라인의 Document Embedder와 쿼리 파이프라인의 Text Embedder로 이 임베딩을 생성할 수 있어요.
query_embedding 외에도 다음을 전달할 수 있어요.
top_k: 반환할 최대 문서 수.filters: 검색된 문서를 제한하는 메타데이터 필터.
초기화 시 기본 필터와 filter_policy도 구성할 수 있어요.
사용법 (Usage)
단독 사용 (On its own)
from haystack_integrations.document_stores.faiss import FAISSDocumentStore
from haystack_integrations.components.retrievers.faiss import FAISSEmbeddingRetriever
document_store = FAISSDocumentStore(embedding_dim=768)
retriever = FAISSEmbeddingRetriever(document_store=document_store, top_k=5)
# Example query embedding
result = retriever.run(query_embedding=[0.1] * 768)
print(result["documents"])
파이프라인에서 사용 (In a pipeline)
이 페이지의 예시는 sentence-transformers-haystack 패키지의 Sentence Transformers 임베더를 사용해요. 예시를 실행하려면 설치하세요.
pip install sentence-transformers-haystack
from haystack import Document, Pipeline
from haystack_integrations.components.embedders.sentence_transformers import (
SentenceTransformersDocumentEmbedder,
SentenceTransformersTextEmbedder,
)
from haystack.document_stores.types import DuplicatePolicy
from haystack_integrations.document_stores.faiss import FAISSDocumentStore
from haystack_integrations.components.retrievers.faiss import FAISSEmbeddingRetriever
document_store = FAISSDocumentStore(embedding_dim=768)
documents = [
Document(content="There are over 7,000 languages spoken around the world today."),
Document(
content="Elephants have been observed to behave in a way that indicates a high level of intelligence.",
),
Document(
content="In certain places, you can witness the phenomenon of bioluminescent waves.",
),
]
document_embedder = SentenceTransformersDocumentEmbedder()
documents_with_embeddings = document_embedder.run(documents)["documents"]
document_store.write_documents(
documents_with_embeddings,
policy=DuplicatePolicy.OVERWRITE,
)
query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", SentenceTransformersTextEmbedder())
query_pipeline.add_component(
"retriever",
FAISSEmbeddingRetriever(document_store=document_store),
)
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")
query = "How many languages are there?"
result = query_pipeline.run({"text_embedder": {"text": query}})
print(result["retriever"]["documents"][0])