ValkeyEmbeddingRetriever

Valkey Document Store와 호환되는 임베딩 기반 Retriever예요. 쿼리와 문서 임베딩을 벡터 유사도로 비교해 관련 문서를 가져와요.

파이프라인에서 가장 흔한 위치: 1. RAG 파이프라인에서 Text Embedder 다음, ChatPromptBuilder 또는 PromptBuilder 앞 / 2. 의미 검색(semantic search) 파이프라인의 마지막 컴포넌트 / 3. 추출형 QA 파이프라인에서 Text Embedder 다음, TransformersExtractiveReader 앞 필수 init 변수: document_store — ValkeyDocumentStore 인스턴스 필수 run 변수: query_embedding — float 리스트 출력 변수: documents — 문서 리스트 API 레퍼런스: Valkey GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/valkey 패키지 이름: valkey-haystack

출처: 문서

본문

개요 (Overview)

ValkeyEmbeddingRetriever는 ValkeyDocumentStore와 호환되는 임베딩 기반 Retriever예요. 쿼리와 Document 임베딩을 비교하고, 벡터 유사도에 따라 ValkeyDocumentStore에서 쿼리와 가장 관련 있는 Document를 가져와요.

파라미터 (Parameters)

시스템에서 ValkeyEmbeddingRetriever를 쓸 때는 쿼리와 Document 임베딩이 준비돼 있어야 해요. 인덱싱 파이프라인에 문서 embedder를, 쿼리 파이프라인에 텍스트 embedder를 추가하면 돼요.

query_embedding 외에도 ValkeyEmbeddingRetriever는 top_k(가져올 최대 Document 수)와 filters(검색 범위를 좁히는 데 쓰임) 같은 선택적 파라미터를 받아요.

사용법 (Usage)

설치 (Installation)

Haystack에서 Valkey를 쓰려면 패키지를 설치해요:

pip install valkey-haystack

단독으로 사용하기 (On its own)

이 Retriever는 동작하려면 ValkeyDocumentStore 인스턴스와 인덱싱된 Document가 필요해요.

from haystack_integrations.document_stores.valkey import ValkeyDocumentStore
from haystack_integrations.components.retrievers.valkey import ValkeyEmbeddingRetriever

document_store = ValkeyDocumentStore(
    nodes_list=[("localhost", 6379)],
    index_name="my_documents",
    embedding_dim=768,
    distance_metric="cosine",
)
retriever = ValkeyEmbeddingRetriever(document_store=document_store)

# Using a fake vector to keep the example simpler
retriever.run(query_embedding=[0.1] * 768)

파이프라인에서 사용하기 (In a Pipeline)

이 페이지의 예시들은 sentence-transformers-haystack 패키지의 Sentence Transformers embedder를 사용해요. 예시를 실행하려면 설치하세요:

pip install sentence-transformers-haystack

from haystack import Document, Pipeline
from haystack_integrations.components.embedders.sentence_transformers import (
    SentenceTransformersDocumentEmbedder,
    SentenceTransformersTextEmbedder,
)
from haystack.components.writers import DocumentWriter
from haystack_integrations.document_stores.valkey import ValkeyDocumentStore
from haystack_integrations.components.retrievers.valkey import ValkeyEmbeddingRetriever

document_store = ValkeyDocumentStore(
    nodes_list=[("localhost", 6379)],
    index_name="my_documents",
    embedding_dim=768,
    distance_metric="cosine",
)
documents = [
    Document(content="There are over 7,000 languages spoken around the world today."),
    Document(
        content="Elephants have been observed to behave in a way that indicates a high level of self-awareness, such as recognizing themselves in mirrors.",
    ),
    Document(
        content="In certain parts of the world, like the Maldives, Puerto Rico, and San Diego, you can witness the phenomenon of bioluminescent waves.",
    ),
]

indexing = Pipeline()
indexing.add_component("embedder", SentenceTransformersDocumentEmbedder())
indexing.add_component("writer", DocumentWriter(document_store))
indexing.connect("embedder.documents", "writer.documents")
indexing.run({"embedder": {"documents": documents}})

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", SentenceTransformersTextEmbedder())
query_pipeline.add_component(
    "retriever",
    ValkeyEmbeddingRetriever(document_store=document_store),
)
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "How many languages are there?"
result = query_pipeline.run({"text_embedder": {"text": query}})
print(result["retriever"]["documents"][0])

ValkeyEmbeddingRetriever를 쓰는 전체 RAG 예시는 ValkeyDocumentStore 문서를 참고하세요.

ValkeyEmbeddingRetriever