VespaEmbeddingRetriever

Vespa Document Store와 호환되는 임베딩 기반 Retriever예요. nearest-neighbor 검색으로 쿼리 임베딩에 가장 가까운 문서를 찾아요.

파이프라인에서 가장 흔한 위치: 1. RAG 파이프라인에서 Text Embedder 다음, PromptBuilder 앞 / 2. 의미 검색 파이프라인의 마지막 컴포넌트 / 3. 추출형 QA 파이프라인에서 Text Embedder 다음, TransformersExtractiveReader 앞 필수 init 변수: document_store — VespaDocumentStore 인스턴스 필수 run 변수: query_embedding — 쿼리를 나타내는 벡터(float 리스트) 출력 변수: documents — 문서 리스트 API 레퍼런스: Vespa GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/vespa 패키지 이름: vespa-haystack

출처: 문서

본문

개요 (Overview)

VespaEmbeddingRetriever는 VespaDocumentStore와 호환되는 밀집 임베딩 기반 Retriever예요. Vespa의 nearest-neighbor 검색을 사용해 쿼리 임베딩에 가장 가까운 임베딩을 가진 Document를 찾고, 설정 가능한 rank 프로필로 점수를 매겨요.

파이프라인에서 VespaEmbeddingRetriever를 쓸 때는 쿼리와 Document 임베딩이 준비돼 있어야 해요. 인덱싱 파이프라인에 Document Embedder를, 쿼리 파이프라인에 Text Embedder를 추가하면 돼요.

query_embedding 외에도 VespaEmbeddingRetriever는 top_k(가져올 최대 Document 수)와 filters(검색 범위를 좁히는 데 쓰임) 같은 선택적 파라미터를 받아요.

이 retriever는 밑바닥 Vespa 애플리케이션이 다음을 노출할 것을 기대해요:

임베딩용 텐서 필드 (기본 이름 embedding, Document Store에서 embedding_field로 설정 가능).
nearest-neighbor 후보에 점수를 매기는 rank 프로필 (기본 이름 semantic, ranking 파라미터로 설정 가능). 프로필은 보통 closeness(field, embedding)을 사용하고 쿼리 입력 텐서(기본 이름 query_embedding, query_tensor_name으로 설정 가능)를 받아요.

또한 target_hits로 검색을 조정할 수 있어요. 이 값은 1단계 랭킹 전에 각 Vespa 콘텐츠 노드가 쿼리당 고려할 neighbor 수를 설정해요.

설치 (Installation)

vespa-haystack 통합을 설치해요:

pip install vespa-haystack

Vespa를 로컬로 실행하려면 Vespa quick start를 참고하세요.

이 페이지의 예시들은 sentence-transformers-haystack 패키지의 Sentence Transformers embedder를 사용해요. 예시를 실행하려면 설치하세요:

pip install sentence-transformers-haystack

사용법 (Usage)

단독으로 사용하기 (On its own)

이 Retriever는 동작하려면 VespaDocumentStore와 인덱싱된 Document가 필요해요. Vespa 애플리케이션에 연결하려면 VESPA_URL 환경 변수를 설정하거나 Document Store에 url=...을 전달하세요.

from haystack_integrations.document_stores.vespa import VespaDocumentStore
from haystack_integrations.components.retrievers.vespa import (
    VespaEmbeddingRetriever,
)

document_store = VespaDocumentStore(schema="doc", namespace="doc")
retriever = VespaEmbeddingRetriever(document_store=document_store)

## using a fake vector to keep the example simpler
retriever.run(query_embedding=[0.1] * 768)

파이프라인에서 사용하기 (In a Pipeline)

from haystack import Document, Pipeline
from haystack_integrations.components.embedders.sentence_transformers import (
    SentenceTransformersDocumentEmbedder,
    SentenceTransformersTextEmbedder,
)
from haystack.components.writers import DocumentWriter
from haystack_integrations.document_stores.vespa import VespaDocumentStore
from haystack_integrations.components.retrievers.vespa import (
    VespaEmbeddingRetriever,
)

document_store = VespaDocumentStore(
    schema="doc",
    namespace="doc",
    content_field="content",
    embedding_field="embedding",
    metadata_fields=["category"],
)
documents = [
    Document(
        content="Haystack integrates with Vespa for search.",
        meta={"category": "docs"},
    ),
    Document(
        content="Vespa supports lexical and vector retrieval.",
        meta={"category": "docs"},
    ),
    Document(content="Cats sleep most of the day.", meta={"category": "animals"}),
]

indexing = Pipeline()
indexing.add_component("embedder", SentenceTransformersDocumentEmbedder())
indexing.add_component("writer", DocumentWriter(document_store=document_store))
indexing.connect("embedder", "writer")
indexing.run({"embedder": {"documents": documents}})

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", SentenceTransformersTextEmbedder())
query_pipeline.add_component(
    "retriever",
    VespaEmbeddingRetriever(
        document_store=document_store,
        top_k=2,
        query_tensor_name="query_embedding",
    ),
)
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "semantic vector search"
result = query_pipeline.run({"text_embedder": {"text": query}})
print(result["retriever"]["documents"][0])

VespaEmbeddingRetriever