VespaKeywordRetriever

쿼리와 일치하는 문서를 Vespa Document Store에서 가져오는 키워드 기반 Retriever예요. 어휘 검색(lexical search)에 쓰여요.

파이프라인에서 가장 흔한 위치: 1. RAG 파이프라인의 PromptBuilder 앞 / 2. 키워드 검색 파이프라인의 마지막 컴포넌트 / 3. 추출형 QA 파이프라인의 TransformersExtractiveReader 앞 필수 init 변수: document_store — VespaDocumentStore 인스턴스 필수 run 변수: query — 문자열 출력 변수: documents — 쿼리와 일치하는 문서 리스트 API 레퍼런스: Vespa GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/vespa 패키지 이름: vespa-haystack

출처: 문서

본문

개요 (Overview)

VespaKeywordRetriever는 VespaDocumentStore와 호환되는 키워드 기반 Retriever예요. Vespa 애플리케이션에 YQL userQuery()를 실행하고, 설정 가능한 rank 프로필(기본 bm25, 보통 Vespa의 BM25 랭킹 기능을 사용)로 결과에 점수를 매겨요.

이 retriever는 밑바닥 Vespa 애플리케이션이 다음을 노출할 것을 기대해요:

Document 본문용 텍스트 필드 (기본 이름 content, Document Store에서 content_field로 설정 가능). 이 필드는 Vespa 스키마에서 텍스트 매칭용으로 인덱싱돼 있어야 해요.
어휘 매칭에 점수를 매기는 rank 프로필 (기본 이름 bm25, ranking 파라미터로 설정 가능). 스키마 기본 프로필을 쓰려면 ranking=None을 전달하세요.

query 외에도 VespaKeywordRetriever는 top_k(가져올 최대 Document 수)와 filters(검색 범위를 좁히는 데 쓰임) 같은 선택적 파라미터를 받아요.

설치 (Installation)

vespa-haystack 통합을 설치해요:

pip install vespa-haystack

Vespa를 로컬로 실행하려면 Vespa quick start를 참고하세요.

사용법 (Usage)

단독으로 사용하기 (On its own)

이 Retriever는 동작하려면 VespaDocumentStore와 인덱싱된 Document가 필요해요. Vespa 애플리케이션에 연결하려면 VESPA_URL 환경 변수를 설정하거나 Document Store에 url=...을 전달하세요.

from haystack_integrations.document_stores.vespa import VespaDocumentStore
from haystack_integrations.components.retrievers.vespa import (
    VespaKeywordRetriever,
)

document_store = VespaDocumentStore(schema="doc", namespace="doc")
retriever = VespaKeywordRetriever(document_store=document_store)
retriever.run(query="my nice query")

RAG 파이프라인에서 사용하기 (In a RAG pipeline)

이 코드를 실행하는 데 필요한 전제 조건은 다음과 같아요:

OpenAI API 키와 함께 OPENAI_API_KEY 환경 변수 설정.
Vespa 애플리케이션에 연결하기 위한 VESPA_URL 환경 변수 설정 (또는 Document Store에 url=... 전달).
content 텍스트 필드, category 메타데이터 필드, bm25 rank 프로필이 있는 배포된 Vespa 스키마.

from haystack import Document, Pipeline
from haystack.components.builders.answer_builder import AnswerBuilder
from haystack.components.builders.chat_prompt_builder import ChatPromptBuilder
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.document_stores.types import DuplicatePolicy
from haystack_integrations.document_stores.vespa import VespaDocumentStore
from haystack_integrations.components.retrievers.vespa import (
    VespaKeywordRetriever,
)

## Create a RAG query pipeline
prompt_template = [
    ChatMessage.from_system("You are a helpful assistant."),
    ChatMessage.from_user(
        "Given these documents, answer the question.\nDocuments:\n"
        "{% for doc in documents %}{{ doc.content }}{% endfor %}\n"
        "Question: {{question}}\nAnswer:",
    ),
]

document_store = VespaDocumentStore(
    schema="doc",
    namespace="doc",
    content_field="content",
    metadata_fields=["category"],
)
documents = [
    Document(
        content="Haystack integrates with Vespa for search.",
        meta={"category": "docs"},
    ),
    Document(
        content="Vespa supports lexical and vector retrieval.",
        meta={"category": "docs"},
    ),
    Document(
        content="This note is about something else entirely.",
        meta={"category": "misc"},
    ),
]
document_store.write_documents(documents=documents, policy=DuplicatePolicy.OVERWRITE)

retriever = VespaKeywordRetriever(
    document_store=document_store,
    filters={"field": "meta.category", "operator": "==", "value": "docs"},
)

rag_pipeline = Pipeline()
rag_pipeline.add_component(name="retriever", instance=retriever)
rag_pipeline.add_component(
    instance=ChatPromptBuilder(
        template=prompt_template,
        required_variables={"question", "documents"},
    ),
    name="prompt_builder",
)
rag_pipeline.add_component(instance=OpenAIChatGenerator(), name="llm")
rag_pipeline.add_component(instance=AnswerBuilder(), name="answer_builder")
rag_pipeline.connect("retriever", "prompt_builder.documents")
rag_pipeline.connect("prompt_builder.prompt", "llm.messages")
rag_pipeline.connect("llm.replies", "answer_builder.replies")
rag_pipeline.connect("retriever", "answer_builder.documents")

question = "How does Haystack work with Vespa?"
result = rag_pipeline.run(
    {
        "retriever": {"query": question},
        "prompt_builder": {"question": question},
        "answer_builder": {"query": question},
    },
)
print(result["answer_builder"])

VespaKeywordRetriever