WeaviateHybridRetriever

BM25 키워드 검색과 벡터 유사도를 결합해 Weaviate Document Store에서 문서를 가져오는 Retriever예요. 두 검색을 병렬로 실행하고 결과를 하나의 랭킹 목록으로 융합해요.

파이프라인에서 가장 흔한 위치: 1. RAG 파이프라인에서 Text Embedder 다음, PromptBuilder 앞 / 2. 하이브리드 검색 파이프라인의 마지막 컴포넌트 / 3. 추출형 QA 파이프라인에서 Text Embedder 다음, TransformersExtractiveReader 앞 필수 init 변수: document_store — WeaviateDocumentStore 인스턴스 필수 run 변수: query — 문자열 / query_embedding — float 리스트 출력 변수: documents — 쿼리와 일치하는 문서 리스트 API 레퍼런스: Weaviate GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/weaviate 패키지 이름: weaviate-haystack

출처: 문서

본문

개요 (Overview)

WeaviateHybridRetriever는 키워드(BM25) 검색과 벡터 유사도 검색을 결합해 WeaviateDocumentStore에서 문서를 가져와요. Weaviate는 두 검색을 병렬로 실행하고 결과를 하나의 랭킹 목록으로 융합해요. 이 Retriever는 텍스트 쿼리와 그에 해당하는 임베딩 둘 다 필요해요.

alpha 파라미터는 각 검색 방법이 최종 결과에 기여하는 정도를 조절해요:

alpha = 0.0: 키워드(BM25) 점수만 사용
alpha = 1.0: 벡터 유사도 점수만 사용
그 사이 값은 둘을 혼합하는데, 값이 클수록 벡터 점수를, 작을수록 BM25를 우선해요.

alpha를 지정하지 않으면 기본값 0.7로 설정되며, 이는 Weaviate 서버 기본값이기도 해요.

또한 max_vector_distance 파라미터로 벡터 컴포넌트의 임계값을 설정할 수 있어요. 이 임계값보다 큰 거리의 후보는 혼합 전에 벡터 부분에서 제외돼요.

하이브리드 검색 파라미터에 대한 더 자세한 내용은 공식 Weaviate 문서를 참고하세요.

파라미터 (Parameters)

WeaviateHybridRetriever를 쓸 때는 쿼리 텍스트와 그 임베딩 둘 다 제공해야 해요. 쿼리 파이프라인에 Text Embedder를 추가하면 돼요.

query와 query_embedding 외에도 이 retriever는 top_k(반환할 최대 문서 수), filters(검색 범위를 좁히는 데 쓰임), filter_policy(필터를 적용하는 방식을 결정) 같은 선택적 파라미터를 받아요.

사용법 (Usage)

설치 (Installation)

Haystack에서 Weaviate를 쓰려면 패키지를 설치해요:

pip install weaviate-haystack

단독으로 사용하기 (On its own)

이 Retriever는 동작하려면 WeaviateDocumentStore 인스턴스와 인덱싱된 문서가 필요해요.

from haystack_integrations.document_stores.weaviate.document_store import (
    WeaviateDocumentStore,
)
from haystack_integrations.components.retrievers.weaviate import WeaviateHybridRetriever

document_store = WeaviateDocumentStore(url="http://localhost:8080")
retriever = WeaviateHybridRetriever(document_store=document_store)
# using a fake vector to keep the example simpler
retriever.run(query="How many languages are there?", query_embedding=[0.1] * 768)

파이프라인 안에서 사용하기 (In a pipeline)

이 페이지의 예시들은 sentence-transformers-haystack 패키지의 Sentence Transformers embedder를 사용해요. 예시를 실행하려면 설치하세요:

pip install sentence-transformers-haystack

from haystack.document_stores.types import DuplicatePolicy
from haystack import Document
from haystack import Pipeline
from haystack_integrations.components.embedders.sentence_transformers import (
    SentenceTransformersTextEmbedder,
    SentenceTransformersDocumentEmbedder,
)
from haystack_integrations.document_stores.weaviate.document_store import (
    WeaviateDocumentStore,
)
from haystack_integrations.components.retrievers.weaviate import (
    WeaviateHybridRetriever,
)

document_store = WeaviateDocumentStore(url="http://localhost:8080")
documents = [
    Document(content="There are over 7,000 languages spoken around the world today."),
    Document(
        content="Elephants have been observed to behave in a way that indicates a high level of self-awareness, such as recognizing themselves in mirrors.",
    ),
    Document(
        content="In certain parts of the world, like the Maldives, Puerto Rico, and San Diego, you can witness the phenomenon of bioluminescent waves.",
    ),
]
document_embedder = SentenceTransformersDocumentEmbedder()
documents_with_embeddings = document_embedder.run(documents)

document_store.write_documents(
    documents_with_embeddings.get("documents"),
    policy=DuplicatePolicy.OVERWRITE,
)

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", SentenceTransformersTextEmbedder())
query_pipeline.add_component(
    "retriever",
    WeaviateHybridRetriever(document_store=document_store),
)
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "How many languages are there?"
result = query_pipeline.run(
    {"text_embedder": {"text": query}, "retriever": {"query": query}},
)
print(result["retriever"]["documents"][0])

Alpha 파라미터 조정 (Adjusting the Alpha Parameter)

alpha 파라미터는 초기화 때 설정하거나 쿼리 시점에 오버라이드할 수 있어요:

from haystack_integrations.components.retrievers.weaviate import WeaviateHybridRetriever

# Favor keyword search (good for exact matches)
retriever_keyword_heavy = WeaviateHybridRetriever(
    document_store=document_store,
    alpha=0.25,
)
# Balanced hybrid search
retriever_balanced = WeaviateHybridRetriever(document_store=document_store, alpha=0.5)
# Favor vector search (good for semantic similarity)
retriever_vector_heavy = WeaviateHybridRetriever(
    document_store=document_store,
    alpha=0.75,
)

# Override alpha at query time
result = retriever_balanced.run(
    query="artificial intelligence",
    query_embedding=embedding,
    alpha=0.8,
)

WeaviateHybridRetriever