WatsonxDocumentEmbedder

IBM watsonx.ai의 임베딩 모델로 문서의 임베딩을 계산해 주는 컴포넌트예요. 이 벡터들이 있어야 문서 컬렉션에서 임베딩 검색을 수행할 수 있어요.

파이프라인에서 가장 흔한 위치: 인덱싱 파이프라인의 DocumentWriter 앞 필수 init 변수: api_key — IBM Cloud API 키. WATSONX_API_KEY 환경 변수로도 설정할 수 있어요. / project_id — IBM Cloud 프로젝트 ID. WATSONX_PROJECT_ID 환경 변수로도 설정할 수 있어요. 필수 run 변수: documents — 임베딩할 문서 리스트 출력 변수: documents — 임베딩으로 보강된 문서 리스트 / meta — 메타데이터 문자열 딕셔너리 API 레퍼런스: Watsonx GitHub 링크: https://github.com/deepset-ai/haystack-core-integrations/tree/main/integrations/watsonx 패키지 이름: watsonx-haystack

출처: 문서

본문

개요 (Overview)

WatsonxDocumentEmbedder는 문서 내용의 임베딩으로 문서 메타데이터를 보강해요. 문자열 하나를 임베딩하려면 WatsonxTextEmbedder를 사용하면 돼요.

이 컴포넌트는 ibm/slate-30m-english-rtrvr-v2 같은 IBM watsonx.ai 임베딩 모델을 지원해요. 기본 모델은 ibm/slate-30m-english-rtrvr-v2이에요. 지원되는 전체 모델 목록은 IBM의 모델 문서에서 확인할 수 있어요.

Haystack에서 이 통합을 쓰려면 설치해요:

pip install watsonx-haystack

이 컴포넌트는 기본적으로 WATSONX_API_KEY와 WATSONX_PROJECT_ID 환경 변수를 사용해요. 그렇지 않으면 초기화할 때 api_key와 project_id로 API 자격 증명을 넘길 수 있어요:

embedder = WatsonxDocumentEmbedder(
    api_key=Secret.from_token("<your-api-key>"),
    project_id=Secret.from_token("<your-project-id>"),
)

IBM Cloud 자격 증명을 얻으려면 https://cloud.ibm.com/로 가면 돼요.

메타데이터 임베딩 (Embedding Metadata)

텍스트 문서는 종종 여러 메타데이터를 함께 가져와요. 메타데이터가 뚜렷하고 의미상 의미가 있다면 문서 텍스트와 함께 임베딩해서 검색 성능을 높일 수 있어요.

Document Embedder를 사용해 이렇게 할 수 있어요:

from haystack import Document
from haystack_integrations.components.embedders.watsonx.document_embedder import (
    WatsonxDocumentEmbedder,
)
from haystack.utils import Secret

doc = Document(content="some text", meta={"title": "relevant title", "page number": 18})
embedder = WatsonxDocumentEmbedder(
    api_key=Secret.from_env_var("WATSONX_API_KEY"),
    project_id=Secret.from_env_var("WATSONX_PROJECT_ID"),
    meta_fields_to_embed=["title"],
)
docs_w_embeddings = embedder.run(documents=[doc])["documents"]

사용법 (Usage)

WatsonxDocumentEmbedder를 쓰려면 watsonx-haystack 패키지를 설치해요:

pip install watsonx-haystack

단독으로 사용하기 (On its own)

먼저 WATSONX_API_KEY와 WATSONX_PROJECT_ID를 환경 변수로 설정하거나 직접 전달하는 걸 기억하세요.

컴포넌트를 단독으로 쓰는 방법은 이래요:

from haystack import Document
from haystack_integrations.components.embedders.watsonx.document_embedder import (
    WatsonxDocumentEmbedder,
)

doc = Document(content="I love pizza!")
embedder = WatsonxDocumentEmbedder()
result = embedder.run([doc])
print(result["documents"][0].embedding)
# [-0.453125, 1.2236328, 2.0058594, 0.67871094...]

파이프라인 안에서 사용하기 (In a pipeline)

from haystack import Document, Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.writers import DocumentWriter
from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever
from haystack_integrations.components.embedders.watsonx.document_embedder import (
    WatsonxDocumentEmbedder,
)
from haystack_integrations.components.embedders.watsonx.text_embedder import (
    WatsonxTextEmbedder,
)

document_store = InMemoryDocumentStore(embedding_similarity_function="cosine")
documents = [
    Document(content="My name is Wolfgang and I live in Berlin"),
    Document(content="I saw a black horse running"),
    Document(content="Germany has many big cities"),
]

indexing_pipeline = Pipeline()
indexing_pipeline.add_component("embedder", WatsonxDocumentEmbedder())
indexing_pipeline.add_component("writer", DocumentWriter(document_store=document_store))
indexing_pipeline.connect("embedder", "writer")
indexing_pipeline.run({"embedder": {"documents": documents}})

query_pipeline = Pipeline()
query_pipeline.add_component("text_embedder", WatsonxTextEmbedder())
query_pipeline.add_component(
    "retriever",
    InMemoryEmbeddingRetriever(document_store=document_store),
)
query_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")

query = "Who lives in Berlin?"
result = query_pipeline.run({"text_embedder": {"text": query}})
print(result["retriever"]["documents"][0])
# Document(id=..., content: 'My name is Wolfgang and I live in Berlin', score: ...)

WatsonxDocumentEmbedder