CSVToDocument

CSVToDocument

CSVToDocument는 하나 이상의 CSV 파일을 텍스트 문서로 변환하는 컨버터예요.

출처: 문서

본문

Overview

CSVToDocument는 하나 이상의 CSV 파일을 텍스트 문서로 변환합니다.

이 컴포넌트는 기본적으로 UTF-8 인코딩을 사용하지만, 초기화 시 필요하면 다른 인코딩을 지정할 수 있어요. 컴포넌트를 실행할 때 meta 파라미터로 각 문서에 선택적으로 메타데이터를 첨부할 수 있습니다.

Usage

On its own

from haystack.components.converters.csv import CSVToDocument

converter = CSVToDocument()
results = converter.run(
    sources=["sample.csv"],
    meta={"date_added": datetime.now().isoformat()},
)
documents = results["documents"]

print(documents[0].content)
# 'col1,col2\nrow1,row1\nrow2,row2\n'

In a pipeline

from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.converters import CSVToDocument
from haystack.components.preprocessors import DocumentCleaner
from haystack.components.preprocessors import DocumentSplitter
from haystack.components.writers import DocumentWriter

document_store = InMemoryDocumentStore()

pipeline = Pipeline()
pipeline.add_component("converter", CSVToDocument())
pipeline.add_component("cleaner", DocumentCleaner())
pipeline.add_component(
    "splitter",
    DocumentSplitter(split_by="sentence", split_length=5),
)
pipeline.add_component("writer", DocumentWriter(document_store=document_store))
pipeline.connect("converter", "cleaner")
pipeline.connect("cleaner", "splitter")
pipeline.connect("splitter", "writer")

pipeline.run({"converter": {"sources": file_names}})

더 알아보기 (Learn more)