문서 로더 통합

문서 로더 통합

LangChain JavaScript로 문서 로더와 통합하는 방법을 안내할게요.

출처: 문서

본문

문서 로더는 Slack, Notion, Google Drive와 같은 다양한 소스의 데이터를 LangChain의 Document 형식으로 읽어들이기 위한 표준 인터페이스를 제공해요. 이를 통해 소스에 관계없이 데이터를 일관되게 처리할 수 있어요.

모든 문서 로더는 BaseLoader 인터페이스를 구현해요.

Community document loaders are user-contributed and unverified. LangChain does not review or endorse these integrations; use them at your own risk.

인터페이스

각 문서 로더는 고유한 매개변수를 정의할 수 있지만, 공통 API를 공유해요:

  • load(): 모든 문서를 한 번에 로드.
  • loadAndSplit(): 모든 문서를 한 번에 로드하고 더 작은 문서로 분할.
import { OracleDocLoader } from "@oracle/langchain-oracledb";

const loader = new OracleDocLoader(,
  ...  // <-- Integration specific parameters here
);
const data = await loader.load();

카테고리별

LangChain.js는 문서 로더를 두 가지 방식으로 분류해요:

  • 파일 로더: 로컬 파일시스템에서 데이터를 LangChain 형식으로 로드.
  • 웹 로더: 원격 소스에서 데이터를 로드.

파일 로더

If you'd like to contribute an integration, see [Contributing integrations](/oss/javascript/contributing#add-a-new-integration).

일반적인 파일 유형

문서 로더 설명 Package/API
DirectoryLoader 커스텀 로더 매핑으로 디렉터리의 모든 파일을 로드 Package
JSON 특정 키를 대상으로 JSON pointer를 사용해 JSON 파일 로드 Package
JSONLines JSONLines/JSONL 파일에서 데이터 로드 Package
Text 일반 텍스트 파일 로드 Package

특화된 파일 로더

문서 로더 설명 Package/API
MultiFileLoader 여러 개별 파일 경로에서 데이터 로드 Package
OracleDocLoader Oracle AI Vector Search 테이블 또는 Oracle Text 지원 파일 수집 Package

웹 로더

클라우드 제공자

문서 로더 설명 Web 지원 Package/API
Google Cloud SQL for PostgreSQL Cloud SQL PostgreSQL 데이터베이스에서 문서 로드 Package

오디오 및 비디오

문서 로더 설명 Web 지원 Package/API
Soniox Soniox API로 선택적 번역과 함께 다국어 오디오 파일 전사 API

기타

문서 로더 설명 Web 지원 Package/API
LangSmith LangSmith에서 데이터셋과 트레이스 로드 API

모든 문서 로더

| Integration | Downloads | | :--- | :--- | | [`Google cloud SQL for postgresql`](/oss/javascript/integrations/document_loaders/web_loaders/google_cloudsql_pg) | Downloads per month | | [`Soniox`](/oss/javascript/integrations/document_loaders/web_loaders/soniox) | Downloads per month | | [`DirectoryLoader`](/oss/javascript/integrations/document_loaders/file_loaders/directory) | N/A | | [`JSON files`](/oss/javascript/integrations/document_loaders/file_loaders/json) | N/A | | [`Jsonlines files -`](/oss/javascript/integrations/document_loaders/file_loaders/jsonlines) | N/A | | [`LangSmithLoader`](/oss/javascript/integrations/document_loaders/web_loaders/langsmith) | N/A | | [`Multiple individual files -`](/oss/javascript/integrations/document_loaders/file_loaders/multi_file) | N/A | | [`OracleDocLoader`](/oss/javascript/integrations/document_loaders/file_loaders/oracleai) | N/A | | [`TextLoader`](/oss/javascript/integrations/document_loaders/file_loaders/text) | N/A |

[Connect these docs](/use-these-docs) to Claude, VSCode, and more via MCP for real-time answers. [Edit this page on GitHub](https://github.com/langchain-ai/docs/edit/main/src/oss/javascript/integrations/document_loaders/index.mdx) or [file an issue](https://github.com/langchain-ai/docs/issues/new/choose).

더 알아보기