Fetchers
Fetchers (페처)
Fetchers(페처)는 외부 소스에서 콘텐츠를 가져와서 파이프라인의 데이터로 쓰이게 해 주는 구성 요소예요. URL, 웹 크롤링 결과, SharePoint나 Google Drive 같은 클라우드 스토리지에서 콘텐츠를 받아올 수 있어요.
출처: 문서
본문
Fetchers(페처)는 URL, 웹 크롤링, 또는 SharePoint·Google Drive 같은 클라우드 스토리지에서 콘텐츠를 가져와서 파이프라인의 데이터로 쓰이게 해요. 주요 페처 구성 요소를 정리하면 이렇게 돼요.
| 구성 요소 | 설명 |
|---|---|
FirecrawlCrawler |
Firecrawl로 웹사이트를 크롤링하면서 링크를 따라 하위 페이지를 발견하고 Document로 반환해요. |
GoogleDriveFetcher |
Drive API v3를 통해 Google Drive 파일의 전체 콘텐츠를 가져와 ByteStream으로 반환해요. |
LinkContentFetcher |
주어진 URL의 콘텐츠를 가져와 파이프라인의 데이터로 쓰이게 해요. |
MSSharePointFetcher |
Microsoft Graph API를 통해 SharePoint와 OneDrive 항목의 전체 콘텐츠를 가져와 ByteStream으로 반환해요. |
TavilyFetcher |
Tavily Extract API로 주어진 URL의 콘텐츠를 추출·파싱해서 Document로 반환해요. |
각 페처의 자세한 사용법은 개별 설명서 페이지에서 확인할 수 있어요.
더 알아보기 (Learn more)
- 각 페처 구성 요소의 개별 설명서 페이지를 참고하세요.