데이터 로딩
데이터 로딩 (Loading Data)
LlamaIndex에서 데이터 수집의 핵심은 로딩과 변환(transformations)이에요. Document를 로딩한 후에는 변환을 통해 처리하고 Node를 출력할 수 있어요.
Understanding 섹션의 로딩 기본 사항을 배운 뒤, 다음을 더 알아볼 수 있어요:
출처: 문서
본문
로딩 (Loading)
- SimpleDirectoryReader - 로컬 디렉토리에서 다양한 파일 유형을 로딩하는 내장 로더
- LlamaParse - 관리 API로 제공되는 LlamaIndex 공식 PDF 파싱 도구
- Data connectors - 어떤 소스에서도 데이터를 수집하는 수백 가지 데이터 로딩 통합
변환 (Transformations)
텍스트 분할 같은 일반적인 연산을 포함해요.
- Node Parser 사용 패턴 - 노드 파서 사용법
- Node Parser 모듈 - 텍스트 스플리터(문장, 토큰, HTML, JSON)와 기타 파서 모듈
종합 (Putting it all Together)
- Ingestion pipeline - 반복 가능하고 캐시 최적화된 데이터 로딩 프로세스 설정
추상화 (Abstractions)
- Document와 Node 객체 및 더 고급 사용 사례를 위한 커스터마이징 방법