Text Chunking — 문서를 검색·임베딩 단위로 나누는 기법

Text Chunking

청킹(chunking)은 긴 문서를 검색·임베딩·LLM 입력에 적합한 작은 조각으로 나누는 작업이에요. RAG를 설계할 때 검색 정확도를 좌우하는 첫 단추라서, 청크 크기·경계·전략을 어떻게 정하느냐가 결과를 크게 바꿔요. 고정 크기·재귀·의미 단위 분할 등 도구마다 다양한 전략이 지원돼요.

이 카테고리의 문서

• 개요: Unstructured의 청킹 기본 요소와 전략
• 핵심 기능: LlamaIndex Node Parser의 분할 방식
• 실전·API: LangChain Text Splitters API

출처: https://docs.unstructured.io/open-source/core-functionality/chunking