semantic-text-splitter — 의미 경계를 지키는 텍스트 분할
semantic-text-splitter
RAG(Retrieval-Augmented Generation) 파이프라인을 만들다 보면 긴 문서를 컨텍스트에 맞게 잘라야 해요. 그런데 무턱대고 N자씩 자르면 문장·문단이 중간에 끊겨 의미가 손상되곤 하죠. text-splitter(파이썬 바인딩은 semantic-text-splitter)는 목표 청크 크기를 최대한 채우면서도 의미상 자연스러운 경계에서 자르는 걸 목표로 해요. Rust 크레이트와 파이썬에서 모두 호출할 수 있고, 문자 수·토큰 수 중 원하는 방식으로 청크 크기를 계산해요.
이 카테고리의 문서
- 소개: 의미 경계 분할이 왜 필요한지
- 핵심 기능:
TextSplitter와 계층 경계 - 실전 사용: 파이썬 API로 쓰기