Text Chunking 개요 — 콘텐츠 요소와 청킹 옵션
Text Chunking 개요
Unstructured는 문서를 분석해서 콘텐츠 요소(Content Element)로 나눈 뒤, 필요하면 다시 '청크'로 분할해요. 청킹을 이해하려면 먼저 결과로 나오는 요소 타입을 알아 두면 좋아요.
청킹 결과 요소
청킹은 CompositeElement, Table, TableChunk 세 가지 타입 중 하나로 결과를 만들어요.
CompositeElement: 여러 인접 요소가 합쳐진 일반 텍스트 청크Table: 표는 항상 단독으로 유지되고, 다른 요소와 합쳐지지 않아요TableChunk: 과도하게 큰 표는 텍스트 분할로 나뉘어TableChunk가 돼요
청킹 옵션
청킹 동작은 키워드 인자로 조절할 수 있고, 모든 옵션에 기본값이 있어서 필요한 경우에만 지정하면 돼요.
chunking_strategy: 어떤 전략으로 나눌지 (basic,by_title,by_page등)max_characters: 청크 최대 길이combine_text_under_n_chars: 짧은 조각을 합칠 기준new_after_n_chars: 이 길이 초과 시 새 청크 시작
전략 선택이 중요한 이유
같은 문서도 전략에 따라 청크 경계가 완전히 달라져요. 표는 쪼개지 않고 보존하고 싶다면 전략 설정에서 표 처리를 확인해야 해요. 청크가 잘리면 의미가 끊겨 검색·응답 품질이 떨어지니까, '어디서 자르고 어디서 합칠지'를 전략 단위로 고르는 게 핵심이에요.