API 레퍼런스 개요 — 파티셔닝·추출·청킹·임베딩

API 레퍼런스 개요 — 파티셔닝·추출·청킹·임베딩

Unstructured API는 파일과 데이터의 파티셔닝·추출·청킹·임베딩을 전반적으로 수행해 AI 준비 완료 결과를 만들어 줘요. 로컬 파일을 배치 처리하고, 원격 스토리지·DB·벡터 스토어에 있는 파일과 데이터도 배치 처리할 수 있어요.

출처: https://docs.unstructured.io/api-reference/overview

API가 지원하는 작업을 정리하면 이래요.

  • 파티셔닝, 추출, 청킹, 임베딩 — 파일·데이터에 대해 AI-ready 결과 생성
  • 로컬 배치 처리 — 로컬 파일을 배치 처리하고 결과도 로컬에서 조회
  • 원격 배치 처리 — 원격 스토리지·DB·벡터 스토어에 있는 데이터를 처리하고 결과를 원격 위치로 전송
  • 최신 고성능 모델 사용

오픈소스 대비 이점 — 가격

페이지 계산 방식이 명확하게 정의돼 있어요.

  • .pdf, .pptx, .tiff는 페이지 1개 = 페이지/슬라이드/이미지 1개
  • 페이지 메타데이터가 있는 .docx는 그 메타데이터 기준으로 페이지 수 계산
  • 나머지 파일 타입은 파일 크기를 100KB로 나눈 값으로 페이지 계산

더 알아보기