spaCy (산업용 NLP 파이프라인)
spaCy (산업용 NLP 파이프라인)
텍스트에서 품사, 의존 구문, 개체명 같은 언어 정보를 뽑아야 할 때 spaCy가 가장 많이 쓰이는 도구 중 하나예요. spaCy는 원시 텍스트를 넣으면 문서(Doc) 객체로 만들어 주고, 토큰화·품사 태깅·의존 구문 분석·개체명 인식 같은 주석을 제공해요.
처리 속도와 정확도를 모두 잡으려고 설계된 산업용 라이브러리라서, 서비스에 바로 붙이기 좋아요. 미리 훈련된 파이프라인(en_core_web_sm 같은)을 다운로드해 쓰거나, 직접 훈련할 수도 있어요.
핵심 개념
- Doc: 토큰화·분석된 문서 객체
- 파이프라인: 태거, 파서, NER 등 컴포넌트의 조합
- 언어 데이터: 언어별 토큰화 규칙과 예외 처리