Character filters
출처: 문서
본문
캐릭터 필터
캐릭터 필터는 토큰화 전에 텍스트를 처리해서 이후 분석을 준비해요.
토큰(단어 또는 용어)을 대상으로 동작하는 토큰 필터와 달리, 캐릭터 필터는 토큰화 이전의 원시 입력 텍스트를 처리해요. HTML 태그나 특수 기호처럼 원치 않는 문자가 포함된 구조화된 텍스트를 정리하거나 변환할 때 특히 유용하죠. 캐릭터 필터는 이런 요소들을 제거하거나 대체해서 텍스트가 분석에 적합한 형태로 정리되도록 도와줘요.
캐릭터 필터의 활용 사례는 다음과 같아요:
- HTML 제거:
html_strip캐릭터 필터는 콘텐츠에서 HTML 태그를 제거해서 일반 텍스트만 색인되도록 해요. - 패턴 치환:
pattern_replace캐릭터 필터는 텍스트에서 원치 않는 문자나 패턴을 대체하거나 제거해요. 예를 들어 하이픈을 공백으로 바꾸는 식이죠. - 커스텀 매핑:
mapping캐릭터 필터는 특정 문자나 문자열을 다른 값으로 치환해요. 예를 들어 통화 기호를 그에 대응하는 텍스트로 바꿀 수 있죠. - ICU 정규화:
icu_normalizer캐릭터 필터는 토큰화 전에 텍스트를 정규(canonical) 유니코드 형태로 변환해서, 동등한 문자들이 일관되게 처리되도록 해요.analysis-icu플러그인이 필요해요. - 일본어 반복 부호:
kuromoji_iteration_mark캐릭터 필터는 일본어 반복 부호를 그 부호가 나타내는 문자로 확장해서 토큰화 전에 텍스트를 정규화해요.analysis-kuromoji플러그인이 필요해요.