Ukrainian analyzer
출처: 문서
본문
우크라이나어 애널라이저
우크라이나어 언어 애널라이저(ukrainian)는 우크라이나어 텍스트에 대한 분석 기능을 제공해요. 이 애널라이저는 analysis-ukrainian 플러그인의 일부이며, 사용하기 전에 반드시 설치해야 해요.
플러그인 설치
우크라이나어 애널라이저를 사용하려면 먼저 다음 명령어를 실행해서 analysis-ukrainian 플러그인을 설치해야 해요:
./bin/opensearch-plugin install analysis-ukrainian
{% include copy.html %}
자세한 내용은 추가 플러그인을 참고하세요. 여기에는 사용 가능한 OpenSearch 플러그인의 전체 목록이 나와 있어요.
우크라이나어 애널라이저 사용하기
인덱스를 매핑할 때 우크라이나어 애널라이저를 사용하려면 analyzer 필드에 ukrainian 값을 지정하면 돼요:
PUT my-index
{
"mappings": {
"properties": {
"content": {
"type": "text",
"analyzer": "ukrainian"
}
}
}
}
{% include copy-curl.html %}
우크라이나어 언어 처리
우크라이나어 애널라이저는 다음과 같은 방식으로 텍스트를 처리해요:
- 토큰화: 텍스트를 개별 단어로 나눠요.
- 불용어 제거: "і", "в", "з", "для", "타" 등 흔한 우크라이나어 불용어를 제거해요.
- 형태소 분석: 우크라이나어 단어에 대해 다양한 어형과 어간을 생성해요.
- 대소문자 정규화: 우크라이나어 텍스트를 적절하게 처리해요.
우크라이나어 애널라이저는 정교한 형태소 분석을 사용해서 단어의 여러 형태를 생성함으로써 검색 재현율을 높여요. 다른 일부 언어 애널라이저와 달리, 우크라이나어 플러그인은 커스텀 설정을 위한 개별 토큰 필터를 노출하지 않아요.
생성된 토큰
다음 요청을 사용해서 애널라이저가 생성한 토큰을 확인해 보세요:
POST _analyze
{
"analyzer": "ukrainian",
"text": "Я програміст і працюю з OpenSearch в Україні"
}
{% include copy-curl.html %}
응답에는 생성된 토큰이 담겨 있어요:
{
"tokens": [
{"token": "програміст", "start_offset": 2, "end_offset": 12, "type": "<ALPHANUM>", "position": 1},
{"token": "працювати", "start_offset": 15, "end_offset": 21, "type": "<ALPHANUM>", "position": 3},
{"token": "opensearch", "start_offset": 24, "end_offset": 34, "type": "<ALPHANUM>", "position": 5},
{"token": "Україна", "start_offset": 37, "end_offset": 44, "type": "<ALPHANUM>", "position": 7}
]
}