Normalization token filter
출처: 문서
본문
Normalization 토큰 필터
normalization 토큰 필터는 특수 문자의 변형을 특히 줄이는 방식으로 텍스트를 조정하고 단순화하도록 설계되었어요. 주로 특정 언어의 문자를 표준화함으로써 표기상의 변형을 처리하는 데 사용돼요.
다음과 같은 normalization 토큰 필터를 사용할 수 있어요:
- arabic_normalization
- german_normalization
- hindi_normalization
- indic_normalization
- sorani_normalization
- persian_normalization
- scandinavian_normalization
- scandinavian_folding
- serbian_normalization
예제
다음 예제 요청은 german_normalizer_example이라는 새 인덱스를 생성하고 german_normalization 필터가 설정된 애널라이저를 구성해요:
PUT /german_normalizer_example
{
"settings": {
"analysis": {
"filter": {
"german_normalizer": {
"type": "german_normalization"
}
},
"analyzer": {
"german_normalizer_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase",
"german_normalizer"
]
}
}
}
}
}
{% include copy-curl.html %}
생성된 토큰
다음 요청을 사용해 애널라이저로 생성된 토큰을 확인해 보세요:
POST /german_normalizer_example/_analyze
{
"text": "Straße München",
"analyzer": "german_normalizer_analyzer"
}
{% include copy-curl.html %}
응답에는 생성된 토큰이 포함되어 있어요:
{
"tokens": [
{
"token": "strasse",
"start_offset": 0,
"end_offset": 6,
"type": "<ALPHANUM>",
"position": 0
},
{
"token": "munchen",
"start_offset": 7,
"end_offset": 14,
"type": "<ALPHANUM>",
"position": 1
}
]
}