Letter tokenizer
출처: 문서
본문
Letter 토크나이저
letter 토크나이저는 알파벳이 아닌 문자를 기준으로 텍스트를 단어로 분리해요. 유럽 언어 대부분에서는 잘 동작하지만, 단어가 공백으로 구분되지 않는 일부 아시아 언어에서는 효과적이지 않아요.
사용 예시
다음 예제 요청은 my_index라는 새 인덱스를 만들고 letter 토크나이저로 애널라이저를 설정해요:
PUT /my_index
{
"settings": {
"analysis": {
"analyzer": {
"my_letter_analyzer": {
"type": "custom",
"tokenizer": "letter"
}
}
}
},
"mappings": {
"properties": {
"content": {
"type": "text",
"analyzer": "my_letter_analyzer"
}
}
}
}
{% include copy-curl.html %}
생성된 토큰
애널라이저가 생성한 토큰을 확인하려면 다음 요청을 사용해 보세요:
POST _analyze
{
"tokenizer": "letter",
"text": "Cats 4EVER love chasing butterflies!"
}
{% include copy-curl.html %}
응답에는 생성된 토큰이 담겨 있어요:
{
"tokens": [
{
"token": "Cats",
"start_offset": 0,
"end_offset": 4,
"type": "word",
"position": 0
},
{
"token": "EVER",
"start_offset": 6,
"end_offset": 10,
"type": "word",
"position": 1
},
{
"token": "love",
"start_offset": 11,
"end_offset": 15,
"type": "word",
"position": 2
},
{
"token": "chasing",
"start_offset": 16,
"end_offset": 23,
"type": "word",
"position": 3
},
{
"token": "butterflies",
"start_offset": 24,
"end_offset": 35,
"type": "word",
"position": 4
}
]
}