Lowercase tokenizer

출처: 문서

본문

Lowercase 토크나이저

lowercase 토크나이저는 공백을 기준으로 텍스트를 텀으로 나눈 다음 모든 텀을 소문자로 바꿔요. 기능적으로는 lowercase 토큰 필터를 적용한 letter 토크나이저를 설정하는 것과 동일해요. 하지만 lowercase 토크나이저를 사용하면 토크나이저 작업이 한 단계에서 처리되기 때문에 더 효율적이에요.

사용 예시

다음 예시 요청은 my-lowercase-index라는 새 인덱스를 생성하고 lowercase 토크나이저로 애널라이저를 설정해요:

PUT /my-lowercase-index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_lowercase_tokenizer": {
          "type": "lowercase"
        }
      },
      "analyzer": {
        "my_lowercase_analyzer": {
          "type": "custom",
          "tokenizer": "my_lowercase_tokenizer"
        }
      }
    }
  }
}

{% include copy-curl.html %}

생성된 토큰

다음 요청을 사용해서 애널라이저가 생성한 토큰을 확인해 보세요:

POST /my-lowercase-index/_analyze
{
  "analyzer": "my_lowercase_analyzer",
  "text": "This is a Test. OpenSearch 123!"
}

{% include copy-curl.html %}

응답에 생성된 토큰이 포함되어 있어요:

{
  "tokens": [
    {
      "token": "this",
      "start_offset": 0,
      "end_offset": 4,
      "type": "word",
      "position": 0
    },
    {
      "token": "is",
      "start_offset": 5,
      "end_offset": 7,
      "type": "word",
      "position": 1
    },
    {
      "token": "a",
      "start_offset": 8,
      "end_offset": 9,
      "type": "word",
      "position": 2
    },
    {
      "token": "test",
      "start_offset": 10,
      "end_offset": 14,
      "type": "word",
      "position": 3
    },
    {
      "token": "opensearch",
      "start_offset": 16,
      "end_offset": 26,
      "type": "word",
      "position": 4
    }
  ]
}

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/analyzers/tokenizers/lowercase/