Simple pattern tokenizer

출처: 문서

본문

Simple pattern 토크나이저

simple_pattern 토크나이저는 정규 표현식을 기준으로 텍스트 안에서 일치하는 시퀀스를 찾아내고, 그 시퀀스를 토큰으로 사용해요. 정규 표현식과 일치하는 용어를 추출하는 거죠. 특정 패턴을 용어로 바로 추출하고 싶을 때 이 토크나이저를 사용하면 돼요.

사용 예시

다음 예시 요청은 my_index라는 새 인덱스를 생성하고 simple_pattern 토크나이저로 애널라이저를 설정해요. 이 토크나이저는 텍스트에서 숫자 용어를 추출해요:

PUT /my_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_pattern_tokenizer": {
          "type": "simple_pattern",
          "pattern": "\\d+"
        }
      },
      "analyzer": {
        "my_pattern_analyzer": {
          "type": "custom",
          "tokenizer": "my_pattern_tokenizer"
        }
      }
    }
  }
}

{% include copy-curl.html %}

생성된 토큰

애널라이저로 생성된 토큰을 확인하려면 다음 요청을 사용하세요:

POST /my_index/_analyze
{
  "analyzer": "my_pattern_analyzer",
  "text": "OpenSearch-2024-10-09"
}

{% include copy-curl.html %}

응답에는 생성된 토큰이 담겨 있어요:

{
  "tokens": [
    {
      "token": "2024",
      "start_offset": 11,
      "end_offset": 15,
      "type": "word",
      "position": 0
    },
    {
      "token": "10",
      "start_offset": 16,
      "end_offset": 18,
      "type": "word",
      "position": 1
    },
    {
      "token": "09",
      "start_offset": 19,
      "end_offset": 21,
      "type": "word",
      "position": 2
    }
  ]
}

파라미터

simple_pattern 토크나이저는 다음 파라미터로 설정할 수 있어요.

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/analyzers/tokenizers/simple-pattern/