Trim token filter

출처: 문서

본문

Trim 토큰 필터

trim 토큰 필터는 토큰에서 앞뒤 공백 문자를 제거해요.

standard, keyword, whitespace 토크나이저처럼 널리 쓰이는 많은 토크나이저는 토큰화 과정에서 앞뒤 공백 문자를 자동으로 제거해요. 이런 토크나이저를 사용할 때는 trim 토큰 필터를 따로 설정할 필요가 없어요. {: .note}

예제

다음 예제 요청은 my_pattern_trim_index라는 새 인덱스를 만들고, 앞뒤 공백 문자를 제거하지 않는 pattern 토크나이저와 trim 필터를 사용해 애널라이저를 설정해요:

PUT /my_pattern_trim_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_trim_filter": {
          "type": "trim"
        }
      },
      "tokenizer": {
        "my_pattern_tokenizer": {
          "type": "pattern",
          "pattern": ","
        }
      },
      "analyzer": {
        "my_pattern_trim_analyzer": {
          "type": "custom",
          "tokenizer": "my_pattern_tokenizer",
          "filter": [
            "lowercase",
            "my_trim_filter"
          ]
        }
      }
    }
  }
}

{% include copy-curl.html %}

생성된 토큰

다음 요청으로 애널라이저가 생성한 토큰을 확인해 보세요:

GET /my_pattern_trim_index/_analyze
{
  "analyzer": "my_pattern_trim_analyzer",
  "text": " OpenSearch ,  is ,   powerful  "
}

{% include copy-curl.html %}

응답에는 생성된 토큰이 담겨 있어요:

{
  "tokens": [
    {
      "token": "opensearch",
      "start_offset": 0,
      "end_offset": 12,
      "type": "word",
      "position": 0
    },
    {
      "token": "is",
      "start_offset": 13,
      "end_offset": 18,
      "type": "word",
      "position": 1
    },
    {
      "token": "powerful",
      "start_offset": 19,
      "end_offset": 32,
      "type": "word",
      "position": 2
    }
  ]
}

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/analyzers/token-filters/trim/