Hyphenation decompounder token filter

출처: 문서

본문

하이픈 분해 복합어 토큰 필터

hyphenation_decompounder 토큰 필터는 복합어를 구성 요소로 분해하는 데 사용해요. 이 필터는 독일어, 네덜란드어, 스웨덴어처럼 복합어가 흔한 언어에 특히 유용해요. 이 필터는 하이픈 패턴(일반적으로 .xml 파일에 정의됨)을 사용하여 복합어 내에서 분할 가능한 위치를 식별해요. 그런 다음 이러한 구성 요소는 제공된 사전과 대조해요. 일치하는 항목이 있으면 해당 구성 요소가 유효한 토큰으로 처리해요. 하이픈 패턴 파일에 대한 자세한 내용은 Apache Formatting Objects Processor (FOP) XML Hyphenation Patterns를 참조하세요.

매개변수

hyphenation_decompounder 토큰 필터는 다음 매개변수로 구성할 수 있어요.

예제

다음 예제 요청은 test_index라는 새 인덱스를 생성하고 hyphenation_decompounder 필터로 분석기를 구성해요.

PUT /test_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_hyphenation_decompounder": {
          "type": "hyphenation_decompounder",
          "hyphenation_patterns_path": "analysis/hyphenation_patterns.xml",
          "word_list": ["notebook", "note", "book"],
          "min_subword_size": 3,
          "min_word_size": 5,
          "only_longest_match": false
        }
      },
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_hyphenation_decompounder"
          ]
        }
      }
    }
  }
}

{% include copy-curl.html %}

생성된 토큰

다음 요청을 사용하여 분석기로 생성된 토큰을 확인해요.

POST /test_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "notebook"
}

{% include copy-curl.html %}

응답에는 생성된 토큰이 포함되어 있어요.

{
  "tokens": [
    {
      "token": "notebook",
      "start_offset": 0,
      "end_offset": 8,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "note",
      "start_offset": 0,
      "end_offset": 8,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "book",
      "start_offset": 0,
      "end_offset": 8,
      "type": "<ALPHANUM>",
      "position": 0
    }
  ]
}

더 알아보기 (Learn more)

• 원문 전체: https://docs.opensearch.org/latest/analyzers/token-filters/hyphenation-decompounder/