DL model analyzers

원문 보기 위키 갱신 2026.10.14

출처: 문서

본문

DL 모델 애널라이저

딥러닝(DL) 모델 애널라이저는 neural sparse search와 함께 동작하도록 설계되었어요. 이 애널라이저들은 머신러닝(ML) 모델이 사용하는 것과 동일한 토큰화 규칙을 구현해서 neural sparse search와의 호환성을 보장해요. 기존의 OpenSearch 애널라이저가 표준 규칙 기반 토큰화(공백이나 단어 경계 같은 것)를 사용하는 반면, DL 모델 애널라이저는 특정 ML 모델에 맞는 토큰화 규칙(BERT WordPiece 토큰화 방식 같은 것)을 사용해요. 색인된 문서와 검색 쿼리 간의 일관된 토큰화는 neural sparse search가 올바르게 동작하는 데 필수적이에요.

OpenSearch는 다음과 같은 DL 모델 애널라이저를 지원해요:

bert-uncased: google-bert/bert-base-uncased 모델 토크나이저를 기반으로 하는 애널라이저예요.
mbert-uncased: google-bert/bert-base-multilingual-uncased 모델 토크나이저를 기반으로 하는 다국어 애널라이저예요.

사용 시 고려 사항

DL 모델 애널라이저를 사용할 때는 다음 사항을 염두에 두세요:

이 애널라이저들은 lazy loading을 사용해요. 의존성과 관련 리소스가 로드되기 때문에 처음 호출할 때는 시간이 더 오래 걸릴 수 있어요.
토크나이저는 해당 모델의 토크나이저와 동일한 규칙을 따라요.

bert-uncased 애널라이저

bert-uncased 애널라이저는 google-bert/bert-base-uncased 모델을 기반으로 하며, BERT WordPiece 토큰화 방식에 따라 텍스트를 토큰화해요. 이 애널라이저는 특히 영어 텍스트에 유용해요.

bert-uncased 애널라이저로 텍스트를 분석하려면 analyzer 필드에 지정하세요:

POST /_analyze
{
  "analyzer": "bert-uncased",
  "text": "It's fun to contribute to OpenSearch!"
}

{% include copy-curl.html %}

mbert-uncased 애널라이저

mbert-uncased 애널라이저는 google-bert/bert-base-multilingual-uncased 모델을 기반으로 하며, 여러 언어에 걸친 토큰화를 지원해요. 덕분에 다국어 콘텐츠를 다루는 애플리케이션에 적합해요.

다국어 텍스트를 분석하려면 요청에 mbert-uncased 애널라이저를 지정하세요:

POST /_analyze
{
  "analyzer": "mbert-uncased",
  "text": "It's fun to contribute to OpenSearch!"
}