Analyzers
출처: 문서
본문
분석기
분석기는 인덱싱과 검색 중에 텍스트를 토큰으로 변환해요. OpenSearch는 일반적인 사용 사례를 위한 내장 분석기를 제공하고, 문자 필터, 토크나이저, 토큰 필터를 결합한 사용자 정의 분석기를 지원해요.
내장 분석기
다음 표는 OpenSearch가 제공하는 내장 분석기를 나열해요. 표의 마지막 열은 분석기를 문자열 It’s fun to contribute a brand-new PR or 2 to OpenSearch!에 적용한 결과를 포함해요.
| 분석기 | 수행되는 분석 | 분석기 출력 |
|---|---|---|
| Standard (기본값) | - 단어 경계에서 문자열을 토큰으로 파싱해요 - 대부분의 구두점을 제거해요 - 토큰을 소문자로 변환해요 |
[it’s, fun, to, contribute, a,brand, new, pr, or, 2, to, opensearch] |
| Simple | - 모든 비문자 문자에서 문자열을 토큰으로 파싱해요 - 비문자 문자를 제거해요 - 토큰을 소문자로 변환해요 |
[it, s, fun, to, contribute, a,brand, new, pr, or, to, opensearch] |
| White space | - 공백에서 문자열을 토큰으로 파싱해요 | [It’s, fun, to, contribute, a,brand-new, PR, or, 2, to, OpenSearch!] |
| Stop | - 모든 비문자 문자에서 문자열을 토큰으로 파싱해요 - 비문자 문자를 제거해요 - 불용어를 제거해요 - 토큰을 소문자로 변환해요 |
[s, fun, contribute, brand, new, pr, opensearch] |
| Keyword (no-op) | - 전체 문자열을 변경하지 않고 출력해요 | [It’s fun to contribute a brand-new PR or 2 to OpenSearch!] |
| Pattern | - 정규 표현식을 사용하여 문자열을 토큰으로 파싱해요 - 문자열을 소문자로 변환하는 것을 지원해요 - 불용어 제거를 지원해요 |
[it, s, fun, to, contribute, a,brand, new, pr, or, 2, to, opensearch] |
| Language | 특정 언어에 특화된 분석을 수행해요 (예: english). |
[fun, contribut, brand, new, pr, 2, opensearch] |
| Fingerprint | - 모든 비문자 문자에서 문자열을 파싱해요 - 문자를 ASCII로 변환하여 정규화해요 - 토큰을 소문자로 변환해요 - 토큰을 정렬, 중복 제거, 연결하여 단일 토큰으로 만들어요 - 불용어 제거를 지원해요 |
[2 a brand contribute fun it's new opensearch or pr to] 참고: 아포스트로피가 ASCII 대응 문자로 변환되었어요. |
| DL model | ML 모델 토큰화 규칙을 neural sparse search에 사용해요. | 모델 기반 토큰 |
언어 분석기
OpenSearch는 여러 언어 분석기를 지원해요. 자세한 내용은 언어 분석기를 참조하세요.
추가 분석기
| 분석기 | 수행되는 분석 |
|---|---|
phone |
전화번호를 파싱하기 위한 인덱스 분석기예요. |
phone-search |
전화번호를 파싱하기 위한 검색 분석기예요. |