Scope of the plugin
출처: 문서
본문
플러그인의 적용 범위
OpenSearch용 Learning to Rank 플러그인은 애플리케이션 검색 작업을 위해 머신 러닝(ML) 기반 랭킹 모델을 개발하고 사용하는 데 도움을 줘요. 다음 섹션에서는 이 플러그인이 전체 LTR 프로세스에서 어떤 역할을 하는지 설명해요.
플러그인이 하는 일
이 플러그인은 LTR 모델을 개발하고 사용할 수 있는 기본 구성 요소를 제공하며, 다음과 같은 기능을 사용할 수 있게 해줘요:
- 쿼리 의존형 피처 개발: 검색 쿼리와 문서 간의 관계를 포착하는 커스텀 피처를 만들어요. 이 피처들은 OpenSearch에 저장할 수 있어요.
- 피처 값 로깅: 검색 결과에 반환된 문서의 피처 값을 기록해요. 문서의 피처 세트를 로깅하고 나면, 이 데이터를 개발해 둔 judgment list와 결합할 수 있어요. 그러면 랭킹 모델을 테스트하고 학습시키는 데 사용할 수 있는 완전한 학습 세트가 만들어져요. 이후 RankLib이나 XGBoost 같은 도구를 사용해 만족스러운 모델을 개발할 수 있어요.
- 모델 배포 및 사용: 학습된 랭킹 모델을 플러그인에 업로드하고, 이를 사용해 검색 결과를 재정렬(rerank)해요. 플러그인은 검색 과정에서 모델을 실행할 수 있게 해주는 커스텀 OpenSearch 쿼리 도메인 특화 언어(DSL) 프리미티브를 제공해요.
플러그인이 하지 않는 일
플러그인은 judgment list 생성을 지원하지 않아요. 이 작업은 도메인에 따라 달라지기 때문에 직접 처리해야 해요. 문서 검색을 위한 judgment list를 개발하는 예시 접근 방식은 Wikimedia Foundation blog를 참고하세요. 전자상거래 같은 일부 도메인은 전환 관련 신호에 더 중점을 두는 반면, 다른 도메인은 사람이 관련성을 평가하는 방식(내부 전문가나 크라우드소싱 작업자)을 사용할 수도 있어요.
플러그인은 모델 학습이나 테스트를 처리하지 않아요. 이 작업은 XGBoost와 RankLib 같은 적절한 도구를 사용해 처리해야 하는 오프라인 프로세스예요. 플러그인은 이러한 외부 모델 구축 워크플로와 통합돼요. 랭킹 모델을 학습하고 테스트하는 일은 데이터 사이언스 전문 지식과 오프라인 테스트가 필요한 CPU 집약적인 작업일 수 있어요. 대부분의 조직은 프로덕션 환경에서 직접 실행하기보다 데이터 사이언티스트가 모델 개발 과정을 관리하는 방식을 선호해요.
다음 단계
피처 다루기에 대해 알아보세요.