Vector quantization
출처: 문서
본문
벡터 양자화
기본적으로 OpenSearch는 float 타입 벡터의 인덱싱과 쿼리를 지원하며, 벡터의 각 차원은 메모리에서 4바이트를 차지해요. 대규모 데이터 적재가 필요한 사용 사례에서는 OpenSearch가 그래프를 구성하고, 로드하고, 저장하고, 검색해야 하기 때문에(native faiss 및 nmslib [deprecated] 엔진의 경우) float 벡터를 유지하는 비용이 클 수 있어요. 메모리 사용량을 줄이려면 벡터 양자화를 사용하면 돼요.
OpenSearch는 다양한 종류의 양자화를 지원해요. 일반적으로 양자화 수준은 최근접 이웃 검색의 정확도와 벡터 검색이 소비하는 메모리 사용량 사이의 트레이드오프를 제공해요.
OpenSearch 외부에서 벡터 양자화하기
OpenSearch 인덱스에 벡터를 적재하기 전에 OpenSearch 외부에서 벡터를 양자화하세요.
{% include cards.html cards=page.outside_cards %}
OpenSearch 내부에서 벡터 양자화하기
OpenSearch 내장 양자화를 사용해서 벡터를 양자화하세요.
{% include cards.html cards=page.inside_cards %}