Optimizing vector storage
출처: 문서
본문
벡터 스토리지 최적화하기
벡터 검색 연산은 리소스를 많이 소모할 수 있어요. 특히 대규모 벡터 데이터셋을 다룰 때는 더욱 그렇죠. OpenSearch는 메모리 사용량을 줄이기 위한 여러 가지 최적화 기법을 제공해요.
{% include cards.html cards=page.storage_cards %}
opensearch-jvector 플러그인을 활용한 디스크 친화적 양자화
opensearch-jvector 플러그인에서 제공하는 jvector 엔진은 DiskANN 방식의 인덱싱을 구현해요. 벡터를 메모리가 아닌 디스크에 저장하고, 양자화된 벡터로부터 바로 인덱스를 빌드하죠. 덕분에 별도의 양자화 설정 없이도 메모리 사용량을 줄일 수 있어요.
내장 엔진과 비교했을 때, jvector 엔진은 다음과 같은 스토리지 이점을 제공해요:
- 양자화된 벡터로 인덱스를 빌드하기 때문에 인덱싱 과정에서 필요한 메모리가 줄어들어요.
- 머지 과정에서 양자화 코드북을 점진적으로 다듬기 때문에 전체 재빌드가 필요 없어요.