핵심 개념
핵심 개념 (Core Concepts)
벡터 검색을 처음 시작한다면, 여기서 출발하면 돼요. 벡터 데이터베이스, 임베딩, 양자화, 그리고 검색 증강 생성(RAG)이 각각 무엇이고 어떻게 서로 맞물리는지 이해하는 것이 첫걸음이에요. 아래 글들은 각 개념을 하나씩, 우리가 옆에서 설명하듯 정리한 것들이에요. 순서대로 읽어도 좋고, 궁금한 주제부터 골라 읽어도 좋아요.
출처: 공식문서
벡터 검색이 왜 전용 데이터베이스를 필요로 하나요?
일반 데이터베이스에 "벡터 검색을 살짝 얹는" 방식은 처음엔 괜찮아 보여요. 하지만 막상 실제로 써보면 얘기가 달라져요. 왜 벡터 검색은 규모가 커질수록 전용 솔루션이 필요한지, 그 이유를 살펴보세요.
- Why Vector Search Needs a Dedicated Database — 왜 벡터 검색은 전용 데이터베이스가 필요한가 (Evgeniya Sukhodolskaya & Andrey Vasnetsov)
임베딩 모델은 어떻게 고르나요?
좋은 검색을 만들려면 사용 사례에 맞는 임베딩 모델을 선택하는 게 핵심이에요. 성능, 비용, 그리고 다른 실용적인 고려사항에 기반해 선택 과정을 어떻게 이끌어 가는지, 이 가이드가 도와줘요.
- How to Choose an Embedding Model: Evaluation & Tradeoffs — 임베딩 모델 고르는 방법: 평가와 트레이드오프 (Kacper Łukawski)
벡터 임베딩과 벡터 DB의 기초
벡터 임베딩은 기계학습의 숫자 표현이에요. 이 표현의 잠재력을 활용하면 FastEmbed로 개인화된 신경 검색 서비스(Neural Search Service)를 만들 수 있어요. sparse 벡터가 무엇이고 어떻게 동작하며, SPLADE 같은 방법으로 어떻게 효율적으로 만들 수 있는지도 함께 다뤄요.
- Vector Embeddings Explained: How They Work in ML & Search — 벡터 임베딩 이해하기
- FastEmbed: Qdrant's Efficient Python Library for Embedding Generation
- Understanding SPLADE and Sparse Vectors — SPLADE와 Sparse 벡터 이해하기
양자화: 어떻게 하면 메모리를 아끼면서 빠르게 만들까?
대규모 데이터를 다룰 때는 압축이 중요해져요. 스칼라(Scalar), 프로덕트(Product), 바이너리(Binary) 양자화 같은 압축 기법을 배우고, 여러분의 애플리케이션에 가장 적합한 방법을 고르는 법을 알아보세요.
RAG(검색 증강 생성): LLM에 외부 지식을 연결하기
RAG는 LLM이 응답을 생성할 때 원래 학습 데이터에만 제한되지 않고, 관련된 외부 데이터를 검색하고 활용할 수 있게 해 줘요. "긴 컨텍스트 윈도우가 RAG를 대체하지 못하는 이유"와 함께, 벡터 검색이 RAG에서 왜 필수적인지 알아보세요.
- Understanding Retrieval-Augmented Generation (RAG) — RAG 이해하기 (Sabrina Aquino)
- Is RAG Dead? Why Long Context Windows Don't Replace RAG — RAG는 죽었나? 왜 긴 컨텍스트 윈도우가 RAG를 대체하지 못하는가 (David Myriel & Chadha Sridi)