Airbyte 연동
Airbyte 연동 (airbyte)
Airbyte는 오픈소스 데이터 통합 플랫폼이에요. 서로 다른 시스템 사이에서 데이터를 복제(replicate)할 수 있게 도와주고, 다양한 소스에서 데이터를 수집할 수 있는 커넥터 목록이 계속 늘어나고 있어요. Qdrant에서 데이터를 관리하려면 데이터 파이프라인을 구축하는 게 중요한데, Airbyte가 그 작업에 아주 잘 맞는 도구예요.
Airbyte가 선택한 소스에서 데이터 수집(ingestion)을 담당하고, Qdrant는 그 위에 검색 엔진을 구축하는 역할을 해요. 데이터를 Qdrant로 수집하는 방식은 세 가지 모드가 지원돼요:
- Full Refresh Sync — 전체를 새로고침하며 동기화하는 방식
- Incremental - Append Sync — 증분만 추가하는 방식
- Incremental - Append + Deduped — 증분을 추가하되 중복을 제거하는 방식
각 모드에 대한 더 자세한 설명은 Airbyte 문서에서 확인할 수 있어요.
사전 준비 (Prerequisites)
시작하기 전에 다음이 준비되어 있어야 해요.
- Airbyte 인스턴스 — Open Source, Self-Managed, Cloud 중 하나면 돼요.
- 실행 중인 Qdrant 인스턴스 — Airbyte가 실행되는 머신에서 URL로 접근 가능해야 해요. Qdrant 설치는 설치 가이드를 따라 하면 돼요.
Qdrant를 Destination으로 설정하기
Airbyte 인스턴스가 실행되고 나면, UI에서 바로 Qdrant를 destination으로 설정할 수 있어요. Airbyte의 Qdrant destination은 Qdrant의 단일 컬렉션과 연결돼요.
텍스트 처리 (Text processing)
Airbyte에는 텍스트를 임베딩으로 변환하는 내장 메커니즘이 있어요. 임베딩을 계산하기 전에 필드를 어떤 조각(chunk)으로 나눌지, 그리고 포인트의 payload를 만들 때 어떤 필드를 사용할지 직접 고를 수 있어요.
임베딩 (Embeddings)
임베딩 계산에 사용할 모델을 선택할 수 있어요. 현재 Airbyte는 OpenAI, Cohere를 비롯한 여러 모델을 지원하고 있어요.
데이터 소스에서 미리 계산된(precomputed) 임베딩을 사용하는 것도 가능해요. 이 경우 임베딩이 담긴 필드 이름과 해당 임베딩의 **차원수(dimensionality)**를 넘겨주면 돼요.
Qdrant 연결 정보
마지막으로 대상이 되는 Qdrant 인스턴스와 컬렉션을 설정해요. 내장 인증 메커니즘을 사용한다면 여기서 토큰을 전달할 수 있어요.
Destination 생성을 확인하면, Airbyte가 지정한 Qdrant 클러스터에 접근 가능한지 테스트해요.
Connection 설정하기
Airbyte는 소스와 destination을 하나의 connection이라는 단위로 묶어요. Destination과 소스를 각각 설정한 뒤, 두 개 사이에 connection을 만들면 돼요. Airbyte가 지원하는 소스라면 어떤 것을 쓰든 상관없어요. 절차 자체는 매우 간단하지만, 어떤 소스를 쓰느냐에 따라 과정이 조금씩 달라져요.