OpenSearch Service와 S3 Vectors 사용하기

OpenSearch Service와 S3 Vectors 사용하기 (Using S3 Vectors with OpenSearch Service)

Amazon S3 Vectors는 OpenSearch와 통합되어 유연한 벡터 저장 및 검색 기능을 제공해요. 이 통합을 통해 벡터를 S3 Vectors에 저장해 비용을 최적화하면서 OpenSearch의 고급 검색 기능을 활용할 수 있어요.

S3 Vectors와 OpenSearch 사이에는 두 가지 통합이 있어요. 하나는 S3 Vectors에서 OpenSearch Serverless로 벡터 데이터를 내보내 고성능 검색 기능을 제공하는 방식이고, 다른 하나는 OpenSearch 안에서 S3 Vectors를 비용 효율적인 저장 엔진으로 사용하면서 OpenSearch 기능에 접근을 유지하는 방식이에요.

OpenSearch Serverless로 내보내기 (Export to OpenSearch Serverless)

S3 Vectors의 벡터 인덱스를 OpenSearch Serverless 컬렉션으로 내보내 고성능 검색 작업, 하이브리드 검색, 집계, 고급 필터링, 패싯 검색을 할 수 있어요. 내보낼 때 데이터는 S3 Vectors에 그대로 남아 있으면서 OpenSearch Serverless로 복사돼요. 즉 이 기간 동안 두 서비스에 모두 비용을 지불하게 돼요.

이 통합을 언제 사용하나요 (When to use this integration)

다음이 필요할 때 S3 Vectors에서 OpenSearch Serverless로 내보내는 걸 고려해 보세요.

  • 벡터 유사도와 키워드 검색을 결합하는 하이브리드 검색 기능.
  • 까다로운 워크로드를 위한 높은 쿼리 처리량.
  • 밀리초 단위 응답이 필요한 실시간 애플리케이션을 위한 저지연 응답.
  • 집계, 패싯 검색, 복잡한 필터링을 포함하는 고급 분석.

사전 요구사항 (Prerequisites)

OpenSearch와 S3 Vectors를 사용하기 전에 다음을 갖추었는지 확인하세요.

  • 데이터가 담긴 벡터 인덱스가 있는 기존 S3 벡터 버킷.
  • S3 Vectors와 OpenSearch Service 모두에 대한 적절한 IAM 권한.
  • 적절한 통합 방식을 선택하기 위한 성능 요구사항 이해.

시작하기 (Getting started)

AWS Management Console 사용 (Using the AWS Management Console)

OpenSearch로 벡터 데이터 내보내기 (To export vector data to OpenSearch)

  1. AWS Management Console에 로그인하고 Amazon S3 콘솔을 엽니다: https://console.aws.amazon.com/s3/
  2. 탐색 창에서 Vector buckets를 선택해요.
  3. 벡터 버킷 목록에서 내보내려는 벡터 데이터가 담긴 버킷 이름을 선택해요.
  4. Vector indexes에서 내보내려는 벡터 인덱스 옆의 라디오 버튼을 선택해요.
  5. Advanced search export를 선택한 다음 Export to OpenSearch를 선택해요.

중요: 시점 내보내기(Point-in-time export): 내보내기는 내보내기 시작 시점까지의 데이터를 포착해요. OpenSearch로 수집하는 동안 벡터 데이터를 업데이트하면 모든 업데이트가 OpenSearch에 반영되지는 않아요. 일회성 작업(One-time operation): 이 내보내기는 일회성이며 S3 Vectors 데이터와 동기화된 상태를 유지하지 않아요. 이후의 변경 사항을 반영하려면 수동으로 다시 내보내야 해요.

그런 다음 S3 Vectors와 Amazon OpenSearch Service의 통합을 구성하고 관리하려면 주로 OpenSearch 콘솔에서 작업하게 돼요.

OpenSearch로의 내보내기 보기 (To view exports to OpenSearch)

  1. AWS Management Console에 로그인하고 Amazon S3 콘솔을 엽니다: https://console.aws.amazon.com/s3/
  2. 탐색 창에서 Vector buckets를 선택해요.
  3. 벡터 버킷 목록에서 내보내려는 벡터 데이터가 담긴 버킷 이름을 선택해요.
  4. Vector indexes에서 Advanced search export를 선택한 다음 View exports to OpenSearch를 선택해요.

그런 다음 OpenSearch 콘솔에서 OpenSearch로의 내보내기를 확인하게 돼요.

OpenSearch Serverless 컬렉션 생성 및 관리에 대한 자세한 내용은 Amazon OpenSearch Service Developer Guide의 Creating and managing Amazon OpenSearch Service Serverless collections를 참고하세요.

S3 Vectors 엔진을 사용하는 OpenSearch (OpenSearch with S3 Vectors engine)

S3 Vectors를 Amazon OpenSearch Managed 클러스터의 기본 저장 엔진으로 사용해 OpenSearch 기능을 유지하면서 비용을 최적화한 벡터 저장을 제공할 수 있어요.

이 통합을 언제 사용하나요 (When to use this integration)

다음이 필요할 때 S3 Vectors 엔진을 사용하는 OpenSearch를 고려해 보세요.

  • 벡터 유사도와 키워드 검색을 결합하는 하이브리드 검색 기능.
  • 사용 빈도가 낮거나 산발적인 사용 패턴이 있는 낮은 쿼리 처리량.
  • 비용 절감을 위해 더 긴 응답 시간을 감수할 수 있는 애플리케이션을 위한 높은 지연 시간 허용도.
  • 집계, 패싯 검색, 복잡한 필터링을 포함하는 고급 분석.
  • 비용 효율적인 벡터 저장으로 확장하고 싶은 기존 OpenSearch 워크플로.

사전 요구사항 (Prerequisites)

S3 Vectors 엔진을 사용하는 OpenSearch를 쓰기 전에 다음을 갖추었는지 확인하세요.

시작하기 (Getting Started)

S3 Vectors 엔진을 사용하는 OpenSearch를 쓰려면 OpenSearch에서 인덱스를 만들 때 엔진을 S3_Vectors로 설정하세요. OpenSearch Service에서 인덱스를 만들 때 사용하는 템플릿(엔진 타입을 지정하는 위치 포함)에 대한 자세한 내용은 Methods and engines를 참고하세요. OpenSearch와 S3 Vectors 엔진의 통합에 대한 자세한 내용은 Amazon OpenSearch Service Developer Guide의 Advanced search capabilities with an S3 Vectors engine을 참고하세요.

더 알아보기 (Learn more)