여러 디렉토리 사용

여러 디렉토리 사용 (Using Multiple Directories)

서버에서 여러 디렉토리(스토리지)를 사용해 데이터를 나이별로 분리하는 방법을 안내해요.

출처: 문서

본문

개요 (Overview)

Pinot 서버는 세그먼트 데이터를 저장할 여러 디렉토리를 지정할 수 있어요. 각 디렉토리를 서로 다른 스토리지(예: 고성능 SSD vs 저비용 HDD)에 둠으로써, 최신 데이터와 오래된 데이터를 서로 다른 저장 장치에 배치해 비용과 성능을 최적화할 수 있어요.

구성 (Configuration)

서버 구성에서 세그먼트 데이터 디렉토리 목록을 지정해요. pinot.server.instance.dataDir 또는 다중 디렉토리 구성을 통해 여러 경로를 제공할 수 있어요. 세그먼트가 어느 디렉토리에 저장될지는 pinot 배치 로직(예: 디렉토리 선택 전략)에 따라 결정돼요.

동작 방식 (How it works)

여러 디렉토리를 지정하면 Pinot이 세그먼트를 디렉토리 간에 배치해요. 디렉토리 선택 전략(예: 최소 사용 용량 우선)에 따라 세그먼트가 분배돼요.

모범 사례 (Best practices)

최신 데이터와 오래된 데이터를 서로 다른 스토리지로 분리해 비용을 최적화하세요.
각 디렉토리의 용량과 성능을 확인하고 모니터링하세요.