Google Cloud Storage
Google Cloud Storage
이 확장 기능을 사용하면 Google Cloud Storage에 저장된 파일에서 데이터를 인제스트하고, GCS 딥 스토리지에 세그먼트를 쓸 수 있어요.
출처: 문서
본문
Google Cloud Storage 확장 기능 (Google Cloud Storage Extension)
이 확장 기능은 두 가지 일을 할 수 있게 해줘요:
- Google Cloud Storage에 저장된 파일에서 데이터 인제스트하기.
- GCS의 딥 스토리지(deep storage)에 세그먼트 쓰기.
이 Apache Druid 확장 기능을 사용하려면 extensions load list에 druid-google-extensions를 포함하세요.
필수 구성 (Required Configuration)
google cloud에 대한 연결을 구성하려면 환경 변수에 GOOGLE_APPLICATION_CREDENTIALS=/path/to/service_account_keyfile을 설정한 상태로 druid 프로세스를 실행하세요.
Google Cloud Storage에서 데이터 읽기 (Reading data from Google Cloud Storage)
Google Cloud Storage 입력 소스는 Parallel task에서 지원되어 Google Cloud Storage의 객체를 직접 읽을 수 있어요.
딥 스토리지 (Deep Storage)
딥 스토리지는 이 확장 기능 또는 druid-hdfs-storage 확장 기능을 통해 Google Cloud Storage에 기록할 수 있어요.
구성 (Configuration)
google cloud에 대한 연결을 구성하려면 환경 변수에 GOOGLE_APPLICATION_CREDENTIALS=/path/to/service_account_keyfile을 설정한 상태로 druid 프로세스를 실행하세요.
| Property | Description | Possible Values | Default | | druid.storage.type | google | | Must be set. | | druid.google.bucket | | Google Storage bucket name. | Must be set. | | druid.google.prefix | A prefix string that will be prepended to the blob names for the segments published to Google deep storage | | "" | | druid.google.maxListingLength | maximum number of input files matching a given prefix to retrieve at a time | | 1024 |