HDFS
HDFS
이 확장 기능을 사용하면 HDFS를 딥 스토리지로 사용할 수 있어요. Kerberos 인증 설정도 함께 구성할 수 있어요.
출처: 문서
본문
이 Apache Druid 확장 기능을 사용하려면 extensions load list에 druid-hdfs-storage를 포함하고, 환경 변수에 GOOGLE_APPLICATION_CREDENTIALS=/path/to/service_account_keyfile을 설정한 상태로 druid 프로세스를 실행하세요.
딥 스토리지 (Deep Storage)
HDFS 구성 (Configuration for HDFS)
| Property | Possible Values | Description | Default | | druid.storage.type | hdfs | | Must be set. | | druid.storage.storageDirectory | | Directory for storing segments. | Must be set. | | druid.hadoop.security.kerberos.principal | [email protected] | Principal user name | empty | | druid.hadoop.security.kerberos.keytab | /etc/security/keytabs/druid.headlessUser.keytab | Path to keytab file | empty |
위 설정 외에도 모든 Hadoop 구성 파일(예: core-site.xml, hdfs-site.xml)을 Druid classpath에 포함해야 해요. 이를 위한 한 가지 방법은 해당 파일들을 모두 ${DRUID_HOME}/conf/_common 아래에 복사하는 것이에요.
보안 처리된 hadoop/hdfs 클러스터에 대해 적극적으로(eagerly) 인증하려면 druid.hadoop.security.kerberos.principal과 druid.hadoop.security.kerberos.keytab을 설정해야 해요. 이것은 주기적으로 kinit 명령을 실행하는 cron job 방식의 대안이에요.