Setting Up Hive with Docker

Setting Up Hive with Docker (Docker로 Hive 설정)

Docker를 사용해 Apache Hive 환경을 쉽게 구성하는 방법을 다루는 문서예요. 복잡한 설치 과정 없이 컨테이너로 Hive와 메타스토어를 띄워 빠르게 테스트할 수 있습니다.

출처: 문서

본문

Docker를 이용하면 Hive와 그 의존 요소(메타스토어, HDFS/로컬 스토리지)를 컨테이너로 손쉽게 실행할 수 있습니다.

디렉터리 구조:

프로젝트는 보통 다음과 같은 구성을 가집니다.

├── conf/                # Hive 설정 파일
├── scripts/             # 초기화/시작 스크립트
└── docker-compose.yml   # 컨테이너 정의

핵심 구성 요소:

  • HiveServer2: 쿼리를 실행하는 서버
  • Hive Metastore: 메타데이터 저장 서비스
  • Metastore DB: 메타데이터를 저장하는 데이터베이스 (예: PostgreSQL, Derby)
  • 스토리지: 데이터를 저장하는 HDFS 또는 로컬 볼륨

실행 방법:

docker compose up -d

HiveServer2가 기동되면 Beeline으로 연결할 수 있습니다.

beeline -u "jdbc:hive2://localhost:10000/default"

HiveServer2에서 SQL 실행하기:

SHOW DATABASES;
CREATE TABLE t1 (id INT, name STRING);
INSERT INTO t1 VALUES (1, 'Alice');
SELECT * FROM t1;

참고 사항:

  • Docker로 띄운 Hive는 개발·테스트용으로 적합하며, 운영 환경에서는 클러스터 배포 방식을 고려해야 합니다.
  • 컨테이너가 사용할 볼륨과 리소스(메모리 등)를 적절히 설정해야 안정적으로 동작합니다.
  • docker compose down 으로 환경을 정리할 수 있습니다.

더 알아보기 (Learn more)