Delta Lake 확장

Delta Lake 확장

druid-deltalake-extensions 확장을 이용하면 Delta Lake 테이블에 저장된 데이터를 Apache Druid로 수집할 수 있어요. DeltaLakeInputSource가 Delta Lake 테이블을 읽고 최신 스냅샷의 Delta 파일들을 추출해 주는 구조예요.

출처: 문서

본문

Delta Lake는 다양한 컴퓨팅 엔진으로 Lakehouse 아키텍처를 구축할 수 있게 해주는 오픈소스 스토리지 프레임워크예요. DeltaLakeInputSource는 Delta Lake 테이블에 저장된 데이터를 Apache Druid로 수집해요. Delta Lake 확장을 사용하려면 로드된 확장 목록에 druid-deltalake-extensions를 추가해 주세요. 자세한 내용은 Loading extensions를 참고해요.

Delta 입력 소스는 설정된 Delta Lake 테이블을 읽고, 선택적인 Delta filter에 기반해 테이블의 최신 스냅샷에 있는 기본 Delta 파일들을 추출해요. 이 Delta Lake 파일들은 버전이 매겨진 Parquet 파일들이에요.

Version support

Delta Lake 확장은 Delta Lake 3.0.0에서 도입된 Delta Kernel을 사용해요. 이는 Apache Spark 3.5.x와 호환돼요. 오래된 버전은 지원되지 않으므로, 이 확장을 사용하려면 Delta Lake 3.0.x 이상으로 업그레이드하는 걸 고려해 주세요.

Downloading Delta Lake extension

druid-deltalake-extensions를 다운로드하려면 원하는 Druid 버전으로 <VERSION>을 바꾼 뒤 다음 명령을 실행해요.

java \
  -cp "lib/*" \
  -Ddruid.extensions.directory="extensions" \
  org.apache.druid.cli.Main tools pull-deps \
  -c "org.apache.druid.extensions.contrib:druid-deltalake-extensions:<VERSION>"

자세한 내용은 Loading community extensions를 참고해요.

더 알아보기 (Learn more)