lakeFS와 Databricks 함께 사용하기

개요

Databricks는 엔터프라이즈급 데이터, 분석, AI 솔루션을 대규모로 구축, 배포, 공유, 유지하는 통합형 오픈 분석 플랫폼이에요.

이 문서에서는 여러 Databricks 제품과 lakeFS와의 통합 방법을 다뤄요.

출처: 문서

본문

Databricks 컴퓨트 옵션

Databricks는 워크로드 실행을 위한 여러 컴퓨트 옵션을 제공해요. 이 모든 옵션은 lakeFS와 함께 사용할 수 있어요. 기본적으로 Databricks의 컴퓨트 제품은 클라우드 인프라 위에서 동작하는 Spark 클러스터이고, 서로 다른 설정 옵션을 제공해요. lakeFS 연동 관점에서의 주요 차이는 lakeFS에 대한 읽기/쓰기를 수행하는 스토리지 작업을 어떻게 설정하느냐에 있어요.

lakeFS 스토리지 작업은 lakeFS OpenAPI를 활용하는 lakeFS Hadoop Filesystem을 쓰거나, lakeFS S3 게이트웨이를 쓰는 s3a Filesystem을 써요. 요약하자면, lakeFS S3 게이트웨이가 가장 빠르게 시작할 수 있는 방법이지만 모든 트래픽이 lakeFS 서버를 거쳐요. lakeFS Hadoop Filesystem은 설정이 더 필요하지만, 모든 데이터 전송이 버킷에서 직접 일어나요. lakeFS Hadoop Filesystem은 s3a 파일시스템을 쓰거나 lakeFS 서버가 생성한 pre-signed URL을 쓰는 방식으로 스토리지에 쓸 수 있어요. 대안에 대해 더 읽어 보려면 Spark 연동 페이지를 참고하세요.

All-Purpose Compute

노트북에서 데이터를 분석하는 데 쓰이는 프로비저닝된 컴퓨트예요.

Databricks 컴퓨트 클러스터를 만들 때, lakeFS Hadoop Filesystem(Databricks 설치 가이드 참고)이나 lakeFS S3 게이트웨이를 쓰도록 설정할 수 있어요. lakeFS S3 게이트웨이는 노트북 안에서 또는 클러스터 설정 중(Advanced Options -> Spark -> Spark config) 설정할 수 있어요.

Jobs Compute

자동화된 잡을 실행하는 데 쓰이는 프로비저닝된 컴퓨트예요. Databricks 잡 스케줄러는 새 컴퓨트에서 잡이 실행되도록 구성될 때마다 잡 컴퓨트를 자동으로 만들어요.

Databricks 잡에서 lakeFS를 사용하려면, All-Purpose 컴퓨트와 마찬가지로 클러스터 설정에서 컴퓨트 클러스터를 구성해야 해요.

참고

Databricks 잡의 Serverless compute는 현재 지원되지 않아요.

SQL Warehouses

Classic과 Pro 웨어하우스는 SQL 편집기나 인터랙티브 노트북에서 데이터 객체에 대해 SQL 명령을 실행하는 데 쓰여요. Serverless 웨어하우스도 같은 일을 하지만 온디맨드 엘라스틱 컴퓨트라는 차이가 있죠.

모든 웨어하우스는 lakeFS Hadoop Filesystem 같은 외부 jar 설치를 허용하지 않아요. SQL 웨어하우스를 lakeFS와 함께 쓰려면 lakeFS S3 게이트웨이를 활용하세요.

Unity Catalog

Unity Catalog는 Databricks 워크스페이스 전반에 걸쳐 중앙화된 접근 제어, 감사, 계보(lineage), 데이터 탐색 기능을 제공하는 Databricks의 메타스토어예요.

lakeFS를 Unity Catalog와 함께 쓰면 데이터와 Unity Catalog 메타데이터의 버저닝된 뷰를 얻을 수 있어요.

lakeFS의 Unity Catalog 지원은 lakeFS Community와 lakeFS Enterprise에서 다르게 동작해요.

Catalog Exports lakeFS

Unity Catalog의 외부 테이블(external tables) 기능을 활용하면, lakeFS에서 내보낸 Delta Lake 테이블을 등록하고 통합 카탈로그를 통해 접근할 수 있어요.

참고

lakeFS Catalog exporter는 읽기 전용 테이블 익스포트를 제공해요.

Catalog Exports는 lakeFS Actions에 의존하며, lakeFS에서 Unity Catalog로 변경을 내보내는 방법을 제공해요.

Unity Catalog에서 Catalog Exports를 사용하는 전체 가이드는 문서를 참고하세요.

Delta Lake

lakeFS는 Delta Lake 테이블을 지원하며, 데이터와 Delta Lake 메타데이터의 버저닝된 뷰를 제공해요. 더 자세한 내용은 Delta Lake 문서를 참고하세요.

더 알아보기 (Learn more)

공식 문서: lakeFS Databricks 연동