본문 바로가기
WIKI 기술 지식 베이스

lakeFS 더 알아보기

원문 보기 위키 갱신

lakeFS 퀵스타트는 lakeFS 여정의 시작일 뿐이에요 🛣️. 여기서는 자신의 오브젝트 스토리지에 연결하는 방법, 배포 가이드, 샘플 저장소, 커뮤니티, 그리고 개념·내부 구조 문서까지 lakeFS를 더 깊이 알아가는 자료를 소개해요.

출처: 문서

본문

lakeFS 퀵스타트는 lakeFS 여정의 시작에 불과해요 🛣️

lakeFS에 대해 더 알아보는 데 도움이 될 자료를 몇 가지 소개할게요.

lakeFS를 자신의 오브젝트 스토리지에 연결하기

퀵스타트가 재미있었고 자신의 데이터로 lakeFS를 써 보고 싶다면, 오브젝트 스토어에 연결해 lakeFS를 로컬에서 실행하는 방법이 여기 있어요.

Note

이전 단계의 퀵스타트 서버가 아직 돌고 있으면 포트 충돌이 나니, 반드시 꺼 두세요.

AWS S3Azure Blob StorageGoogle Cloud StorageMinIO

export LAKEFS_BLOCKSTORE_TYPE="s3"
export AWS_ACCESS_KEY_ID="YourAccessKeyValue"
export AWS_SECRET_ACCESS_KEY="YourSecretKeyValue"
lakefs run --local-settings

export LAKEFS_BLOCKSTORE_TYPE="azure"
export LAKEFS_BLOCKSTORE_AZURE_STORAGE_ACCOUNT="YourAzureStorageAccountName"
export LAKEFS_BLOCKSTORE_AZURE_STORAGE_ACCESS_KEY="YourAzureStorageAccessKey"
lakefs run --local-settings

export LAKEFS_BLOCKSTORE_TYPE="gs"
export LAKEFS_BLOCKSTORE_GS_CREDENTIALS_JSON="YourGoogleServiceAccountKeyJSON"
lakefs run --local-settings

여기서 YourGoogleServiceAccountKeyJSON은 여러분의 Google 서비스 계정 키가 담긴 JSON 문자열로 바꾸면 돼요.

이전 명령처럼 JSON 문자열 대신 Google 서비스 계정 키가 담긴 JSON 파일을 사용하고 싶다면, JSON 파일이 있는 디렉터리로 가서 로컬 파라미터를 붙여 명령을 실행하세요:

export LAKEFS_BLOCKSTORE_TYPE="gs"
export LAKEFS_BLOCKSTORE_GS_CREDENTIALS_FILE="/myfiles/YourGoogleServiceAccountKey.json"
lakefs run --local-settings

이 명령은 현재 작업 디렉터리(PWD)를 컨테이너 안에 마운트하고 PWD에서 JSON 파일을 읽어요.

MinIO(또는 다른 S3 호환 오브젝트 스토리지)와 함께 lakeFS를 쓰려면 다음 예제를 사용하세요:

export LAKEFS_BLOCKSTORE_TYPE="s3"
export LAKEFS_BLOCKSTORE_S3_FORCE_PATH_STYLE="true"
export LAKEFS_BLOCKSTORE_S3_ENDPOINT="http://<minio_endpoint>"
export LAKEFS_BLOCKSTORE_S3_DISCOVER_BUCKET_REGION="false"
export LAKEFS_BLOCKSTORE_S3_CREDENTIALS_ACCESS_KEY_ID="<minio_access_key>"
export LAKEFS_BLOCKSTORE_S3_CREDENTIALS_SECRET_ACCESS_KEY="<minio_secret_key>"
lakefs run --local-settings

lakeFS 배포하기

이제 진짜로 해볼 준비가 됐나요? 배포 가이드는 lakeFS를 로컬(Kubernetes 포함) 또는 AWS, Azure, GCP에 배포하는 방법을 알려줘요.

또는 완전 관리형, SOC-2 준수 lakeFS 서비스를 제공하는 lakeFS Cloud를 살펴보는 것도 좋아요.

lakeFS Samples

lakeFS Samples GitHub 저장소에는 이런 훌륭한 예제들이 들어 있어요:

  • 여러 Delta Table에 걸쳐 멀티 테이블 트랜잭션을 구현하는 방법

  • lakeFS와 Spark, Python, Delta Lake, Airflow, Hooks의 통합을 보여주는 노트북.

  • lakeFS 웹훅으로 서로 다른 브랜치에서 자동 데이터 품질 검사를 실행하는 예제.

  • lakeFS 브랜치 기능으로 ETL 테스트와 실험을 위한 dev/test 데이터 환경을 만들기.

  • lakeFS 태그로 ML 실험을 확실하게 재현하기.

lakeFS 커뮤니티

lakeFS 커뮤니티는 우리에게 아주 소중해요. 우리의 가이딩 원칙은 다음과 같아요:

  • 코드든 대화든 완전히 열려 있어요

  • 우리는 함께 배우고 함께 성장해요

  • 모든 상호작용에서 연민과 존중을 지켜요

Slack 그룹에 가입해 #announcements-and-more에서 자기소개를 하러 오시면 좋겠어요. 그냥 슬쩍 지켜보다 분위기를 즐기셔도 좋아요 😎

lakeFS 개발에 참여하고 싶다면 GitHub 저장소로 가서 코드를 보고 이슈를 훑어보세요. 종합적인 contributing 문서가 다음 단계를 안내해 주겠지만, 궁금한 점이 있으면 Slack의 #dev 채널이 기꺼이 도와줄 거예요.

우리는 밋업에서 발표하고 커뮤니티 멤버들과 대화하는 걸 아주 좋아해요 — 목록은 여기에서 볼 수 있어요.

마지막으로 Twitter나 LinkedIn에 들러 인사도 해 주세요 👋🏻

lakeFS 개념과 내부 구조

우리는 lakeFS를 "데이터를 위한 Git"이라고 부르는데, 그게 실제로 무슨 뜻일까요? 개념과 아키텍처 가이드, 그리고 머지가 어떻게 처리되는지에 대한 설명을 살펴보세요. 더 깊이 들어가고 싶다면 버전 관리의 내부 동작과 내부 데이터베이스 구조도 흥미로울 거예요.

← 로컬 환경에서 lakeFS 데이터 다루기

더 알아보기 (Learn more)

공식 문서의 자세한 내용은 https://docs.lakefs.io/quickstart/learning-more-lakefs/에서 확인하실 수 있어요.