Python으로 lakeFS 다루기
lakeFS는 여러 Python 패키지를 제공해요. 고수준 SDK는 버전 관리 작업을 직관적인 인터페이스로 다룰 수 있게 해주고, 생성형 SDK는 전체 API 표면을, lakefs-spec은 파일시스템 스타일 접근을 제공해요. 프로젝트 성격에 맞는 패키지를 골라 쓰면 돼요.
출처: 문서
본문
Warning
프로젝트에서 기존 Python
lakefs-client를 사용 중이라면, 이 버전은 지원이 중단(deprecated)되었음을 알아두세요. v1.44.0 릴리스부터는 새로운 업데이트나 기능이 더 이상 제공되지 않아요.
시작하기
lakeFS Python SDK가 처음이라면 High-Level SDK Guide부터 시작해 권장 Python 패키지를 설치하고 설정하세요.
High-Level SDK는 다음을 위한 직관적인 인터페이스를 제공해요:
-
브랜치 & 머지 — 피처 브랜치 워크플로
-
참조, 커밋 & 태그 — 참조, 커밋, 태그 다루기
-
트랜잭션 — 원자적(atomic) 연산
-
데이터 작업 — 배치 작업과 정리(cleanup)
통합 옵션
lakeFS는 다양한 사용 사례와 선호에 맞춰 여러 Python 패키지를 제공해요:
| 패키지 | 추상화 수준 | 가장 적합한 용도 | 설치 | 학습 곡선 |
|---|---|---|---|---|
| High-Level SDK | 높음 | 버전 관리 작업, 데이터 작업, 트랜잭션 | pip install lakefs | 낮음 |
| Generated SDK, Enterprise | 낮음 | lakeFS Enterprise의 datasets·tenants API를 포함한 직접 API 접근 | pip install lakefs-enterprise-sdk | 중간 |
| Generated SDK, Community | 낮음 | 직접 API 접근, 전체 API 표면, 프로그래밍 방식 제어 | pip install lakefs-sdk | 중간 |
| lakefs-spec | 높음 | 파일시스템 작업, pandas/데이터 사이언스 통합, S3 유사 인터페이스 | pip install lakefs-spec | 낮음 |
| Boto / S3 Gateway | 중간 | S3 호환 작업, 기존 S3 워크플로, 게이트웨이 직접 접근 | pip install boto3 | 낮음 |
참고 자료
-
High Level Python SDK 문서: https://pydocs-lakefs.lakefs.io
-
lakeFS Enterprise용 Generated Python SDK 문서: https://pydocs-enterprise-sdk.lakefs.io/docs/
-
lakeFS Community용 Generated Python SDK 문서: https://pydocs-sdk.lakefs.io
-
lakefs-spec 프로젝트: https://lakefs-spec.org
-
Boto S3 Router: https://github.com/treeverse/boto-s3-router
더 알아보기 (Learn more)
공식 문서의 자세한 내용은 https://docs.lakefs.io/reference/python/에서 확인하실 수 있어요.