lakeFS와 Red Hat OpenShift AI 함께 사용하기
Red Hat® OpenShift®는 하이브리드 클라우드, 멀티 클라우드, 엣지 배포를 관리하는 풀스택 자동화 운영을 갖춘 엔터프라이즈급 Kubernetes 컨테이너 플랫폼이에요. OpenShift AI는 하이브리드 클라우드 환경에서 AI 애플리케이션을 대규모로 만들고 제공할 수 있는 유연하고 확장 가능한 AI/ML 플랫폼이에요. OpenShift AI와 lakeFS는 OpenShift 클러스터에 3가지 아키텍처로 배포할 수 있어요.
출처: 문서
본문
Red Hat® OpenShift®는 하이브리드 클라우드, 멀티 클라우드, 엣지 배포를 관리하기 위한 풀스택 자동화 운영을 갖춘, 엔터프라이즈에서 바로 쓸 수 있는 Kubernetes 컨테이너 플랫폼이에요. OpenShift에는 엔터프라이즈급 Linux 운영체제, 컨테이너 런타임, 네트워킹, 모니터링, 레지스트리, 인증 및 권한 부여 솔루션이 포함되어 있어요.
Red Hat® OpenShift® AI는 하이브리드 클라우드 환경 전반에서 AI 지원 애플리케이션을 대규모로 만들고 제공할 수 있게 해주는, 유연하고 확장 가능한 인공지능(AI) 및 머신러닝(ML) 플랫폼이에요. 오픈소스 기술로 만들어진 OpenShift AI는 팀이 실험하고, 모델을 서빙하고, 혁신적인 앱을 제공할 수 있도록 신뢰할 수 있고 운영상 일관된 기능을 제공해요.
OpenShift AI와 lakeFS는 OpenShift 클러스터에 서로 다른 3가지 아키텍처로 배포할 수 있어요:
- OpenShift AI, lakeFS, 오브젝트 스토리지 모두 OpenShift 클러스터 안에 배포
- OpenShift AI와 lakeFS는 OpenShift 클러스터에 배포하고, 오브젝트 스토리지는 외부에 배치
- OpenShift AI만 OpenShift 클러스터에 배포하고, lakeFS와 오브젝트 스토리지는 외부에 배치
lakeFS-samples에 있는 예제를 참고해 OpenShift 클러스터에 lakeFS, MinIO, OpenShift AI 튜토리얼(Fraud Detection demo)을 배포해 보세요. Fraud detection demo는 OpenShift AI로 JupyterLab에서 예제 모델을 학습하고, 모델을 배포하고, 자동화 파이프라인으로 모델을 다듬는 단계별 가이드예요.
이 예제에서 OpenShift AI는 S3 인터페이스를 통해 lakeFS에 연결되도록 설정되고, lakeFS는 백엔드 MinIO 인스턴스의 데이터 버전을 관리해요. lakeFS 사용 여부에 따른 Fraud Detection demo 실행 아키텍처는 다음과 같아요:
lakeFS-samples에는 여러 시나리오에서 lakeFS와 MinIO를 배포하는 Helm 차트 예제도 함께 들어 있어요:
-
lakefs-local.yaml: 로컬 오브젝트 스토리지로 lakeFS를 띄워요. MinIO를 포함하지 않는 빠른 데모에 유용해요.
-
lakefs-minio.yaml: MinIO를 백엔드 오브젝트 스토리지로 사용하도록 설정된 lakeFS를 띄워요. lakeFS 데모에서 사용돼요.
-
minio-direct.yaml: lakeFS를 쓰지 않고 OpenShift AI가 MinIO와 직접 통신할 때만 사용하는 파일이에요. 기본 Fraud Detection demo처럼 MinIO 스토리지 버킷 설정과 OpenShift AI 데이터 커넥션 구성을 포함해 MinIO를 그대로 띄워요. 문제 디버깅에 유용할 수 있어요.
-
minio-via-lakefs.yaml: lakeFS가 포함된 수정판 Fraud Detection demo용으로 MinIO를 띄워요. MinIO 스토리지 버킷 설정까지는 포함하지만, OpenShift AI 데이터 커넥션은 절대 설정하지 마세요. lakeFS 데모에서 사용돼요.
더 알아보기 (Learn more)
공식 문서의 자세한 내용은 https://docs.lakefs.io/integrations/red_hat_openshift_ai/에서 확인하실 수 있어요.