BentoCloud 배포 (Deployment)

BentoML로 만든 Bento를 실제 운영 환경에 올리려면 BentoCloud의 Deployment 개념을 알아야 해요. Deployment는 Bento를 클라우드에 배포하고 관리·확장하는 단위인데, 이 페이지는 그와 관련된 하우투 가이드가 어떻게 구성되어 있는지 개요로 정리해 드릴게요.

출처: https://docs.bentoml.com/en/latest/scale-with-bentocloud/deployment/index.html

Deployment 살펴보기

BentoCloud에서 Deployment를 만들고 관리하는 일은 크게 나눠 아래 흐름을 따라가요.

Deployment 만들기: Bento를 BentoCloud에 배포하는 첫 단계예요. Bento를 선택하면 Deployment가 생성되고 외부에서 호출할 수 있는 엔드포인트가 생겨요.
Deployment 구성하기: 스케일링 레플리카 수, 환경 변수, 인스턴스 타입 같은 Deployment의 설정을 커스터마이즈할 수 있어요.
Deployment 관리하기: BentoML CLI나 API로 Deployment의 라이프사이클(시작·중지·업데이트·삭제)을 관리해요.
엔드포인트 호출하기: 만들어진 Deployment로 실제 추론(inference)을 실행해요.

운영과 배포 자동화

프로덕션 수준으로 운영하려면 다음 가이드도 활용할 수 있어요.

카나리 배포(Canary Deployments): 새 버전을 전체 사용자에게 내놓기 전에, 일부 사용자에게 점진적으로 배포해 성능을 모니터링하며 안전하게 롤아웃해요.
샌드박스(Sandboxes): AI 생성 코드를 격리되고 확장 가능하며 안전한 환경에서 실행해요.
배치 추론 작업(Batch inference jobs): BentoML과 BentoCloud로 배치 추론 작업을 실행해요.
CI/CD 파이프라인: BentoCloud에서 AI 배포를 자동화하는 CI/CD 파이프라인을 구축해요.

이 개요를 바탕으로 실제 생성·구성·관리 가이드를 따라가면 자신의 모델을 BentoCloud에서 운영하는 전체 과정을 익힐 수 있답니다.

더 알아보기

Deployment 만들기: Create Deployments
Deployment 엔드포인트 호출하기: Call Deployment endpoints
스케일링: Concurrency and autoscaling