프라이빗 배포 개요
프라이빗 배포 개요 (Private Deployment Overview)
Cohere의 모델 프라이빗 배포에 대한 개요를 알아볼 거예요.
출처: 문서
프라이빗 배포란 무엇인가요?
프라이빗 배포는 조직이 통제된 내부 환경 안에서 AI 모델을 구현하고 실행할 수 있게 해 줘요.
프라이빗 배포에서는 (Cohere의 안내와 지원을 받아) 모델 배포 인프라를 직접 관리해요. 여기에는 하드웨어와 드라이버 호환성 보장, 컨테이너 실행을 위한 사전 요구 사항 설치가 포함돼요. 이러한 배포는 보통 Kubernetes에서 실행되지만, 반드시 그래야 하는 것은 아니에요.
Cohere는 두 가지 유형의 프라이빗 배포를 지원해요.
-
온프레미스 (on-prem)
자체 하드웨어로 자신의 구내에서 데이터와 AI 시스템을 모두 완전히 통제할 수 있어요. 환경을 외부 위협으로부터 격리하기 위해 자체 GPU, 서버 및 기타 하드웨어를 조달해요. -
클라우드, 보통 가상 사설 클라우드(VPC)
데이터가 저장되고 처리되는 방식을 계속 통제하면서 클라우드 제공업체(AWS, Azure, GCP 또는 OCI 등)에서 AI 모델을 호스팅하는 데 필요한 인프라를 사용해요. 필요한 하드웨어 요구 사항만 충족된다면 Cohere는 모든 클라우드 환경의 모든 VPC를 지원할 수 있어요.
왜 프라이빗 배포인가요?
프라이빗 배포를 사용하면 Cohere의 최첨단 언어 모델을 활용하면서 인프라를 완전히 통제할 수 있어요.
이를 통해 선택한 클라우드 제공업체 또는 자체 환경을 통해 보안 네트워크 안에서 LLM을 배포할 수 있어요. 데이터는 절대 환경 밖으로 나가지 않으며, 모델을 완전히 네트워크 격리할 수 있어요.
프라이빗 배포의 이점 중 일부는 다음과 같아요.
- 데이터 보안: 온프레미스 배포는 데이터 보호 규정을 준수하면서 데이터를 안전하게 유지할 수 있게 해 줘요. VPC는 유사하지만 다소 덜 엄격한 보호를 제공해요.
- 모델 커스터마이즈: 프라이빗 환경에서의 파인튜닝은 엔터프라이즈가 데이터를 엄격하게 통제하게 해 주어, 민감하거나 독점적인 데이터가 유출될 위험을 피할 수 있어요.
- 인프라 요구 사항: 공개 클라우드는 일반적으로 빠르고 쉽게 확장할 수 있어요. 하지만 특정 지역에 필요한 하드웨어가 없을 때는 온프레미스가 더 빠른 해결책을 제공할 수 있어요.
프라이빗 배포 컴포넌트 (Private Deployment Components)
Cohere의 플랫폼 컨테이너는 몇 가지 핵심 컴포넌트로 구성돼요.
- Endpoints: 모델 상호작용을 위한 API 엔드포인트
- Models: AI 모델 관리 및 저장
- Serving Framework: 모델 서빙과 요청 처리를 관리
- Fine-tuning Framework: 모델 파인튜닝을 처리