배포 옵션 - 개요
배포 옵션 - 개요 (Deployment Options - Overview)
Cohere의 모델을 배포할 때 선택할 수 있는 옵션들에 대한 개요를 알아볼 거예요.
Cohere의 대규모 언어 모델(LLM)에 접근하는 가장 일반적인 방법은 Cohere가 완전히 관리하고 API를 통해 접근할 수 있는 Cohere 플랫폼을 이용하는 것이에요.
하지만 그것이 Cohere의 모델에 접근하는 유일한 방법은 아니에요. 엔터프라이즈 환경에서는 조직이 모델이 호스팅되는 위치와 방식을 더 잘 제어해야 할 수도 있어요.
구체적으로 Cohere는 네 가지 유형의 배포 옵션을 제공해요.
- Cohere Platform
- Cloud AI Services
- Private Deployments - Cloud
- Private Deployments - On-Premises
출처: 문서
Cohere 플랫폼 (Cohere platform)
이것은 Cohere의 모델을 사용하기 시작하는 가장 빠르고 쉬운 방법이에요. 모델은 Cohere 인프라에 호스팅되며, Cohere가 완전히 관리하는 공개 SaaS 플랫폼(API 데이터 옵트아웃 제공)에서 사용할 수 있어요.
클라우드 AI 서비스 (Cloud AI services)
이 매니지드 서비스는 엔터프라이즈가 클라우드 AI 서비스에서 Cohere의 모델에 접근할 수 있게 해 줘요. 이 시나리오에서는 Cohere의 모델이 클라우드 제공업체의 인프라에 호스팅돼요. Cohere는 클라우드 중립(cloud-agnostic)적이라서 어떤 클라우드 제공업체를 통해서든 우리 모델을 배포할 수 있어요.
AWS
개발자는 Amazon의 AWS Cloud 플랫폼을 통해 프라이빗 환경에서 다양한 Cohere 언어 모델에 접근할 수 있어요. Cohere의 모델은 Amazon Bedrock과 Amazon SageMaker 두 가지 Amazon 서비스에서 지원돼요.
Amazon Bedrock
Amazon Bedrock은 Cohere의 파운데이션 모델이 단일 serverless API를 통해 제공되는 완전 관리형 서비스예요. 여기서 Bedrock에 대해 알아보세요.
Amazon Bedrock에서 Cohere의 모델 보기.
Amazon SageMaker
Amazon SageMaker는 고객이 완전 관리형 인프라, 도구, 워크플로로 모든 사용 사례에 맞는 데이터를 준비하고 머신러닝(ML) 모델을 구축·훈련·배포할 수 있게 해 주는 서비스예요. 여기서 SageMaker에 대해 알아보세요.
Cohere는 다양한 하드웨어 옵션에서 SageMaker를 통해 포괄적인 생성 및 임베딩 모델 제품군을 제공하며, 많은 모델이 더 깊은 커스터마이즈와 성능을 위한 파인튜닝을 지원해요.
AWS Marketplace에서 Cohere의 모델 목록 보기.
Azure AI Foundry
Azure AI Foundry는 개발자가 엔터프라이즈급 플랫폼에서 생성형 AI 애플리케이션을 구축하도록 설계된 플랫폼이에요. 개발자는 특정 목표를 충족하는 AI 애플리케이션을 구축하기 위해 다양한 모델, 서비스, 기능을 탐색할 수 있어요.
Azure AI Foundry에서 Cohere의 모델 보기.
OCI Generative AI Service
Oracle Cloud Infrastructure Generative AI는 API를 통해 Cohere의 생성(generative) 및 임베딩 모델을 사용할 수 있게 해 주는 완전 관리형 서비스예요.
프라이빗 배포 (Private deployments)
Cloud (VPC)
프라이빗 배포(클라우드)는 엔터프라이즈가 클라우드 플랫폼에 Cohere 스택을 프라이빗하게 배포할 수 있게 해 줘요. AWS에서는 Cohere의 모델이 자체 VPC(EC2, EKS)를 통해 엔터프라이즈의 AWS Cloud 환경에 배포될 수 있어요. 매니지드 클라우드 서비스와 비교하면 VPC 배포는 더 긴밀한 제어와 규정 준수를 제공해요. No egress(외부로의 데이터 유출 없음)도 VPC를 선택하는 흔한 이유예요. 전반적으로 VPC 옵션은 관리 부담이 더 크지만 더 많은 유연성을 제공해요.
온프레미스 (On-premises)
온프레미스(on-prem) 프라이빗 배포는 엔터프라이즈가 자체 컴퓨팅에 Cohere 스택을 프라이빗하게 배포할 수 있게 해 줘요. 여기에는 시스템이 보안되지 않은 네트워크로부터 물리적으로 격리되는 에어갭(air-gapped) 환경이 포함되며, 민감한 워크로드에 최대한의 보안을 제공해요.