Model Vault 개요
Model Vault 개요
Model Vault는 Cohere가 관리하는 단일 테넌트(single-tenant) 환경으로, Cohere 모델을 배포하고 서빙해요. 모든 볼트(vault)는 Standard 또는 Encrypted 중 하나예요.
출처: 문서
본문
Model Vault는 격리된 단일 테넌트 설정에서 Cohere 모델을 배포하고 서빙하기 위한, Cohere가 관리하는 추론 환경이에요. 기본 서빙 스택을 직접 운영하지 않으면서도 모델 선택, 확장, 성능 모니터링을 완전히 제어할 수 있는 전용 인프라를 제공해요.
인프라가 다른 테넌트와 공유되지 않기 때문에, 프라이빗 호스팅의 보안과 격리를 API의 편리함과 함께 얻을 수 있어요. 방해하는 이웃(noisy neighbor)도 없고, 레이트 리밋도 없으며, 규모에 따라 예측 가능한 성능을 누릴 수 있죠.
Model Vault 앱에서 모든 볼트를 한 곳에서 관리할 수 있어요. 지출, 사용 시간, 활동을 추적할 수 있죠. Model Vault에는 **Standard**와 Encrypted 두 가지 유형이 있어요. 배포와 관리 경험은 동일하며, 유일한 차이는 데이터 보호 수준이에요 (아래 비교 참조).
vault.cohere.com 
왜 Model Vault인가
전용 및 단일 테넌트
로드 밸런서, 서빙 미들웨어, 추론 서버, GPU 가속기가 모두 여러분에게 전용으로 할당돼서, 용량을 두고 경쟁하는 방해하는 이웃이 없어요.
완전 관리형
Model Vault 앱에서 볼트를 만들면 유지보수, 배포, 업데이트, 확장은 Cohere가 처리해요. 운영할 서빙 스택이 없죠.
모델과 성능 티어
지연 시간과 처리량 요구에 맞는 모델과 크기 티어(S, M, L, XL)를 선택해요.
탄력적이고 제한 없는 용량
모델당 최소·최대 레플리카 범위(1–25)를 설정하고, 자동 확장(autoscaling)도 사용할 수 있어요. 레이트 리밋 없는 전용 처리량을 얻고, 사용한 만큼만 지불하면 돼요.
프로덕션 환경에 맞게 설계
요청률, 지연 시간, 토큰 처리량, GPU 사용률을 실시간으로 모니터링해서 프로덕션 워크로드에 맞춰 용량을 조정할 수 있어요.
단독으로 또는 North와 함께
API로 볼트를 직접 호출하거나, North의 추론 백엔드로 사용할 수 있어요.
어떻게 동작하나요
볼트 만들기
Model Vault 앱에서 볼트를 만들고: 이름을 지정하고, 모델과 성능 티어를 선택하고, 레플리카 범위를 설정해요.
엔드포인트 얻기
볼트가 Ready 상태가 되면 볼트 상세 페이지에서 엔드포인트 URL과 모델 이름을 복사해요 (Managing Vaults 참조).
Cohere SDK로 호출하기
SDK의 base_url을 볼트 엔드포인트로 지정하고 chat, embed, rerank 요청을 보내요 (Calling a Vault over the API 참조).
두 가지 유형의 볼트
Standard Vault
데이터가 전송 중(in transit)과 저장 중(at rest)에 보호되는, Cohere가 관리하는 단일 테넌트 배포예요. 서빙 스택을 관리하지 않고 전용 추론을 원할 때 가장 좋아요.
STANDARD VAULT 살펴보기 →
Encrypted Vault
Standard Vault의 모든 것에 더해 기밀 컴퓨팅(confidential computing)을 갖춰요. 프롬프트, 응답, 그 사이의 모든 것이 하드웨어 기반의 신뢰 실행 환경(trusted execution environments) 안에서 엔드투엔드로 보호되고, 검증 가능한 원격 증명(remote attestation)도 지원돼요. 규제가 있거나 민감도가 높은 워크로드에 가장 좋아요.
ENCRYPTED VAULT 살펴보기 →
비교하기
| Standard Vault | Encrypted Vault | |
|---|---|---|
| 관리형 단일 테넌트 배포 | Yes | Yes |
| 홈 페이지, 모니터링, 사용량 및 결제 | Yes | Yes |
| 단독 사용 또는 North와 함께 사용 | Yes | Yes |
| 전송 중 · 저장 중 데이터 보호 | Yes | Yes |
| 사용 중(in use) 데이터 보호 (기밀 컴퓨팅) | No | Yes |
| 검증 가능한 원격 증명 | No | Yes |
| 컴플라이언스 지원 (GDPR, HIPAA, SOC 2) | 지원 | 지원, 검증 가능한 증명 증거 추가 |
| 지원 모델 | Standard 볼트 모델 | Encrypted 볼트 모델 |
| 가격 | Standard 볼트 가격 | Encrypted 볼트 가격 |
문서 구성 방식
유형과 관계없이 모든 볼트의 일상적 흐름을 다루는 공통 섹션부터 시작해요:
- 배포 & 관리: Home Page, Creating a Vault, Managing Vaults
- 운영 & 관찰: Monitoring
그런 다음 여러분의 볼트 유형에 특화된 내용(API로 호출하는 방법 포함)을 다루는 섹션으로 들어가 보세요:
- Standard Vault: 지원 모델, API 호출(Cohere SDK, raw HTTP, 또는 OpenAI 호환), 가격
- Encrypted Vault: 지원 모델, 증명을 검증하는 Cohere OHTTP 프록시를 통한 API 호출, 기밀 컴퓨팅 심층 분석(confidential computing, security model, remote attestation, key management, compliance), 가격
그리고 볼트를 North에 연결하려면:
- Model Vault with North: 볼트를 North의 추론 백엔드로 사용
시작하기
- Model Vault가 처음이라면 Quickstart부터 시작하세요.
- 기밀 컴퓨팅이 필요하다면 Encrypted Vaults를 참조하세요.