Standard Vault 개요
Standard Vault는 전용 인프라를 갖춘 Cohere 관리형 단일 테넌트 추론 환경으로, 기밀 컴퓨팅 계층은 없어요.
출처: 문서
본문
Standard Vault는 Cohere가 관리하는 단일 테넌트 추론 환경이에요. 기본 서빙 스택을 운영하지 않으면서도 모델 선택, 확장, 성능 모니터링을 완전히 제어할 수 있는 전용 인프라를 제공해요. 데이터는 전송 중과 저장 중에 보호되며, 유지보수·배포·업데이트·확장은 Cohere가 관리해요.
전용 추론이 필요하지만, 데이터 사용 중(in use) 보호를 위한 하드웨어 기반 보호나 검증 가능한 원격 증명이 필요하지 않다면 Standard Vault를 선택하세요. 필요하다면 Encrypted Vaults를 참조하세요.
Standard Vault 배포 및 사용
Standard 볼트는 공통 볼트 흐름을 따라요:
Standard Vault에 특화된 내용
아키텍처
Standard Vault의 핵심 아키텍처 구성 요소는 다음과 같아요:
- 논리적 격리: 네트워크 로드 밸런서, 리버스 프록시, 서빙 미들웨어, 추론 서버, GPU 가속기를 포함한 모든 인프라 구성 요소를 격리해요.
- 최소한의 공유 구성 요소: 공유 인프라는 인증과 기본 Kubernetes/컴퓨팅 리소스(노드, CPU, 메모리)로 제한돼요.
- Cohere 관리 운영: 유지보수, 배포, 업데이트, 확장을 Cohere가 처리해요.
Warning
Standard Vault(Standalone) 배포에서 ZDR(Zero Data Retention, 제로 데이터 보존)이 활성화되면, Cohere는 추론을 위해 입력과 출력을 처리하지만 어떤 프롬프트나 응답도 보관하지 않아요.