Model Vault with North

여러분의 환경에서 North 애플리케이션을 실행하고 모델 추론을 볼트 엔드포인트로 라우팅해요.

출처: 문서

본문

Model Vault는 볼트 유형과 관계없이 두 가지 방식으로 사용할 수 있어요:

독립형(Standalone): 모델을 배포하고 볼트 엔드포인트를 직접 호출해요. Cohere가 네트워킹, 서빙 구성 요소, 컴퓨팅을 포함한 기본 추론 인프라를 관리해요.
North와 함께(With North): North 애플리케이션과 컨트롤 플레인(에이전트, 도구, 오케스트레이션, 데이터)을 여러분의 환경에서 배포·운영하고, North가 모델 추론에 볼트 엔드포인트를 사용하도록 구성해요. 추론 인프라는 Cohere가 관리해요.

Model Vault를 North와 함께 사용하려면 여러분의 VPC/네트워크에서 North 애플리케이션을 실행하고, 모델 추론을 볼트 엔드포인트로 라우팅하세요.

볼트를 만들 때 Add North + 옵션은 North에 적합한 의견 반영된(opinionated) 기본값으로 볼트를 프로비저닝해요. Add Model +와 마찬가지로 모델을 선택하고 최소·최대 레플리카를 구성할 수 있어요.

Note

North는 Standard와 Encrypted 볼트 모두에서 동작해요. Encrypted 볼트로 라우팅할 때도 클라이언트가 데이터를 보내기 전에 원격 증명을 검증해요.