퀵스타트
퀵스타트 (Quickstart)
Model Vault 앱에서 첫 번째 볼트를 만들고 몇 분 안에 추론 요청을 보내 보세요.
출처: 문서
본문
이 퀵스타트는 Model Vault 앱에서 첫 번째 볼트를 만들고 그에 대해 추론 요청을 보내는 과정을 안내해요. 모든 볼트에 동일한 흐름이 적용되며, 유일한 선택은 Standard 볼트를 만들지 Encrypted 볼트를 만들지 여부예요.
볼트 유형 선택
dashboard.cohere.com으로 이동해 Vaults를 열고 새 볼트를 만들어요. 먼저 볼트 유형, Standard 또는 Encrypted를 선택해요 (생성 후에는 변경할 수 없어요). Encrypted 볼트는 하드웨어 기반 신뢰 실행 환경 안에서 실행되며 원격 증명을 지원해요. Encrypted Vaults를 참조하세요.
모델과 성능 티어 선택
구성 패널에서 볼트 이름을 짓고, 모델을 선택하고, 성능 티어를 고른 다음 레플리카 범위를 설정해요. 전체 과정은 Creating a Vault를 참조하세요.
엔드포인트와 모델 이름 얻기
볼트 상태가 Ready가 되면 그 요약 페이지를 열고 엔드포인트 URL과 모델 이름을 복사해요. Calling a Vault over the API를 참조하세요.
(Encrypted 전용) 증명 검증하기
Encrypted 볼트를 만들었다면, 클라이언트가 데이터를 보내기 전에 배포의 원격 증명을 자동으로 검증하고, 통과하지 못하면 연결을 거부해요. 증명 결과와 CPU, GPU, 소프트웨어, 정책 검사를 Model Vault 앱이나 API를 통해 직접 확인할 수도 있어서, 정확히 무엇이 실행 중인지에 대한 증거를 확보할 수 있어요. Verifying Your Deployment와 Remote Attestation을 참조하세요.
요청 보내기
Cohere SDK를 볼트 엔드포인트로 지정하고 다른 Cohere 모델처럼 호출해요.
PYTHON
import cohere
co = cohere.ClientV2(
api_key="<COHERE_API_KEY>",
base_url="<YOUR_VAULT_ENDPOINT_URL>",
)
response = co.chat(
model="<YOUR_VAULT_MODEL_NAME>",
messages=[{"role": "user", "content": "Hello from Model Vault!"}],
)
print(response.message.content[0].text)
다음 단계
- Managing Vaults: 볼트 상세 확인, 편집, 일시중지/재개, 모델 삭제
- Calling a Vault over the API: 전체 요청 패턴, base URL 구성, 지원 엔드포인트
- Monitoring: 지연 시간, 처리량, 사용률 추적
- 여러분의 볼트 유형에 대해 더 깊이: Standard Vault 또는 Encrypted Vault