Priority Tier — 중요한 트래픽을 위한 우선 처리 등급

일반 요청과 달리 지연에 민감한 운영 트래픽은 더 높은 안정성을 보장받고 싶죠. Mistral의 Priority Tier 는 99.5% 업타임 SLA 등 높은 신뢰성을 제공하는 유료 서비스 등급이에요. 이 페이지에서는 어떻게 동작하고, 언제, 어떻게 켜는지 설명해요.

출처: Mistral Docs — Priority Tier

Priority Tier의 동작 방식

Priority Tier 요청이 실제 우선 처리되려면 다음 조건이 모두 충족돼야 해요:

조직이 활성화된 Priority Tier 자격(entitlement)을 보유.
요청이 Priority Tier로 설정된 모델을 사용.
요청이 해당 모델의 커스텀 Priority Tier rate limit 안에 있음.
해당 모델·배포 지역에 Priority Tier 용량이 가용.

서비스 등급 비교

기능	Batch	Standard Tier	Priority Tier
가용성	글로벌	글로벌 또는 지역(엔드포인트·모델에 따라 다름)	글로벌 또는 지역(계정 설정·모델·용량에 따라 다름)
업타임 SLA	없음	없음	99.5%
신뢰성	높음	높음~중간	높음

Priority Tier 요청하기

지원되는 완성(completion) 요청에 service_tier 요청 파라미터를 설정해요.

값	동작
`auto`	요청이 적격이면 Priority Tier를 사용하고, 그렇지 않으면 Standard Tier로 폴백.
`standard_only`	Standard Tier를 사용하고 Priority Tier 한도를 소모하지 않음.

service_tier 를 생략하면 기본값은 standard_only 예요.

팁: Priority Tier가 가용할 때만 해당 트래픽에 service_tier 를 auto 로 설정하세요. 표준 트래픽은 비워두거나 standard_only 를 쓰는 게 좋아요.

Priority Tier 요청 보내기

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
    model="mistral-medium-latest",
    service_tier="auto",
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)
print(response.choices[0].message.content)

어떤 등급이 서빙됐는지 확인

응답의 usage 객체에 service_tier 필드로 실제 서빙 등급이 드러나요:

{
  "model": "mistral-medium-latest",
  "usage": {
    "prompt_tokens": 22,
    "completion_tokens": 70,
    "total_tokens": 92,
    "service_tier": "priority"
  }
}

시작 전 준비물

Priority Tier 트래픽을 보내기 전에 다음이 갖춰져 있는지 확인하세요:

Priority Tier로 설정된 조직용 API 키.
활성화된 Priority Tier 계약 또는 계정 설정.
각 대상 모델에 구성된 커스텀 Priority Tier rate limit.
Python·TypeScript를 쓴다면 지원되는 SDK 버전.
대상 모델이 Priority Tier 적격인지 확인.

Priority Tier 접근 얻기

담당 어카운트 매니저 또는 Mistral 담당자에게 연락.
대상 모델과 예상 트래픽 프로필 공유.
Mistral이 커스텀 Priority Tier rate limit을 구성할 때까지 대기.
적격 요청이 service_tier 를 auto 로 설정하도록 업데이트.
응답 usage 객체에서 서빙된 등급 확인.

참고: 더 많은 Priority Tier 용량이 필요하면 사전에 Mistral과 협의하세요. 용량 증설은 사전 통지가 필요할 수 있어요.

활용 팁

service_tier 는 요청마다 세밀하게 조절할 수 있으니, 중요한 요청은 auto 로, 나머지 표준 트래픽은 standard_only 나 기본값으로 유지하는 방식이 운영 비용을 아끼면서도 핵심 경로의 신뢰성을 확보하는 방법이에요. 요청이 실제로 어떤 등급으로 처리됐는지는 응답 usage.service_tier 로 검증해야 해요.

Priority Tier — 중요한 트래픽을 위한 우선 처리 등급