알려진 제한 사항

알려진 제한 사항 (Known Limitations)

Mistral 플랫폼의 현재 알려진 제한 사항을 정리한 문서예요. Mistral이 이 문제들을 해결하기 위해 적극적으로 노력하고 있는데, 업데이트 소식은 changelogs에서 확인할 수 있어요.

출처: 문서

본문

컨텍스트 창 (Context window)

Model Max context length
Mistral Large 3 256k tokens
Mistral Medium 3.5 256k tokens
Mistral Medium 3.1 128k tokens
Mistral Small 4 256k tokens
Codestral 128k tokens
Devstral 2 256k tokens
Magistral Medium 1.2 128k tokens
Ministral 3 (3B / 8B / 14B) 256k tokens
Mistral Nemo 12B 128k tokens

전체이고 최신인 목록은 모델 카드에서 확인하세요.

  • 모델의 컨텍스트 창을 초과하는 요청은 400 Bad Request 오류를 돌려줘요.
  • 토큰 수에는 입력과 출력 토큰이 모두 포함돼요. 그에 맞춰 max_tokens을 계획하세요.

요청 한도 (Rate limits)

요청 한도는 구독 등급과 모델에 따라 달라져요. 한도를 초과하면 API가 429 Too Many Requests를 돌려줘요.

  • 초당 요청 수와 분당 토큰 수는 서로 독립적으로 적용돼요.
  • 한도는 조직(organization) 단위로 적용돼요.
  • 현재 요청 한도는 limits page에서 확인할 수 있어요.
  • 일괄 처리(Batch processing)는 실시간 요청 한도에 집계되지 않아요.

팁: 한도에 도달하기 전에 사용량을 모니터링하려면 X-RateLimit-Remaining 응답 헤더를 확인해 보세요.

파일 업로드 (File uploads)

  • 최대 파일 크기: 512 MB
  • OCR 지원 형식: PDF, PNG, JPG, JPEG, TIFF, BMP, GIF, WEBP
  • 업로드된 파일은 더 일찍 삭제하지 않는 한 30일간 보관돼요.

일괄 처리 (Batch processing)

  • 최대 배치 파일 크기: 512 MB
  • 배치당 최대 요청 수: 100,000개
  • 배치 작업은 비동기로 처리되며, 완료 시간은 큐 깊이와 요청 복잡도에 따라 달라져요.
  • 배치 결과는 완료 후 24시간 동안 다운로드할 수 있어요.

스트리밍 (Streaming)

  • 스트리밍 연결은 10분 동안 활동이 없으면 타임아웃돼요.
  • 스트림 이벤트에서 토큰 사용량을 받으려면 stream_options.include_usage를 명시적으로 설정해야 해요.
  • 일부 클라이언트 HTTP 라이브러리는 스트리밍 응답을 버퍼링할 수 있으니, 청크 전송 인코딩(chunked transfer encoding)이 올바르게 처리되는지 확인하세요.

함수 호출 (Function calling)

  • 요청당 최대 도구(tools) 개수: 128개
  • 도구 설명은 토큰 수에 포함돼요. 설명이 길면 메시지에 사용할 수 있는 컨텍스트가 줄어들어요.
  • 병렬 함수 호출이 지원되지만, 호출이 어떤 순서로든 반환될 수 있어요.
  • tool_choice: "any"는 도구 호출을 강제하지만 어떤 도구가 선택될지는 보장하지 않아요.

JSON 모드 (JSON mode)

  • response_format: {"type": "json_object"}를 설정하면 모델이 항상 유효한 JSON을 반환해요.
  • 시스템 또는 사용자 프롬프트에 "JSON"을 반드시 포함해야 해요. 그렇지 않으면 모델이 무한 공백 스트림을 만들어낼 수 있어요.
  • JSON 모드는 특정 스키마 준수를 보장하지 않아요. 구조화된 출력은 함수 호출을 사용하세요.

비전 (Vision)

  • 최대 이미지 크기: 이미지당 20 MB
  • 지원 형식: PNG, JPG, JPEG, GIF, WEBP
  • 요청당 최대 이미지 개수는 모델과 전체 토큰 예산에 따라 달라져요.
  • 이미지는 내부적으로 크기가 조정되며, 아주 작은 이미지는 세부 정보가 손실될 수 있어요.

오디오 전사 (Audio transcription)

  • 지원 형식: WAV, MP3, FLAC, OGG, WEBM
  • 최대 오디오 길이: 60분
  • 최대 파일 크기: 500 MB
  • 전사는 명확한 발화에 최적화되어 있어요. 배경 소음이 심하면 정확도가 떨어져요.

지역별 가용성 (Regional availability)

  • Mistral API는 기본적으로 EU 데이터 센터에서 제공돼요.
  • 일부 모델은 모든 지역에서 사용 가능하지 않을 수 있어요. 자세한 내용은 모델 페이지에서 확인하세요.

더 알아보기 (Learn more)