속도 제한

속도 제한 (Rate Limits)

속도 제한은 일정 시간 안에 사용자와 애플리케이션이 API에 얼마나 자주 접근할 수 있는지 규제하는 장치예요. 서비스 안정성과 공정한 접근을 보장하고 오용을 막아서, 모두에게 빠르고 믿을 수 있는 추론을 제공하기 위한 제도예요.

출처: GroqCloud — Rate Limits

속도 제한 단위

속도 제한은 다음 단위로 측정돼요.

  • RPM: 분당 요청 수 (Requests per minute)
  • RPD: 하루 요청 수 (Requests per day)
  • TPM: 분당 토큰 수 (Tokens per minute)
  • TPD: 하루 토큰 수 (Tokens per day)
  • ASH: 시간당 오디오 초 (Audio seconds per hour)
  • ASD: 하루 오디오 초 (Audio seconds per day)
  • ITPM: 분당 입력 토큰 수 (Input tokens per minute)
  • OTPM: 분당 출력 토큰 수 (Output tokens per minute)

캐시된 토큰은 속도 제한에 집계되지 않아요. 그리고 속도 제한은 개인 사용자가 아니라 조직(organization) 단위로 적용돼요. 여러 제한 유형이 있으면 먼저 도달하는 임계값이 실제 한계가 돼요.

예를 들어 RPM=50, TPM=200K인 조직을 생각해 볼게요. 1분 안에 각각 100토큰짜리 요청 50개를 보내면, 200K 토큰을 보내지 않았더라도 50개 요청 한도에 먼저 걸려요.

입력·출력 토큰 제한 (ITPM / OTPM)

결합된 TPM 제한 외에도, 일부 조직은 분당 입력 토큰(ITPM)과 출력 토큰(OTPM)에 별도의 상한을 두거나 해요. 예를 들어 OTPM 상한이 있으면 입력 토큰과 무관하게 조직이 분당 생성할 수 있는 완성 토큰 수가 제한돼요. 이 설정이 되어 있는 계정은 한도 페이지에서 TPM 값에 마우스를 올리면 "X in / Y out" 형태로 입력과 출력이 나뉘어 보여요. 분리 없이 표시되면 단일 결합 TPM 상한이라는 뜻이에요.

모델별 기본 속도 제한

아래는 대표적인 한도 요약이에요. 예외가 있을 수 있으니 정확한 값은 계정 설정의 한도 페이지에서 확인하는 게 정확해요. 더 높은 한도가 필요하면 Developer 플랜으로 업그레이드하면 배치·플렉스 처리와 함께 더 높은 한도를 쓸 수 있어요.

모델 RPM RPD TPM TPD
groq/compound 30 250 70K -
groq/compound-mini 30 250 70K -
openai/gpt-oss-120b 30 1K 8K 200K
openai/gpt-oss-20b 30 1K 8K 200K
openai/gpt-oss-safeguard-20b 30 1K 8K 200K
qwen/qwen3.6-27b 30 1K 8K 200K
qwen/qwen3.8-27b 30 1K 8K 200K
whisper-large-v3 20 2K - -

오디오 모델(whisper)은 토큰 대신 오디오 초(ASH/ASD)로 제한돼요.

속도 제한 헤더

한도 페이지를 보지 않아도 HTTP 응답 헤더에서 남은 요청·토큰 수를 바로 알 수 있어요. 다음 헤더들이 설정돼요 (값은 예시예요).

헤더 값 의미
retry-after 2 초 단위 재시도 대기
x-ratelimit-limit-requests 14400 항상 일일 요청(RPD)
x-ratelimit-limit-tokens 18000 항상 분당 토큰(TPM)
x-ratelimit-remaining-requests 14370 남은 일일 요청(RPD)
x-ratelimit-remaining-tokens 17997 남은 분당 토큰(TPM)
x-ratelimit-reset-requests 2m59.56s 일일 요청 초기화까지 (RPD)
x-ratelimit-reset-tokens 7.66s 분당 토큰 초기화까지 (TPM)

속도 제한 다루기

한도를 넘으면 API가 429 Too Many Requests HTTP 상태 코드를 반환해요. 여기서 주의할 점은 retry-after 헤더는 실제로 속도 제한에 걸려 429가 반환될 때만 설정되고, 나머지 헤더는 항상 포함된다는 거예요. 429를 받으면 retry-after 값만큼 기다렸다가 재시도하면 안정적으로 처리할 수 있어요.

더 알아보기