Rate limit 정책
Rate limit 정책
사용자, 워크스페이스, API 키가 LLM Gateway를 통해 보낼 수 있는 요청 또는 토큰 수를 롤링 시간 창에서 제한하는 방법을 알려드릴게요.
참고: LLM Gateway는 베타 상태입니다.
rate limit 정책은 주체가 짧은 롤링 시간 창에서 LLM Gateway를 통해 소비할 수 있는 요청(request) 또는 토큰(tokens) 수를 제한합니다. 게이트웨이는 실시간으로 한도를 시행하며 주체를 한도 너머로 밀어낼 요청을 차단하고, Retry-After 헤더와 함께 429 응답을 반환합니다:
API Error: 429 request blocked by gateway policies: Dev Team Rate Limit
Retry-After: 42
Retry-After 값은 현재 창이 재설정될 때까지의 초 수입니다. 클라이언트는 이 헤더를 존중하고 재시도 전에 백오프해야 합니다.
Rate limit 정책과 spend 캡 정책은 상호 보완적이며 함께 적용할 수 있습니다 — spend 캡은 비용 제어용, rate limit은 처리량·트래픽 제어용입니다.
출처: 문서
본문
정책 차원
Rate limit 정책은 모든 들어오는 요청에 대해 평가됩니다. 기본값(모든 사용자, 워크스페이스, 또는 API 키에 블랭킷 rate limit 적용) 또는 세분화 정책(개별 한도 또는 주체 그룹의 한도)으로 설정할 수 있습니다.
| Subject | What it limits | Example |
|---|---|---|
| User | 단일 사용자 또는 사용자 그룹(API 키의 신원에서 해석)의 요청 또는 토큰 | "No individual developer can send more than 100 requests per minute" |
| Workspace | 단일 워크스페이스 또는 워크스페이스 그룹 내의 요청 또는 토큰 | "The R&D workspace cannot exceed 1,000,000 tokens per hour" |
| API key | 단일 API 키 또는 API 키 그룹의 요청 또는 토큰 | "The customer support agent keys share a limit of 200 requests per minute" |
기본값 vs 세분화 정책
Rate limit 정책에는 두 가지 모드가 있습니다:
- 기본 정책(Default policies) 은 주체 차원의 모든 구성원에게 자동으로 적용됩니다. 예: "이 워크스페이스의 모든 사용자는 분당 100 요청의 기본 캡을 받습니다." 사용자별로 정책을 만들 필요가 없습니다.
- 세분화 정책(Granular policies) 은 명명된 주체를 대상으로 그 주체에 대해서만 기본값을 재정의합니다. 예: "당직 엔지니어는 분당 500 요청을 받습니다." 기본값 편집은 여전히 그 위에 있는 모든 사람을 업데이트합니다.
독립 시행
각 주체는 별도로 추적되고 시행됩니다. 한 사용자가 자신의 한도에 도달해도 다른 사용자에게 영향을 주지 않습니다.
한도
단일 rate limit 정책은 한 번에 여러 한도를 시행할 수 있습니다. 예를 들어 하나의 정책이 분당 100 요청과 시간당 1,000,000 토큰을 동시에 시행할 수 있습니다.
각 한도에는 세 개의 필드가 있습니다:
| Field | Allowed values |
|---|---|
| Metric | requests or tokens (total tokens as reported by the provider) |
| Window | minute or hour |
| Value | A positive integer (the cap) |
규칙:
- 정책마다 최소 하나의 한도가 필요합니다.
- 하나의 정책 안에서 동일한 metric과 window 조합의 두 한도를 가질 수 없습니다.
Rate limit 정책 만들기
경고: 정책 생성·관리에는
organization:manage권한이 필요합니다. 전체 권한 분석은 트레이스, Engine, 접근 제어를 참고하세요.
- LLM Gateway로 이동합니다.
- Create policy를 클릭합니다.
- 정책 유형으로 Rate limit을 선택합니다.
- 주체 범위(사용자, 워크스페이스, API 키)를 선택합니다.
- 각각 metric, window, value가 있는 한도를 하나 이상 추가합니다.
- 저장합니다.
정책은 즉시 적용됩니다.
rate limit 정책은 커스텀 요청 헤더에 대한 조건을 가질 수도 있어, 단일 주체의 트래픽이 헤더 값별로 별도의 한도로 분할됩니다. 하나의 API 키 아래에서 각 최종 고객에게 자체 처리량 허용량을 주는 데 사용하세요. 자세한 내용은 고객별 정책을 참고하세요.
다음 단계
- Spend 정책: rate limit과 함께 비용 캡 설정.
- 고객별 정책: 커스텀 요청 헤더로 한도를 분할해 각 최종 고객이 자체 허용량을 갖게.
- 데이터 정책: 데이터 정책 추가.