지출 한도

지출 한도 (Spend limits)

출처: 문서

Spend alert를 사용해 월간 API 비용을 추적해요. 추적된 지출이 설정한 금액에 도달하면 트래픽을 중단하도록, 조직 또는 개별 프로젝트에 하드 지출 한도(hard spend limit)를 적용할 수 있어요.

하드 지출 한도는 프로덕션 트래픽을 중단시킬 수 있어요. 추적된 지출이 적용 중인 하드 한도에 도달하면, 영향을 받는 API 요청은 organization_spend_limit_exceeded 또는 project_spend_limit_exceeded 코드와 함께 429 오류를 반환해요. 적용(Enforcement)이 즉시 이루어지지는 않아서, 기록된 지출이 설정한 금액을 약간 초과할 수 있어요.

지출 제어 방식 선택하기

Spend alert와 하드 지출 한도는 서로 다른 효과가 있어요:

제어 방식 설정 금액 도달 시 발생하는 일 이럴 때 사용해요
Spend alert 알림을 보내고 API 트래픽은 계속 진행됨 트래픽을 중단하지 않고 지출을 추적하고 싶을 때
Hard spend limit 영향을 받는 API 요청이 429 오류를 반환함 월간 조직 또는 프로젝트 상한을 강제하고 싶을 때

Spend alert는 상한을 강제하지 않아요. 하드 지출 한도를 추가해도 alert는 계속 활성 상태로 유지되므로, 하드 한도가 트래픽을 중단하기 전에 알림을 받는 용도로 alert를 사용할 수 있어요.

또한 OpenAI는 조직에 사용 등급(usage tier) 기반의 승인된 월간 사용 한도를 부여해요. 이 OpenAI 승인 사용 한도는 사용자가 구성하는 지출 한도와는 별개예요.

지출 한도 구성하기

관련 조직 또는 프로젝트 설정을 관리하려면 권한이 필요해요. 자세한 내용은 API Platform 권한을 참고해요.

Organization

  1. Organization limits로 이동해요.
  2. Spend 에서 Edit spend limit 를 선택해요.
  3. Monthly spend limit 을 입력해요.
  4. 조직이 한도에 도달한 후 API 응답이 실패하도록 하려면 Enforce a hard limit 을 켜요.
  5. Save 를 선택해요.

Project

  1. Project settings로 이동해요.
  2. Limits 를 선택해요.
  3. Spend 에서 Edit spend limit 를 선택해요.
  4. Monthly spend limit 을 입력해요.
  5. 프로젝트가 한도에 도달한 후 API 응답이 실패하도록 하려면 Enforce a hard limit 을 켜요.
  6. Save 를 선택해요.

하드 한도 동작 이해하기

조직 하드 한도와 프로젝트 하드 한도가 모두 하나의 요청에 적용될 수 있어요:

  • 조직 하드 한도는 조직 내 모든 프로젝트의 API 트래픽에 적용돼요.
  • 프로젝트 하드 한도는 해당 프로젝트로 청구되는 API 트래픽에만 적용돼요.
  • 조직 하드 한도에 도달하면 organization_spend_limit_exceeded 코드와 함께 429 오류가 반환돼요.
  • 프로젝트 하드 한도에 도달하면 project_spend_limit_exceeded 코드와 함께 429 오류가 반환돼요.
  • 도달한 한도를 올리거나 제거하면 업데이트가 전파된 후 트래픽이 재개돼요. 그렇지 않으면 한도는 다음 월간 주기와 함께 리셋돼요.

적용이 즉시 이루어지지는 않아요. 한도 상태가 전파되는 동안 API Platform이 아주 적은 양의 추가 사용량을 처리할 수 있으므로, 기록된 지출이 설정한 금액을 약간 초과할 수 있어요.

Spend alert

Spend alert를 사용해 지출이 하드 한도에 도달하기 전에 알림을 받아요. 사용량을 조정하거나, 한도를 올리거나, 예상치 못한 트래픽을 조사할 시간을 확보할 수 있는 임계값에 alert를 추가해요.

API 트래픽 복구하기

청구 관련 한도나 크레딧 잔액 때문에 요청이 실패하는 경우:

  1. error.code 를 확인해서 요청이 조직 지출 한도, 프로젝트 지출 한도, OpenAI 승인 사용 한도 중 어느 것에 도달했는지, 또는 조직이 선불 크레딧을 모두 소진했는지 식별해요.
  2. organization_spend_limit_exceeded 또는 project_spend_limit_exceeded 의 경우 현재 사용량과 지출 한도를 비교해요. 월간 리셋 전에 트래픽이 재개되어야 한다면 도달한 한도를 올리거나 제거해요.
  3. organization_usage_limit_exceeded 의 경우 더 높은 승인 사용 한도를 요청해요.
  4. credit_balance_exhausted 의 경우 크레딧을 추가해요.
  5. 오류가 요청 또는 토큰 비율 한도를 보고한다면 비율 한도 가이드를 따르세요.