✨ 예산 / 요율 제한 티어
✨ 예산 / 요율 제한 티어 (Budget / Rate Limit Tiers)
요율 제한(rate limit)을 가진 티어를 정의하고, 키에 할당할 수 있어요. 많은 키들에 걸쳐 접근 권한과 예산을 통제하는 데 사용해요.
엔터프라이즈 기능이에요. 이 기능을 쓰려면 LiteLLM Enterprise 라이선스가 필요해요. 무료 30일 체험을 시작하거나 데모를 예약할 수 있어요. Enterprise가 제공하는 기능도 확인해 보세요.
출처: 문서
본문
1. 예산(budget) 만들기
curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H "Authorization: Bearer ***" \
-H 'Content-Type: application/json' \
-d '{
"budget_id": "my-test-tier",
"rpm_limit": 0
}'
2. 키에 예산 할당하기
curl -L -X POST 'http://0.0.0.0:4000/key/generate' \
-H "Authorization: Bearer ***" \
-H 'Content-Type: application/json' \
-d '{
"budget_id": "my-test-tier"
}'
예상 응답:
{
"key": "sk-...",
"budget_id": "my-test-tier",
"litellm_budget_table": {
"budget_id": "my-test-tier",
"rpm_limit": 0
}
}
3. 예산이 키에 적용되는지 확인하기
# Authorization: 2단계에서 받은 *** KEY
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer ***' \
-d '{
"model": "<REPLACE_WITH_MODEL_NAME_FROM_CONFIG.YAML>",
"messages": [
{"role": "user", "content": "hi my email is ishaan"}
]
}'