팀 소프트 예산 알림

팀 소프트 예산 알림 (Team Soft Budget Alerts)

팀에 소프트 예산을 설정하고 지출이 그 임계값을 넘으면 이메일 알림을 받되, 어떤 요청도 차단하지 않는 엔터프라이즈 기능이에요. 소프트 예산(경고용)과 하드 예산(차단용)의 차이와 설정 방법을 안내할게요.

출처: 문서

본문

엔터프라이즈 기능 이 기능은 LiteLLM Enterprise 라이선스가 필요해요. 무료 30일 체험판을 시작하거나 데모를 예약하세요. Enterprise에 포함된 내용을 확인하세요.

이메일 예산 알림에는 엔터프라이즈 라이선스가 필요해요.

팀에 소프트 예산을 설정하고 지출이 임계값을 넘으면 요청을 차단하지 않고 이메일 알림을 받아요.

개요

소프트 예산은 임계값을 초과하면 이메일 알림을 트리거하지만 요청을 차단하지 않는 지출 임계값이에요. 한도에 도달하면 요청을 거부하는 하드 예산(max_budget)과는 달라요.

팀 소프트 예산 알림으로 할 수 있는 일:

• 조기에 알림 받기 - 팀 지출이 소프트 예산 임계값을 넘으면 이메일 알림을 받아요.
• 요청 유지하기 - 하드 예산과 달리 소프트 예산은 API 호출을 절대 차단하지 않아요.
• 특정 수신자 타기팅 - 팀 구성원뿐 아니라 특정 이메일 주소(예: 팀 리더, 재무)로 알림을 보내요.
• 글로벌 알림 없이 동작 - 팀 소프트 예산 알림은 Slack이나 다른 글로벌 알림 구성과 독립적으로 이메일로 전송돼요.

이메일 통합 필요 팀 소프트 예산 알림은 이메일로 전송돼요. 알림이 전달되려면 프록시에 활성 이메일 통합(SendGrid, Resend, 또는 SMTP)이 구성되어 있어야 해요. 설정 방법은 Email Notifications를 참고하세요.

자동 활성화 팀에 소프트 예산과 알림 이메일을 하나 이상 구성하면 팀 소프트 예산 알림이 자동으로 활성화돼요. 추가 프록시 구성이나 재시작은 필요 없어요. 알림은 모든 요청에서 확인돼요.

동작 방식

팀에 속한 키로 만든 모든 API 요청에서 프록시는 다음을 확인해요:

• 팀에 soft_budget이 설정되어 있는가?
• 팀의 현재 spend가 soft_budget 이상인가?
• soft_budget_alerting_emails에 구성된 이메일이 있는가?

세 조건이 모두 충족되면 구성된 수신자에게 이메일 알림이 전송돼요. 알림은 중복 제거되어 같은 알림은 24시간 창 안에 한 번만 전송돼요.

팀 소프트 예산 알림 설정하기

1. Admin UI로 이동

Admin UI로 이동해요 (예: http://localhost:4000/ui 또는 PROXY_BASE_URL/ui).

2. Teams로 이동

사이드바에서 Teams를 클릭해요.

3. 팀 선택

소프트 예산 알림을 구성할 팀을 클릭해요.

4. 팀 설정 열기

Settings 탭을 클릭해 팀 구성을 확인해요.

5. 설정 편집

Edit Settings를 클릭해 팀 예산 구성을 수정해요.

6. 소프트 예산 설정

Soft Budget (USD) 필드를 클릭하고 원하는 임계값을 입력해요. 예를 들어 테스트용으로 0.01, 프로덕션용으로 500 같은 값을 입력해요.

7. 알림 이메일 추가

Soft Budget Alerting Emails 필드를 클릭하고 알림을 받을 이메일 주소를 쉼표로 구분해 하나 이상 입력해요.

8. 변경 사항 저장

Save Changes를 클릭해요. 프록시 재시작 없이 소프트 예산 알림이 활성화돼요.

9. 확인: 이메일 알림 수신

팀 지출이 소프트 예산을 넘으면 구성된 수신자에게 이메일 알림이 전송돼요. 아래는 알림 이메일의 예시예요.

설정 레퍼런스

소프트 예산 vs 최대 예산

• 소프트 예산: 조언적 임계값. 이메일 알림을 보내지만 요청을 차단하지 않아요.
• 최대 예산: 하드 한도. 예산을 초과하면 요청을 차단해요.

같은 팀에 둘 다 설정해서 조기 경고(소프트)와 강제 중단(최대)을 모두 얻을 수 있어요.

API 구성

팀 생성 또는 업데이트 시 API로도 팀 소프트 예산을 구성할 수 있어요:

curl -X POST 'http://localhost:4000/team/update' \
  --header "Authorization: Bearer ***" \
  --header 'Content-Type: application/json' \
  --data '{
    "team_id": "your-team-id",
    "soft_budget": 500.00,
    "metadata": {
      "soft_budget_alerting_emails": ["[email protected]", "[email protected]"]
    }
  }'

관련 문서

• Email Notifications - LiteLLM 프록시의 이메일 통합(Resend, SMTP) 구성
• Alerting - Slack 및 기타 알림 채널 설정
• Cost Tracking - 팀, 키, 사용자 전반의 지출 추적 및 관리

더 알아보기 (Learn more)

• Email Notifications
• Setting Tag Budgets