자격 증명 사용량 추적

자격 증명 사용량 추적 (Credential Usage Tracking)

모델이 재사용 가능한 자격 증명에 연결되면, LiteLLM은 그 모델을 사용하는 모든 요청에 자격 증명 이름을 태그로 자동 주입해요. 즉 자격 증명 수준의 지출과 사용량이 추가 설정 없이 추적돼요.

출처: 문서

본문

동작 방식 (How It Works)

litellm_credential_name으로 모델을 재사용 가능한 자격 증명에 연결하면, 그 모델을 통해 라우팅된 각 요청이 Credential: <name>으로 태깅돼요 (예: Credential: xAI). 이 태그는 DailyTagSpend로 흘러 Usage 페이지의 Tag 보기에 나타나며, 거기서 자격 증명별로 지출과 사용량을 필터링할 수 있어요.

모델에 연결된 자격 증명이 없으면 동작은 변하지 않고 자격 증명 태그도 추가되지 않아요.

자격 증명 사용량 보기 (Viewing Credential Usage)

Admin UI에서 Usage → Tag로 가서 Credential: 접두사가 붙은 태그를 찾으세요. 이 태그는 그 자격 증명을 사용한 모든 요청의 집계된 지출과 토큰 사용량을 나타내요.

  • Adding LLM Credentials — 재사용 가능한 자격 증명을 생성하고 모델에 연결하는 방법
  • Tag Budgets — 태그에 지출 한도 설정
  • Tag Routing — 태그 기반 요청 라우팅