비용 불일치
비용 불일치 (Cost Discrepancy)
LiteLLM에서 기록된 사용량/비용이 실제 제공자 청구서와 다를 때 진단하고 해결하는 방법을 안내할게요. 비용 계산 방식과 원인을 이해할 수 있어요.
출처: 문서
본문
LiteLLM이 계산한 비용이 제공자 청구서와 다르게 보이는 상황은 흔하게 발생해요. 여러 원인이 있을 수 있어요.
일반적인 원인
- 모델의 가격 데이터가 LiteLLM의 모델 가격 맵(maintenance)과 달라요.
- 일부 제공자는 토큰 사용량을 지연해 보고하거나 비용 계산 방식이 달라요.
- 프롬프트/캐시 토큰, 스트리밍 처리 차이.
- 커스텀 가격을 설정했지만 반영되지 않음.
해결 방법
- 사용 중인 모델의 가격표가 최신인지 확인하고, 필요하면 커스텀 가격(
input_cost_per_token등)을 설정하세요. completion_cost()등을 통해 계산 값을 직접 검증해 보세요.- 실제 토큰 수와 LiteLLM이 기록한 토큰 수를 비교해 보세요.
이 페이지는 비용 불일치 해결의 시작점이에요. 자세한 내용은 LiteLLM 비용 추적 문서를 참고하세요.