안정성, 테스트 & 비용
안정성, 테스트 & 비용 (Reliability, Testing & Spend)
요청 실패를 줄이고 테스트 비용을 절감하며 예산을 관리하는 방법을 정리한 가이드 묶음이에요.
출처: 문서
본문
📄️ Mock Completion() Responses - Save Testing Costs 💰 (Mock 응답으로 테스트 비용 절감)
테스트 목적으로 completion()에 mock_response를 지정하면 실제 completion 엔드포인트 호출을 흉내 낼 수 있어요. 실제 모델 호출 비용 없이 파이프라인을 검증할 수 있어요.
📄️ Reliability - Retries, Fallbacks (재시도 & 폴백)
LiteLLM은 두 가지 방식으로 실패한 요청을 방지해 줘요:
- Retries(재시도) — 일시적 실패를 자동으로 재시도
- Fallbacks(폴백) — 실패 시 다른 모델/프로바이더로 대체