모델 누락
모델 누락 (Missing Model)
LiteLLM 프록시에서 "모델을 찾을 수 없음" 오류가 날 때 진단하고 해결하는 방법을 안내할게요.
출처: 문서
본문
요청 시 모델을 찾을 수 없어 Model not found류 오류가 나는 경우가 있어요.
일반적인 원인
- 프록시 config(
model_list)에 해당model_name이 선언되어 있지 않아요. litellm_settings나router_settings에서 모델이 제외/필터링됨.- 프록시를 재시작하지 않아 최신 config가 반영되지 않음.
- 무료 키/기본 모델이 비활성화된 상태에서 모델 없이 요청.
해결 방법
config.yaml의model_list에 모델이 정의되어 있는지 확인하세요.- config 수정 후 프록시를 재시작하세요.
/v1/models엔드포인트로 프록시가 인식하는 모델 목록을 확인하세요.
이 페이지는 모델 누락 해결의 시작점이에요. 자세한 내용은 LiteLLM 모델 관리 문서를 참고하세요.