메모리 문제
메모리 문제 (Memory Issues)
LiteLLM 프록시에서 메모리가 지속적으로 증가하거나 부족할 때 진단하고 해결하는 방법을 안내할게요.
출처: 문서
본문
LiteLLM 프록시의 메모리 사용량이 비정상적으로 크거나 지속적으로 증가한다면 다음을 확인해 보세요.
일반적인 원인
- 과도한 로깅/콜백으로 인한 객체 누적
- 캐시(Redis/In-memory)가 무한정 커짐
- 대용량 요청/응답을 메모리에 보관하는 설정
- 워커/프로세스 수가 시스템 메모리보다 큼
해결 방법
- 캐시 TTL과 최대 크기를 설정하세요.
- 불필요한 로깅 및 콜백을 줄이세요.
- Docker 컨테이너 메모리 한도를 확인하고 적절한 워커 수를 설정하세요.
- 프로파일링(Pyroscope 등)으로 누수 지점을 찾아보세요.
이 페이지는 메모리 문제 해결의 시작점이에요. 자세한 내용은 LiteLLM 문서를 참고하세요.