CPU 문제
CPU 문제 (CPU Issues)
LiteLLM 프록시에서 높은 CPU 사용률이 발생할 때 진단하고 해결하는 방법을 안내할게요. 로깅 설정과 리소스 배분이 주요 원인인 경우가 많아요.
출처: 문서
본문
LiteLLM 프록시가 높은 CPU를 사용한다면, 흔히 로깅 또는 가드레일 설정에서 원인을 찾을 수 있어요.
일반적인 원인
- 비동기 로깅/콜백이 과도하게 구성됨
- 동기(sync) 로깅 콜백이 요청 핫 경로를 차단
- 가드레일이나 비용 계산 로직이 무거운 작업 수행
해결 방법
- 콜백 설정을 줄이고 비동기 통합을 우선 사용하세요.
- 불필요한 가드레일/로그를 비활성화하세요.
- Docker 환경에서는 CPU 코어 수를 적절히 할당하고 워커 수를 조정하세요.
이 페이지는 LiteLLM CPU 문제 해결의 시작점이에요. 자세한 내용은 LiteLLM 문서의 해당 설정 페이지를 참고하세요.