최대 콜백
최대 콜백 (Max Callbacks)
LiteLLM에서 너무 많은 로깅/콜백을 동시에 구성했을 때 나타나는 문제와 해결 방법을 안내할게요. 콜백이 과도하면 성능 저하나 지연이 발생할 수 있어요.
출처: 문서
본문
LiteLLM은 동시에 여러 로깅/통합 콜백을 지원해요. 하지만 너무 많은 콜백을 구성하면 각 요청마다 모든 콜백이 실행되어 성능이 저하될 수 있어요.
문제
- 콜백 수가 많을수록 요청당 부가 작업이 늘어나요.
- 동기 콜백이 많으면 요청 핫 경로가 느려질 수 있어요.
해결 방법
- 필요한 콜백만 구성하세요.
- 비동기 통합을 우선 사용하세요.
- 구성한 콜백 수와 성능 사이의 트레이드오프를 고려하세요.
이 페이지는 콜백 과다 문제 해결의 시작점이에요. 자세한 내용은 LiteLLM 콜백 문서를 참고하세요.