LiteLLM Proxy 성능
LiteLLM Proxy 성능 (LiteLLM Proxy Performance)
이 페이지의 수치는 프록시를 거치지 않고 공급자(provider)에 직접 호출한 경우와 비교한 값이에요. 게이트웨이 용량 수치(스케일에서 포드당 요청·토큰·지연 시간)는 Benchmarks 문서를 참고해 주세요.
출처: 문서
본문
처리량(Throughput) — 30% 향상
LiteLLM proxy + Load Balancer를 쓰면 Raw OpenAI API에 비해 30%의 처리량 증가를 얻을 수 있어요.
추가 지연(Latency) — 0.00325초
LiteLLM proxy는 Raw OpenAI API를 쓰는 경우와 비교해 0.00325초의 지연을 추가해요.
