LiteLLM Performance Roadmap
LiteLLM Performance Roadmap (로드맵)
LiteLLM이 어디로 가고 있는지가 궁금하다면, 공식 Performance Roadmap이 가장 정직한 답을 줍니다. 게이트웨이의 성능 오버헤드를 얼마까지 줄이려는지, 어떤 목표를 어떤 일정으로 잡았는지를 수치로 정리해 놓은 공개 로드맵이에요. 팀이 게이트웨이를 왜 계속 고도화하는지 맥락을 잡는 데 좋은 문서입니다.
현재 오버헤드: 어디서 출발하나
로드맵은 자기 오버헤드를 정직하게 공개하는 데서 시작해요. v1.78.5 기준으로, LiteLLM AI Gateway는 4개 인스턴스에서 1K 동시 요청을 처리할 때 중앙값(median) 8ms, P99 45ms의 오버헤드를 추가합니다. 이는 v1.76.0 대비 약 80% 개선된 수치예요. 즉 게이트웨이가 LLM 호출 자체에 더하는 지연을 계속 줄여 왔다는 뜻이죠.
2025년 말까지의 세 가지 핵심 목표
로드맵은 세 가지 구성 요소를 2025년 말까지 완수하는 것을 목표로 합니다.
- 모든 주요 LLM 엔드포인트에서 8ms 중앙값 달성
- 공개된 메모리 누수(memory leak) 문제 해결
- 모든 주요 엔드포인트에서 4ms 중앙값 오버헤드 달성
세부 목표와 일정
1. 엔드포인트별 지연 개선 (목표: 2025-11-30)
앞서 언급한 동일한 테스트 환경(1K 동시 요청, 4개 인스턴스)에서 아래 엔드포인트에 대해 중앙값 8ms, P99 45ms 오버헤드를 달성하는 것이 목표예요.
/chat/completions/responses/embeddings/realtime/audio/speech/audio/transcriptions
2. 메모리 문제 해결 (목표: 2025-11-30)
- 보고된 모든 메모리 누수 문제를 해결한다.
- LiteLLM 전체 메모리 사용량을 낮춘다. 현재 단일 워커가 약 500MB를 쓰는데, 그중 약 200MB가 Prisma import에서 비롯된다고 해요.
- 요청당 메모리 할당량을 줄인다.
3. 오버헤드 반감 (목표: 2025-12-31)
같은 환경에서 중앙값 4ms, P99 22.5ms 오버헤드를 목표로 합니다. 목표를 달성하기 위해 필요하면 일부 컴포넌트를 Rust로 이전할 수도 있다고 명시되어 있어요. (실제로 이후 로드맵에서는 LiteLLM을 Rust로 전환하는 발표가 이어집니다.)
로드맵이 주는 시사점
이 로드맵을 보면 LiteLLM이 단순한 "일사천리 프록시"를 넘어, 게이트웨이 자체가 성능 병목이 되지 않도록 신경 쓰고 있음을 알 수 있어요. 100여 개 LLM을 하나의 인터페이스로 묶는 기능만큼이나, 그 앞단에서 추가되는 지연을 밀리초 단위로 줄이는 일을 중요한 개발 방향으로 삼고 있습니다.
더 알아보기
- 게이트웨이가 지연을 어디에 추가하나 궁금하면 프록시 요청 수명 문서에서 요청 경로에 DB 쓰기가 없다는 설계를 확인하세요.
- 최신 릴리스와 기능 변화는 LiteLLM 공식 릴리스 노트(Release Notes)를 참고하세요.