고급 기능
고급 기능 (Advanced Features)
SGLang이 제공하는 고급 기능은 크게 "서빙 설정·최적화"와 "배포" 두 갈래로 나눌 수 있어요. 이 문서는 그 지도를 먼저 잡고, 원하는 기능의 상세 페이지로 들어가기 위한 안내예요.
출처: 공식문서
서빙 설정과 최적화
- 서버 인자 (Server Arguments) — 서버를 띄울 때 쓸 수 있는 모든 인자.
- 하이퍼파라미터 튜닝 (Hyperparameter Tuning)
- Attention 백엔드
- 추측 디코딩 (Speculative Decoding)
- 구조화된 출력 (Structured Outputs)
- 양자화 (Quantization)
캐시와 메모리
병렬화와 배포
- 전문가 병렬화 (Expert Parallelism)
- 디코드 컨텍스트 병렬화 (Decode Context Parallelism, DCP)
- LoRA
- PD 분리 (PD Disaggregation)
- 파이프라인 병렬화 (Pipeline Parallelism)
- SGLang 시뮬레이터
운영
그 외에도 더 많은 기능이 있어요. 전체 내용은 서버 인자에서 확인할 수 있어요.