Server Arguments
Server Arguments (서버 인자)
이 문서는 SGLang 모델 구성에서 쓰이는 병렬 처리(parallelism) 설정 필드들이 SGLang 서버 명령줄 인자에 어떻게 매핑되는지 설명해요. 모델 구성 파일의 필드 이름과 실제 CLI 플래그 사이의 연결 관계를 한눈에 보여주는 참고 자료예요.
출처: 문서
본문
이 가이드는 SGLang 모델 구성에 사용되는 병렬 처리 설정 필드와 그것이 SGLang 서버 명령줄 인자에 어떻게 매핑되는지 설명해요.
Quick Reference (빠른 참조)
| Config Field | SGLang CLI Argument | Description |
|---|---|---|
tp |
--tp-size, --tensor-parallel-size |
Tensor Parallelism - 모델을 GPU들에 걸쳐 분할 |
dp |
--dp-size, --data-parallel-size |
Data Parallelism - 여러 모델 레플리카 실행 |
ep |
--ep-size, --expert-parallel-size, --ep |
Expert Parallelism - MoE 전문가 분산 |
enable_dp_attention |
--enable-dp-attention |
어텐션은 DP, FFN은 TP (하이브리드) |