지원되는 모델
지원되는 모델 (Supported models)
이 페이지는 SGLang이 지원하는 모델 패밀리 개요를 보여줘요. 텍스트 생성, 검색(retrieval), 보상(reward) 워크플로우 전반에 걸쳐 어떤 종류의 모델이 활발히 관리되는지 한눈에 확인할 수 있어요. 각 분류에 해당하는 상세 페이지로 이동해 구체적인 모델을 살펴볼 수 있어요.
출처: 문서
본문
SGLang은 텍스트 생성, 검색, 보상 워크플로우 전반의 모델 패밀리를 지원해요. 아래 섹션에서 주요 제품 경로를 살펴보고, 특정 클래스를 탐색할 준비가 되면 상세 페이지로 이동하세요.
텍스트 생성 (Text generation)
- Large language models: 고처리량 서빙을 위해 검증된 프로덕션 튜닝 Llama 및 Qwen 패밀리. → generative_models
- Vision language models: 멀티 GPU 구성에서도 반응성이 좋은 비전-텍스트 하이브리드 모델. → multimodal_language_models
- Diffusion language models: 구조화된 텍스트 생성 워크플로우를 위한 스코어 기반 및 확산(backbones) 백엔드. → sglang-diffusion/index
검색 및 랭킹 (Retrieval and ranking)
- Embedding models: FlashInfer 커널로 최적화된 밀집(dense) 및 희소(sparse) 임베딩. → embedding_models
- Rerank models: 다단계 검색 파이프라인을 위한 저지연 리랭커. → rerank_models
- Classification models: 안전성(safety), 의도(intent), 컨텍스트 필터를 다루는 경량 분류기. → classify_models
특수 모델 (Specialized models)
- Reward models: 프로덕션 지연 시간에 맞게 최적화된 RLHF 및 보상 스코어링 파이프라인. → reward_models