개요

개요 (Overview)

SGLang를 이용해 대규모 언어 모델(LLM)과 비전 언어 모델(VLM)을 배포하고 사용하는 실용적인 가이드 모음이에요. 각 모델별 페이지에서는 모델 소개부터 설치, 배포 명령, 호출 예시, 벤치마크까지 단계별로 설명해 주니까, 특정 모델을 바로 시작하고 싶을 때 골라서 보면 돼요.

출처: 문서

본문

이 쿡북(cookbook)은 SGLang에서 지원하는 다양한 자동회귀(autoregressive) 모델들을 카테고리별로 모아둔 문서예요. 각 카드는 모델 패밀리별로 정리되어 있고, 아래 카드들을 클릭하면 각 모델에 대한 자세한 배포 가이드로 이동할 수 있어요.

더 알아보기 (Learn more)