Skip to content

vLLM

큰 생성 모델을 서빙한다는 건, GPU 위에 모델을 올리고 수많은 요청을 동시에 빠르게 처리하는 일입니다. 그런데 큰 모델일수록 메모리에 안 들어가는 문제가 생기고, 요청이 몰리면 응답이 느려지죠. 이런 고속 서빙을 돕는 엔진 중 하나가 vLLM입니다.

vLLM은 대규모 LLM을 고속으로 서빙하는 오픈소스 엔진이에요. 우리는 자체 GPU 서빙을 검토하면서, 큰 생성 모델을 돌릴 때의 주력 후보로 보고 있습니다. 아직 계획 단계이고, 도입 시점에 검증해서 확정합니다.

하위 페이지

  • 아키텍처 (PagedAttention) 🟡 — KV 캐시 메모리를 페이지 단위로 관리하는 PagedAttention과 연속 배칭·병렬화로 vLLM이 빠른 이유를 공식 문서 기준으로 풀어요.
  • 서빙 (OpenAI 호환 API) 🟡 — vllm serve로 서버를 띄우고 OpenAI 호환 /v1 엔드포인트를 호출하는 흐름과 인증 주의점을 다뤄요.
  • 양자화 (INT4/INT8/AWQ/GPTQ) 🟡 — INT4/INT8부터 FP8·GGUF까지 vLLM이 지원하는 양자화 형식을 언제, 왜 고르는지 설명해요.

핵심 개념

고성능 서빙 (High-throughput Serving)

vLLM은 PagedAttention이라는 기법으로 GPU 메모리를 효율적으로 써서, 같은 자원으로 더 많은 요청을 동시에 처리합니다. 그 결과 서빙 처리량(throughput)이 올라가고, 여러 요청이 몰려도 전체 응답이 밀리지 않아요.

양자화 (INT4 / INT8)

모델의 가중치를 32비트·16비트 대신 4비트(INT4)나 8비트(INT8)로 줄여 저장하는 기법입니다. 메모리 사용이 줄어 GPU에 더 큰 모델을 올리거나 더 많은 요청을 처리할 수 있고, 비용을 낮추는 핵심 수단으로 계획합니다.

Tensor Parallelism (텐서 병렬화)

한 모델을 여러 GPU로 쪼개 나눠 연산하는 기법입니다. 모델 하나가 GPU 한 장 메모리에 안 들어갈 때, 여러 GPU에 분산시켜 큰 모델도 돌릴 수 있게 해요. H100 같은 고사양 GPU 여러 장을 잇는 상황에서 검토합니다.

사용 사례 / 실제 적용 (로드맵)

  • 큰 생성 모델 자체 GPU 서빙 — 뉴런 같은 제품의 핵심 생성 단계를 vLLM으로 자체 GPU에서 서빙하는 계획입니다.
  • 비용 절감 (양자화) — INT4/INT8 양자화로 GPU 메모리를 아껴, 더 적은 GPU로 더 큰 모델을 서빙하는 방향을 검토합니다.
  • 장비 확장 (텐서 병렬화) — H100 장비 도입 시, 모델을 여러 GPU로 나눠 큰 모델을 서빙하는 구성을 봅니다.

현재는 로드맵 단계예요. 벤더/숫자(처리량, 메모리 절감폭)는 도입 시점에 측정해서 확정하고, 그전에는 단정하지 않습니다.

더 알아보기