콘텐츠로 이동

TGI (Text Generation Inference)

LLM을 직접 서빙하려면 서버를 띄우고, 모델을 올리고, 요청을 처리하고, 여러 GPU에 나누는 일까지 신경 써야 합니다. 이런 서빙 인프라를 처음부터 직접 짜는 건 꽤 공사가 커요. TGI(Text Generation Inference)는 Hugging Face가 만든 LLM 서빙 도구로, 이 배포·스케일링을 간단히 해주는 대안입니다.

우리는 자체 GPU 서빙을 검토하면서 vLLM과 함께 TGI를 대안으로 보고 있어요. 아직 계획 단계이고, 둘 중 어떤 게 우리 환경(모델 규모·비용·운영 편의)에 맞는지 도입 시점에 비교해서 정합니다.

하위 페이지

  • 모델 배포 (Launch) 🟡 — text-generation-launcher로 모델을 GPU에 올리고, sharding·양자화·메모리 예산 옵션을 어떻게 잡는지 설명해요.
  • 추론 API (Inference API) 🟡 — OpenAI 호환 Messages API와 /generate 계열 엔드포인트, 스트리밍(SSE) 호출 방식을 다뤄요.
  • 성능 최적화 (Optimization) 🟡 — 연속 배칭·PagedAttention·양자화·스펙큘레이티브 디코딩이 TGI 성능을 어떻게 만드는지 풀어요.

핵심 개념

Hugging Face 서빙 도구

TGI는 Hugging Face 에코시스템의 모델을 서버로 올려 추론 서비스를 제공합니다. 모델을 컨테이너(도커)로 배포하고, HTTP 요청으로 답변을 받는 구조예요. Hugging Face에 익숙한 팀이라면 진입 장벽이 낮습니다.

배포·스케일링 단순화

모델을 하나 띄우고 요청을 받는 데 필요한 공통 기능(모델 로딩, 배칭, 스트리밍, 여러 GPU 사용)을 서버가 처리해주므로, 서빙 인프라를 직접 짜는 부담을 줄여줍니다.

vLLM과의 비교 포인트

vLLM과 TGI는 둘 다 고성능 LLM 서빙을 목표로 하는 도구예요. 처리가 요구되는 환경에 따라 차이가 있으므로, 우리는 로드맵 단계에서 vLLM을 우선 후보, TGI를 대안으로 두고 검토 중입니다.

사용 사례 / 실제 적용 (로드맵)

  • 큰 생성 모델 자체 GPU 서빙 (대안) — 뉴런 같은 제품의 생성 단계를 TGI로 자체 서빙하는 대안으로 검토합니다.
  • Hugging Face 모델 배포 — HF 에코시스템 모델을 그대로 올려 서빙할 때 TGI의 배포 편의를 활용하는 방향을 봅니다.

현재는 로드맵 단계예요. 도입 여부와 구체 구성은 GPU 자체 서빙 계획이 구체화될 때 확정합니다.

더 알아보기