Text Generation Inference — HuggingFace LLM 추론 서버

Text Generation Inference — HuggingFace LLM 추론 서버

Text Generation Inference(TGI)는 LLM(대규모 언어 모델)을 배포·서빙하기 위한 툴킷이에요. Llama, Falcon, StarCoder, BLOOM, GPT-NeoX, T5 등 가장 인기 있는 오픈소스 LLM을 고성능으로 서빙할 수 있게 해줍니다.

출처: https://huggingface.co/docs/text-generation-inference/index

TGI는 텐서 병렬, 토큰 스트리밍(SSE), 연속 배칭, Flash Attention·Paged Attention 기반 최적화 transformers 코드, bitsandbytes·GPT-Q 양자화, Safetensors 가중치 로딩 같은 많은 최적화와 기능을 구현했어요. 현재 TGI는 유지보수 모드(maintenance mode) 로, 이후 최적화 추론 엔진은 vLLM·SGLang·llama.cpp·MLX 쪽으로 이동하는 흐름이에요. 아래 페이지에서 빠른 시작, Messages API, 지원 모델을 살펴볼게요.