TGI 빠른 시작 — 첫 서빙까지 둘러보기
TGI 빠른 시작
TGI로 첫 LLM 서버를 띄우는 과정은 생각보다 간단해요. 모델을 지정해 서버를 시작하면, OpenAI 호환 엔드포인트로 바로 추론을 호출할 수 있어요.
서버 시작
TGI 도커 이미지나 pip 패키지로 엔진을 실행해요. 기본적으로 모델 허브 ID와 GPU 설정을 넘기면 돼요.
# 예시 (개념)
text-generation-launcher --model-id <model-id> --port 8080
호출
서버가 뜨면 HTTP로 텍스트 생성 요청을 보낼 수 있어요.
curl <tgi-endpoint>/generate -H "Content-Type: application/json" -d '{"inputs":"Once upon a time,","parameters":{"max_new_tokens":20}}'
다음 단계
- 스트리밍:
generate_stream로 토큰 실시간 전송 - 채팅 메시지: Messages API로 system/user/assistant 롤 대화
- 벤치마크: GPU·요청 형태에 맞춰 배칭·병렬화 설정
정리
모델 서빙은 '엔진으로 서버 띄우고 → 호환 API 노출 → 스트리밍/채팅 처리'의 흐름이에요. TGI는 이 중 서버·추론 최적화를 담당하고, 상위 앱은 그 API를 호출하기만 하면 돼요.