지원 모델·아키텍처
지원 모델·아키텍처
TGI는 Llama, Mistral, Qwen 등 널리 쓰이는 오픈소스 LLM 아키텍처를 최적화된 커널로 서빙할 수 있어요. 문서의 지원 모델 페이지에서 아키텍처별 지원 여부와 주의사항을 확인할 수 있어요.
지원되는 모델은 커뮤니티와 함께 계속 늘어나요. 새 모델을 올리기 전에 해당 페이지에서 아키텍처가 Supported 상태인지, 추가 설정(예: 토크나이저, 중지 문자열)이 필요한지 확인하는 게 좋아요.
시작 전 체크포인트
- 모델 아키텍처가 TGI에서 지원되는지 확인
- 필요한 경우
--quantize같은 서버 인자 확인 - 공개 모델이면 허깅페이스 허브에서 바로 서빙 가능
출처: https://huggingface.co/docs/text-generation-inference/en/supported_models