지원 모델과 모델 저장소

지원 모델과 모델 저장소

OpenLLM은 최신 오픈소스 LLM을 폭넓게 지원해요. 이 문서에서는 지원 모델 목록과, 커스텀 모델을 위한 모델 저장소(model repository) 개념을 다뤄요. 모델 저장소는 OpenLLM에서 실행 가능한 LLM의 카탈로그예요.

지원 모델

OpenLLM의 기본 모델 저장소는 Llama 3, Mistral, Qwen2 같은 최신 오픈소스 LLM을 포함해요. 대표적인 모델과 서버 시작 명령은 이렇게 정리돼 있어요.

Model Parameters Required GPU Start a Server
deepseek r1-671b 80Gx16 openllm serve deepseek:r1-671b
gemma2 2b 12G openllm serve gemma2:2b
llama3.2 1b 24G openllm serve llama3.2:1b
llama3.3 70b 80Gx2 openllm serve llama3.3:70b
llama4 17b16e 80Gx8 openllm serve llama4:17b16e
mistral 8b-2410 24G openllm serve mistral:8b-2410
phi4 14b 80G openllm serve phi4:14b
qwen2.5 7b 24G openllm serve qwen2.5:7b
qwen2.5-coder 3b 24G openllm serve qwen2.5-coder:3b

전체 모델 목록은 openllm-models 저장소에서 확인할 수 있어요.

출처: https://github.com/bentoml/OpenLLM/blob/main/README.md

모델 저장소 사용

  • openllm model list: 기본 저장소와 추가된 모든 저장소의 모델을 확인해요.
  • openllm repo update: 연결된 모든 저장소의 최신 변경 사항과 동기화해요.
  • openllm model get llama3.2:1b: 모델 정보를 확인해요.

커스텀 저장소 설정

자신만의 모델 저장소를 추가하려면 bentos 디렉터리에 커스텀 LLM을 준비해요(BentoML로 Bento를 빌드). 그다음 OpenLLM에 저장소를 등록해요.

openllm repo add <repo-name> <repo-url>

현재 OpenLLM은 공개 저장소만 추가할 수 있어요.

기본 저장소에 모델 기여하기

새 모델을 기본 저장소에 추가해 다른 사람도 쓰게 하려면, 그 LLM의 Bento를 만들고 커스텀 저장소처럼 등록해도 되고, 예시 PR을 참고해 기여할 수 있어요.

더 알아보기