지원 모델 알아보기
지원 모델 알아보기
LLaMA-Factory는 100개 이상의 사전 학습 모델을 지원해요. 모델마다 쓰는 템플릿(template)이 정해져 있고, 학습·추론에서 같은 템플릿을 써야 하므로 이 규칙을 아는 게 중요해요.
대표 지원 모델
공식 README의 지원 모델 표에는 모델명과 크기, 템플릿이 함께 정리돼 있어요. 일부만 보면 이래요.
| 모델 | 크기 | 템플릿 |
|---|---|---|
| LLaMA | 7B/13B/33B/65B | - |
| Llama 3-3.3 | 1B/3B/8B/70B | llama3 |
| Llama 4 | 109B/402B | llama4 |
| Qwen2 | 0.5B~110B | qwen |
| Qwen3 | 0.6B~235B | qwen3 |
| DeepSeek R1 (Distill) | 1.5B~671B | deepseekr1 |
| Gemma | 2B~27B | gemma |
| GLM-4 | 9B/32B | glm4 |
| Phi-3.5 | 4B/14B | phi |
| Mistral/Mixtral | 7B/8x7B | mistral |
| LLaVA-NeXT | 7B~110B | llava_next |
전체 목록은 src/llamafactory/extras/constants.py에서 확인할 수 있어요.
템플릿 규칙
- base 모델은
template을default,alpaca,vicuna등에서 고를 수 있어요. - instruct/chat 모델은 반드시 해당 모델의 템플릿을 써야 해요.
- 모델에 추론형과 비추론형이 모두 있으면
_nothink접미사로 구분해요. 예를 들어qwen3(추론형)과qwen3_nothink가 그 구분이에요. - 학습과 추론에서 같은 템플릿을 써야 해요. 이 규칙을 지키지 않으면 출력이 어긋나요.
Day-N 지원 방침
최신 모델은 출시 시점에 맞춰 빠르게 지원 목록에 올라와요. 예를 들어 Qwen3, Qwen2.5-VL, Gemma 3는 Day 0에, Llama 3, GLM-4, PaliGemma2는 Day 1에 지원됐어요. 그러니 최신 모델을 쓰고 싶다면 저장소의 지원 표를 최신 상태로 확인하는 게 좋아요.
특수 의존성
일부 모델은 transformers를 main 브랜치에서 설치해야 하고, DISABLE_VERSION_CHECK=1로 버전 확인을 건너뛰어야 할 수 있어요. 특정 모델에 원하는 특정 버전의 transformers가 필요한 경우도 있으니 README의 각주를 확인하세요.
더 알아보기
- 실제 파인튜닝은 «빠르게 파인튜닝 시작하기»를 보세요.
- 학습 방식을 고르는 법은 «파인튜닝 방식 고르기»에서 다뤄요.