파인튜닝 방식 고르기
파인튜닝 방식 고르기
LLaMA-Factory는 여러 파인튜닝 방식을 지원해요. 같은 모델을 어느 방식으로 튜닝하느냐에 따라 필요한 GPU 메모리와 결과 품질, 병합 방법이 달라져요.
풀 파라미터 파인튜닝(Full Fine-tuning)
모델의 모든 가중치를 업데이트하는 방식이에요. 가장 강력하게 모델을 특정 도메인에 맞출 수 있지만, 전체 가중치의 그라디언트와 옵티마이저 상태를 유지해야 해서 GPU 메모리 요구가 가장 커요.
LoRA
LoRA는 원래 가중치는 그대로 두고 작은 저랭크 행렬만 학습하는 파라미터 효율적 방식(PEFT)이에요. 전체 파라미터를 학습하는 대신 아주 적은 수의 추가 파라미터로 큰 모델을 튜닝할 수 있어서, GPU 메모리가 부족한 환경에서 많이 써요. 학습 후에는 LoRA 어댑터를 원래 모델에 병합해 쓸 수도 있어요.
QLoRA
QLoRA는 LoRA를 양자화된 모델 위에서 수행하는 방식이에요. 4비트 또는 8비트로 양자화한 모델에 LoRA를 얹어, 풀 파라미터 파인튜닝에 비해 훨씬 적은 메모리로 큰 모델을 튜닝할 수 있어요. 온라인 양자화 기반 파인튜닝 지원과 함께 쓸 수 있고요.
양자화와 정밀도
모델 메모리를 줄이기 위해 AWQ, GPTQ(오프라인), int8/int4(온라인) 같은 양자화 방식을 파인튜닝에 결합할 수 있어요. 컴퓨테이션 정밀도는 16비트 학습을 기본으로 하고, 하드웨어와 목적에 맞춰 조정해요.
방식을 고르는 기준
- 풀 파인튜닝: 충분한 GPU가 있고 품질이 최우선일 때.
- LoRA/QLoRA: 메모리가 제한적이지만 그래도 큰 모델을 튜닝하고 싶을 때.
- 양자화 결합: 배포 시 메모리가 중요할 때.
정답은 없고, 자원과 목표의 균형에서 고르면 돼요. 파인튜닝 설정에서 finetuning_type 항목으로 선택해요.
더 알아보기
- 지원 모델과 템플릿은 «지원 모델 알아보기»를 보세요.
- 실제 실행은 «빠르게 파인튜닝 시작하기»에서 다뤄요.