PEFT (파라미터 효율 미세조정)
PEFT (파라미터 효율 미세조정)
PEFT(Parameter-Efficient Fine-Tuning)는 Hugging Face가 만든 파라미터 효율 미세조정 라이브러리예요. 전체 모델을 다시 학습하는 대신, 적은 수의 학습 가능한 파라미터를 추가해 대규모 모델을 효율적으로 파인튜닝하게 해줘요.
LoRA, DoRA, AdaLoRA, Prefix-Tuning, P-Tuning, IA3 등 다양한 PEFT 방식을 한 API로 지원해요. 핵심 아이디어는 "원본 가중치는 얼려두고 작은 어댑터만 학습한다"는 거라, 메모리·연산 비용을 크게 줄이면서 성능은 풀 파인튜닝에 근접하게 유지돼요.
핵심 개념
- LoRA — 저랭크 행렬 분해로 학습 파라미터 대폭 축소
- Adapter — 원본 가중치 위에 작은 어댑터 삽입
- 양자화 연동 — QLoRA처럼 4-bit 모델 위에 PEFT 적용
- 멀티 어댑터 — 하나의 모델에 여러 어댑터 탑재·라우팅
이 카테고리의 문서
- 라이브러리 개요: PEFT가 해결하는 문제·방식
- LoRA 가이드: rank·lora_alpha·target_modules 설정
- 양자화 가이드: QLoRA·4-bit 학습