LoRA — 저랭크 어댑터로 효율적인 파인튜닝
LoRA
모델 전체를 다시 학습하면 수백억 파라미터를 갱신해야 해서 비용이 막대해요. **LoRA(Low-Rank Adaptation)**는 가중치 갱신을 두 개의 작은 저랭크 행렬로 분해해, 학습 가능한 파라미터를 극소화하는 기법이에요. Hugging Face PEFT 라이브러리는 LoRA를 비롯한 다양한 어댑터 방식을 통합 제공해요.
이 카테고리의 문서
- 개요: PEFT — 소수의 어댑터 파라미터만 학습
- 핵심 기능: LoRA 개념 — 저랭크 분해의 원리
- 실전·API: LoRA 실전 — 초기화·최적화·추론