PEFT 라이브러리 개요

PEFT 라이브러리 개요

PEFT는 Hugging Face의 파라미터 효율 미세조정 라이브러리예요. 거대 모델 전체를 학습하는 대신 소수의 학습 가능한 파라미터만 추가해, 성능 손실을 최소화하면서 비용을 크게 줄여요.

이름 그대로 "효율(efficient)"이 핵심이에요. 파인튜닝이 필요한 데모·제품·도메인 적응에서 GPU 메모리와 학습 시간을 아끼고 싶을 때 가장 먼저 찾는 도구예요.

출처: https://huggingface.co/docs/peft/en/index

왜 PEFT인가

LLM·디퓨전 모델은 파라미터가 수십억 수준이라 풀 파인튜닝은 사실상 불가능에 가까워요. PEFT는 원본 가중치를 얼린 채 작은 어댑터만 학습해 이 문제를 풀어요.

  • GPU 메모리 절감 — 각 예시의 그래디언트 상태를 아끼고, 학습 가능 파라미터가 극소.
  • 탐색 효율 — 여러 작업·도메인별로 가벼운 어댑터를 개별 저장.
  • 성능 유지 — LoRA는 풀 파인튜닝과 동등 수준의 품질.
  • 확장성 — Diffusion 모델, 비전 모델에도 동일 개념 적용.

지원하는 방식

  • Low-Rank Adaptation (LoRA), DoRA, AdaLoRA, IA3
  • Prefix-Tuning, P-tuning, Prompt-Tuning
  • LoHa, LoKr, OFT, BOFT 등 다수

더 알아보기