Causal LM 프롬프트 튜닝 실전 가이드
Causal LM 프롬프트 튜닝 실전 가이드
PEFT의 'Causal Language Modeling 프롬프트 튜닝' 가이드는 프롬프트 튜닝을 한 번에 끝내는 단계별 튜토리얼이에요.
원리
프롬프트 튜닝은 태스크에 맞는 입력 텍스트(프롬프트)를 추가해 모델 동작을 조정하는 가법(additive) 방식이에요. 사전학습 모델 가중치는 얼리고, 새로 추가한 프롬프트 토큰만 훈련해요. 작업마다 별도 모델을 완전 파인튜닝하는 대신 작은 프롬프트 파라미터 집합만 학습해요.
순서
- 데이터 준비: 모델·토크나이저·데이터셋·훈련 하이퍼파라미터·
PromptTuningConfig정의. - Train:
AutoModelForCausalLM을get_peft_model()로 감싸 훈련.- 예:
print(model.print_trainable_parameters())→ trainable 8192 / all 5.59억 → 0.00146% 만 학습.
- 예:
- 공유: 어댑터를 Hub에 올리면 파일 크기가 약 33.5KB에 불과.
- 추론:
adapter_config.json을PeftConfig.from_pretrained()로 읽고 모델을 만들어 사용.
왜 매력적인가
가중치의 극히 일부만 학습하므로 메모리·저장 비용이 작고, 태스크별 프롬프트를 교체하며 한 모델을 여러 용도로 쓰기 편해요.