Prompt Tuning — 학습 가능한 소프트 프롬프트

Prompt Tuning

'프롬프트'가 텍스트일 필요는 없어요. Prompt Tuning(프롬프트 튜닝) 은 임베딩 공간의 학습 가능한 가상 토큰(소프트 프롬프트)을 입력에 덧붙여, 사전학습 모델 가중치는 얼린 채 프롬프트 파라미터만 최적화하는 기법이에요. 파라미터 효율 튜닝(PEFT)의 하나로, 모델이 커질수록 성능이 전체 파인튜닝에 근접해요.

이 카테고리의 문서

• 개요: 소프트 프롬프트 — prompt/prefix/P-tuning
• 핵심 기능: PromptTuningConfig API
• 실전·API: Causal LM 프롬프트 튜닝 실전 가이드

출처: https://huggingface.co/docs/peft/v0.19.0/en/conceptual_guides/prompting