Fine-tuning 핵심 기능 — Transformers Trainer 학습

Fine-tuning 핵심 기능

Hugging Face Transformers의 Trainer 를 쓰면 파인튜닝 학습 루프를 손쉽게 돌릴 수 있어요. 데이터 준비 → 학습 인자 설정 → Trainer 생성 → train() 순서로 진행돼요.

데이터 준비

from datasets import load_dataset
from transformers import AutoTokenizer

dataset = load_dataset("yelp_review_full")
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

학습 인자 설정

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="test_trainer",
    evaluation_strategy="epoch",
    num_train_epochs=3,
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    weight_decay=0.01,
)

Trainer로 학습

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["test"],
    tokenizer=tokenizer,
)

trainer.train()

Trainer가 eval·checkpoint·로그 관리를 알아서 해주니, 실험이 단순해져요.

더 알아보기