LLaMA-Factory로 Qwen 파인튜닝하기

여기 LLaMA-Factory로 Qwen2.5를 지도 파인튜닝(SFT)하기 위한 스크립트를 제공해요. 이 SFT 스크립트는 단일 GPU와 멀티 GPU 훈련을 모두 지원하고, 전체 파라미터 튜닝, LoRA, Q-LoRA, Dora를 지원한답니다.

출처: 문서

본문

⚠️ 주의: 이 페이지는 Qwen3 기준으로 업데이트 예정이에요.

여기 LLaMA-Factory로 Qwen2.5를 지도 파인튜닝(supervised finetuning)하기 위한 스크립트를 제공해요. 이 SFT 스크립트의 특징은 다음과 같아요:

단일 GPU 및 멀티 GPU 훈련 지원
전체 파라미터 튜닝, LoRA, Q-LoRA, Dora 지원

다음에서 스크립트 사용법에 대해 더 자세히 소개할게요.

설치

시작하기 전에 다음 패키지들이 설치되어 있는지 확인하세요.

LLaMA-Factory의 지침을 따라 환경을 구성하세요.

다음 패키지들을 설치하세요 (선택 사항):

pip install deepspeed
pip install flash-attn --no-build-isolation

FlashAttention-2를 사용하려면 CUDA가 11.6 이상인지 확인하세요.

데이터 준비

LLaMA-Factory는 data 폴더에 여러 훈련 데이터셋을 제공하므로 바로 사용할 수 있어요. 커스텀 데이터셋을 사용한다면 아래와 같이 데이터셋을 준비해 주세요.

데이터를 json 파일로 구성해서 data 폴더에 넣으세요. LLaMA-Factory는 alpaca 또는 sharegpt 형식의 데이터셋을 지원해요.

alpaca 형식 데이터셋은 다음 형식을 따라야 해요:

[
  {
    "instruction": "user instruction (required)",
    "input": "user input (optional)",
    "output": "model response (required)",
    "system": "system prompt (optional)",
    "history": [
      ["user instruction in the first round (optional)", "model response in the first round (optional)"],
      ["user instruction in the second round (optional)", "model response in the second round (optional)"]
    ]
  }
]

sharegpt 형식 데이터셋은 다음 형식을 따라야 해요:

[
  {
    "conversations": [
      {
        "from": "human",
        "value": "user instruction"
      },
      {
        "from": "gpt",
        "value": "model response"
      }
    ],
    "system": "system prompt (optional)",
    "tools": "tool description (optional)"
  }
]

data/dataset_info.json에 데이터셋 정의를 다음 형식으로 작성하세요.

alpaca 형식 데이터셋이라면 dataset_info.json의 컬럼은 다음과 같아야 해요:

"dataset_name": {
  "file_name": "dataset_name.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}

sharegpt 형식 데이터셋이라면 dataset_info.json의 컬럼은 다음과 같아야 해요:

"dataset_name": {
    "file_name": "dataset_name.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "conversations",
      "system": "system",
      "tools": "tools"
    },
    "tags": {
      "role_tag": "from",
      "content_tag": "value",
      "user_tag": "user",
      "assistant_tag": "assistant"
    }
  }

훈련

다음 훈련 명령을 실행하세요:

DISTRIBUTED_ARGS="
    --nproc_per_node $NPROC_PER_NODE \
    --nnodes $NNODES \
    --node_rank $NODE_RANK \
    --master_addr $MASTER_ADDR \
    --master_port $MASTER_PORT
  "

torchrun $DISTRIBUTED_ARGS src/train.py \
    --deepspeed $DS_CONFIG_PATH \
    --stage sft \
    --do_train \
    --use_fast_tokenizer \
    --flash_attn \
    --model_name_or_path $MODEL_PATH \
    --dataset your_dataset \
    --template qwen \
    --finetuning_type lora \
    --lora_target q_proj,v_proj\
    --output_dir $OUTPUT_PATH \
    --overwrite_cache \
    --overwrite_output_dir \
    --warmup_steps 100 \
    --weight_decay 0.1 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --ddp_timeout 9000 \
    --learning_rate 5e-6 \
    --lr_scheduler_type cosine \
    --logging_steps 1 \
    --cutoff_len 4096 \
    --save_steps 1000 \
    --plot_loss \
    --num_train_epochs 3 \
    --bf16

그리고 훈련 과정을 즐기세요. 훈련을 바꾸고 싶다면 훈련 명령의 인자를 수정해 하이퍼파라미터를 조정하면 돼요. 주목할 인자 하나는 cutoff_len으로, 훈련 데이터의 최대 길이예요. OOM 오류를 피하기 위해 이 파라미터를 조절하세요.

LoRA 병합

LoRA로 모델을 훈련했다면 어댑터 파라미터를 메인 브랜치로 병합해야 할 수 있어요. 다음 명령을 실행해 LoRA 어댑터 병합을 수행하세요.

CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \
    --model_name_or_path path_to_base_model \
    --adapter_name_or_path path_to_adapter \
    --template qwen \
    --finetuning_type lora \
    --export_dir path_to_export \
    --export_size 2 \
    --export_legacy_format False

결론

위 내용은 LLaMA-Factory로 Qwen을 훈련하는 가장 간단한 방법이에요. 공식 저장소를 확인해 자세한 내용을 직접 탐구해 보세요!

LLaMA-Factory로 Qwen 파인튜닝하기