빠르게 파인튜닝 시작하기

LLaMA-Factory는 코드 없이 CLI와 Web UI(LlamaBoard) 두 길로 파인튜닝을 시작할 수 있어요. 라이브러리가 훈련 파이프라인을 표준화해 주기 때문에, 모델과 데이터와 방식만 고르면 학습이 진행돼요.

출처: https://github.com/hiyouga/LLaMA-Factory

설치

저장소를 클론하고 의존성을 설치하는 기본 흐름이에요. 프로젝트 루트에서 다음을 실행하면 학습·추론에 필요한 패키지가 준비돼요.

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,bitsandbytes]

PyTorch 버전이나 CUDA 종속성이 환경과 다르면, 공식 문서의 설치 안내를 참고해 조정할 수 있어요.

CLI로 파인튜닝하기

llamafactory-cli에 학습 설정 파일(YAML)을 넘겨 파인튜닝을 돌려요. 예를 들어 LoRA로 어시스턴트 데이터를 학습하는 설정은 대략 이렇게 구성돼요.

model_name_or_path: meta-llama/Llama-3.1-8B-Instruct
stage: sft
finetuning_type: lora
dataset: identity
template: llama3
output_dir: ./saves/llama3-8b/lora

이 설정 파일을 저장한 뒤 실행하면 돼요.

llamafactory-cli train config.yaml

Web UI로 파인튜닝하기

터미널에서 LlamaBoard(Gradio 기반)를 띄우면 브라우저 폼으로 파인튜닝을 진행할 수 있어요.

CUDA_VISIBLE_DEVICES=0 llamafactory-cli webui

웹 UI에서 모델 이름, 학습 방식, 데이터셋, 템플릿을 고르고 학습 버튼을 누르면 돼요. 훈련 과정이 화면에 표시되니까, CLI가 어색한 사람도 부담 없이 시작할 수 있어요.

학습 후 추론

학습이 끝나면 같은 파이프라인으로 추론·병합을 진행해요. 특히 학습에 쓴 템플릿을 추론에서도 그대로 써야 올바른 결과가 나와요.

더 알아보기

지원 모델과 템플릿 규칙은 «지원 모델 알아보기»를 보세요.
학습 방식을 고르는 법은 «파인튜닝 방식 고르기»에서 다뤄요.