LlamaFactory 시작하기

LlamaFactory(LLaMA-Factory)는 대규모 언어 모델(LLM)을 손쉽게 파인튜닝하기 위한 통합 프레임워크예요. 코드를 한 줄도 안 쓰고 100개 이상의 사전 학습 모델을 로컬에서 파인튜닝할 수 있게 해 준다는 점이 핵심이에요. CLI와 Web UI(LlamaBoard) 두 가지 방식으로 쓸 수 있어요.

출처: https://github.com/hiyouga/LLaMA-Factory

무엇이 가능한가요

LLaMA-Factory의 프레임워크 기능을 요약하면 이래요.

다양한 모델 지원: LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen, Yi, Gemma, Baichuan, ChatGLM, Phi 등을 지원해요. 최신 모델은 출시 직후(Day 0) 바로 지원하는 방침이에요.
여러 파인튜닝 방식: 풀 파라미터 파인튜닝과 학습 효율을 높이는 LoRA, QLoRA 같은 파라미터 효율적 방식(PEFT)을 지원해요.
양자화(Quantization): AWQ, GPTQ(오프라인)와 int8/int4(온라인) 양자화 기반 파인튜닝을 지원해요.
컴퓨테이션 정밀도: 16비트 학습을 기본으로 지원하고, 다양한 정밀도 설정을 다룰 수 있어요.

도구와 문서

공식 문서: https://llamafactory.readthedocs.io/en/latest/
공식 블로그: https://blog.llamafactory.net/en/
AMD GPU, ASCEND NPU용 문서도 별도로 제공돼요.

왜 유용한가요

모델을 직접 파인튜닝하려면 학습 루프, 템플릿, 데이터 포맷을 전부 손으로 맞춰야 하지만, LLaMA-Factory는 그 과정을 표준화해요. 그래서 "어떤 모델을 어떤 데이터로 어떻게 튜닝할지"만 정하면 나머지는 프레임워크가 처리해 줘요.

더 알아보기

첫 파인튜닝은 «빠르게 파인튜닝 시작하기»를 보세요.
지원 모델 목록은 «지원 모델 알아보기»에서 다뤄요.
학습 방식 선택은 «파인튜닝 방식 고르기»를 확인하세요.