LitGPT 소개 — LLM.load 한 줄로 시작

LitGPT 소개

LitGPT 는 LLM 을 Lightning 빠르게 파인튜닝·프리트레이닝·추론하게 하는 라이브러리입니다.

출처: LitGPT README — 공식문서

Quick Start

pip install 'litgpt[extra]'

from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)

CLI 동작

litgpt serve     meta-llama/Llama-3.2-3B-Instruct   # 배포(웹 서버)
litgpt finetune  meta-llama/Llama-3.2-3B-Instruct   # 파인튜닝
litgpt pretrain  meta-llama/Llama-3.2-3B-Instruct   # 프리트레이닝
litgpt chat      meta-llama/Llama-3.2-3B-Instruct   # 채팅
litgpt evaluate  meta-llama/Llama-3.2-3B-Instruct   # 평가

파인튜닝 한 줄

litgpt finetune microsoft/phi-2   --data JSON --data.json_path my_custom_dataset.json   --data.val_split_fraction 0.1 --out_dir out/custom-model

하이라이트

  • 빠른 추론·양자화·저메모리 GPU 지원, 과도한 내부 추상화 계층 없음, 프로덕션 규모 최적화.
  • config hub(YAML) 로 어떤 파라미터든 CLI 오버라이드 가능(--config <yaml> --lora_r 4).

NeurIPS 2023 LLM Efficiency Challenge 공식 스타터 킷으로 쓰였습니다.

더 알아보기