MS-SWIFT 소개 — 모델 커스터마이즈의 전체 수명주기
MS-SWIFT 소개
LLM을 내 데이터에 맞게 고치고 싶을 때, 파인튜닝부터 평가·양자화·배포까지 도구가 조각나 있으면 흐름이 끊겨요. **MS-SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)**는 ModelScope 커뮤니티가 제공하는 대규모 언어모델·멀티모달 모델 파인튜닝·배포 프레임워크로, 사전학습·파인튜닝·정렬부터 추론·평가·양자화·배포까지 아우러요.
출처: https://github.com/modelscope/ms-swift/blob/main/README.md
지원 범위
- 600+ 텍스트 LLM, 400+ 멀티모달 모델 — Qwen3, InternLM3, GLM4.5, Mistral, DeepSeek-R1, Llama4 등.
- 다양한 학습 — CPT/SFT/GRPO/DPO/KTO/RM, 임베딩·리랭커·시퀀스 분류.
- RL 계열 — GRPO, DAPO, GSPO, SAPO, CISPO, CHORD, RLOO, Reinforce++ 등 GRPO 패밀리.
- 경량 파인튜닝 — LoRA, QLoRA, GaLore, DoRA, ReFT, UnSloth, Liger 등 최신 기법.
가속·양자화
추론·평가·배포를 vLLM·SGLang·LMDeploy로 가속하고, GPTQ·AWQ·BNB·FP8 양자화를 지원해요. Megatron 병렬(TP/PP/SP/CP/ETP/EP/VPP)로 MoE 학습 속도도 크게 올릴 수 있어요.