Model Merging — 여러 모델을 가중치 공간에서 합치기
Model Merging
파인튜닝된 모델이 여럿 있으면 매번 동시에 돌리는 대신, 가중치 공간에서 직접 합칠 수 있어요. Model Merging(모델 병합) 은 여러 사전훈련·파인튜닝 모델의 텐서를 조합해 능력을 이식하거나 절충하는 기법이에요. 추론 비용은 단일 모델과 같고, 원본 훈련 데이터나 추가 학습 컴퓨팅이 필요 없어요.
이 카테고리의 문서
- 개요: mergekit — 사전훈련 모델 병합 툴킷
- 핵심 기능: 병합 메서드 — linear·SLERP·TIES·DARE·task arithmetic
- 실전·API: 진화적 병합 — 여러 메서드를 조합한 워크플로