GGUF — GGML 계열 모델 파일 포맷

llama.cpp 같은 실행기에서 쓰는 모델 파일을 보면 .gguf 확장자를 만나요. GGUF는 GGML과 그 실행기에서 추론용으로 저장하는 모델 포맷이에요. 로딩·저장이 빠르고 읽기 쉽게 설계된 이진 포맷이죠.

출처: https://github.com/ggml-org/ggml/blob/master/docs/gguf.md

이 허브에서는 GGUF 포맷 스펙, Hugging Face 허브에서 GGUF를 다루는 법, 그리고 GGUF와 양자화를 이해하는 방법을 살펴볼게요.