GGUF와 양자화 이해하기 — LLM 코스 챕터
GGUF와 양자화 이해하기 — LLM 코스 챕터
GGUF를 처음 접하면 ""왜 이렇게 많은 파일 버전이 있고, Q4_K_M이 뭐지?"" 싶을 거예요. Hugging Face LLM 코스의 한 챕터가 양자화와 GGUF를 함께 이해할 수 있게 풀어줘요.
양자화는 모델 가중치를 더 적은 비트로 표현해 메모리를 줄이는 기법이에요. FP16(16비트) 가중치를 4비트(예: Q4)로 바꾸면 파일 크기가 크게 준다 대신, 원본 품질과의 차이가 생길 수 있어요. GGUF 파일명의 Q4_K_M, Q5_K_S 같은 표기가 바로 이 양자화 방식을 나타내요.
Q4_K_M을 뜯어 보면 Q4는 4비트 양자화, K는 k-quant(특정 양자화 스킴), M은 medium(중간 정밀도 유지)을 뜻해요. S는 small, L은 large처럼 접미사로 정밀도·크기 단계를 나타내죠. 파일 하나에도 (크기는 원본 대비) 얼마나 줄었는지와 (품질) 얼마나 유지되는지의 절충이 담겨 있어요.
그래서 GGUF 모델을 고를 때는 하드웨어에 맞게 정하는 게 핵심이에요. VRAM이 여유 있으면 품질을 지키는 단계(Q5, Q6, F16)를, 작은 기기에서는 파일이 작은 Q4 계열을 택하는 식이에요. 이 코스 챕터는 이런 선택을 할 때 필요한 배경 지식을 정리해 줘요.
더 알아보기
- https://huggingface.co/learn/llm-course/en/chapter5/6 — LLM 코스 GGUF·양자화 챕터
- https://huggingface.co/docs/hub/en/gguf — 허브 GGUF 문서