GGUF

GGUF

허깅페이스 Hub는 모든 파일 형식을 지원하지만, GGUF 형식에 내장 기능이 있어요. GGUF는 모델의 빠른 로딩·저장에 최적화된 바이너리 형식으로, 추론 목적에 매우 효율적이에요. GGML과 다른 실행 엔진과 함께 사용되도록 설계됐고, llama.cpp 개발자인 @ggerganov가 만들었답니다.

출처: 문서

본문

Hugging Face Hub는 모든 파일 형식을 지원하지만, GGUF 형식에 내장 기능이 있어요 — 모델의 빠른 로딩·저장에 최적화된 바이너리 형식으로, 추론 목적에 매우 효율적이에요. GGUF는 GGML 및 다른 실행 엔진과 함께 사용되도록 설계됐어요. GGUF는 llama.cpp — 인기 있는 C/C++ LLM 추론 프레임워크 — 의 개발자이기도 한 @ggerganov가 개발했어요. PyTorch 같은 프레임워크에서 처음 개발된 모델은 이 엔진들과 사용하기 위해 GGUF 형식으로 변환할 수 있어요.

이 그래프에서 볼 수 있듯이, safetensors — Hub에서도 권장되는 모델 형식 — 같은 텐서 전용 파일 형식과 달리 GGUF는 텐서와 표준화된 메타데이터 집합 둘 다를 인코딩해요.

GGUF 파일 찾기

GGUF 태그로 필터링해 GGUF 파일이 있는 모든 모델을 탐색할 수 있어요: hf.co/models?library=gguf. 또한 ggml-org/gguf-my-repo 도구로 모델 가중치를 GGUF 가중치로 변환·양자화할 수 있어요.

예를 들어 TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF에서 GGUF 파일이 실제로 어떻게 쓰이는지 볼 수 있어요.

메타데이터 & 텐서 정보 뷰어

Hub에는 GGUF 파일용 뷰어가 있어서 사용자가 메타데이터·텐서 정보(이름, shape, 정밀도)를 확인할 수 있어요. 뷰어는 모델 페이지(예시)와 파일 페이지(예시)에서 사용할 수 있어요.

오픈소스 도구와 사용하기

• llama.cpp
• LM Studio
• GPT4All
• Ollama

npm install @huggingface/gguf

import { gguf } from "@huggingface/gguf";
// remote GGUF file from https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
const URL_LLAMA = "https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/191239b/llama-2-7b-chat.Q2_K.gguf";
const { metadata, tensorInfos } = await gguf(URL_LLAMA);