GPT 추론 예제로 보기 — 작은 모델부터

ggml이 어떻게 동작하는지 가장 빠르게 보는 방법은 GPT-2 예제를 돌려 보는 거예요. 117M 모델을 내려받아 문장을 넣으면 다음 토큰을 생성하는 걸 눈으로 확인할 수 있죠.

출처: https://github.com/ggml-org/ggml/tree/master/examples/gpt-2

예제 디렉터리에서 스크립트로 GPT-2 117M 모델을 받고, 빌드된 gpt-2-backend 바이너리에 모델과 프롬프트를 넘기는 식이에요.

../examples/gpt-2/download-ggml-model.sh 117M
./bin/gpt-2-backend -m models/gpt-2-117M/ggml-model.bin -p "This is an example"

-m은 모델 파일 경로, -p는 입력 프롬프트예요. 모델이 GGML 형식(.bin)으로 내려오고, gpt-2-backend가 그 모델을 로드해 다음 토큰을 이어서 생성해요.

이 예제는 ggml의 핵심 흐름인 모델 로드 → 텐서 연산 → 토큰 생성을 아주 단순하게 보여줘요. 다른 예제들은 examples 폴더에 있는데, 각자 다른 모델 아키텍처를 다루고 있어서 필요에 따라 골라 보면 돼요.

더 알아보기