ggml — 기계학습용 경량 텐서 라이브러리

ggml — 기계학습용 경량 텐서 라이브러리

llama.cpp나 whisper.cpp처럼 CPU·GPU에서 가볍게 돌아가는 추론 구현들은 사실 공통 텐서 라이브러리 위에서 만들어져요. 그게 바로 ggml이에요. 의존성 없이 컴파일되고 런타임에 메모리 할당도 하지 않는 게 특징이죠.

출처: https://github.com/ggml-org/ggml

이 허브에서는 ggml의 개요와 특징, 입문 가이드, 그리고 실제 GPT 추론 예제를 살펴볼게요.