llama-cpp-python
llama-cpp-python
llama-cpp-python은 GGUF 포맷의 LLM을 CPU나 GPU에서 로컬로 돌리게 해 주는 llama.cpp의 파이썬 바인딩이에요. OpenAI 호환 API와 웹 서버, 함수 호출까지 지원해서 클라우드 없이도 애플리케이션에 LLM을 얹기 좋죠. 이 카테고리는 llama-cpp-python 공식 리포와 문서를 반영한 한국어 가이드 모음이에요.
llama-cpp-python은 GGUF 포맷의 LLM을 CPU나 GPU에서 로컬로 돌리게 해 주는 llama.cpp의 파이썬 바인딩이에요. OpenAI 호환 API와 웹 서버, 함수 호출까지 지원해서 클라우드 없이도 애플리케이션에 LLM을 얹기 좋죠. 이 카테고리는 llama-cpp-python 공식 리포와 문서를 반영한 한국어 가이드 모음이에요.