llamafile 개요

llamafile은 'LLM 하나를 그냥 파일 하나로 주고받자'는 발상에서 출발해요. 모델 가중치와 실행 코드를 한 파일에 담아서, 받는 쪽은 설치 없이 바로 그 파일을 실행하기만 하면 모델이 돌아가요.

출처: mozilla-ai/llamafile

llamafile은 모질라 빌더스 프로젝트로, 오픈 LLM을 개발자와 최종 사용자 모두에게 훨씬 쉽게 접근할 수 있게 하는 게 목표예요. 그걸 위해 llama.cpp와 Cosmopolitan Libc를 하나의 프레임워크로 결합했어요. 이렇게 하면 LLM의 모든 복잡함을 하나의 단일 파일 실행 파일(llamafile)로 압축할 수 있고, 이 파일은 설치 없이 대부분의 운영체제와 CPU 아키텍처에서 로컬로 실행돼요.

llamafile의 특징을 풀어보면 이래요.

여러 CPU 마이크로아키텍처에서 실행 가능
여섯 개 OS(macOS, Windows, Linux, FreeBSD, OpenBSD, NetBSD) 지원
가중치를 llamafile 안에 임베드할 수 있음 — PKZIP을 GGML 라이브러리에 추가해서, 압축되지 않은 가중치를 메모리에 직접 매핑(자기 추출 아카이브처럼)
문서화된 행동을 재현할 수 있도록 양자화 가중치에 호환 버전의 llama.cpp 소프트웨어를 프리픽스로 붙임

즉 '설치하고 설정하고 의존성 잡는' 과정을 통째로 없애는 게 이 프로젝트의 정체성이에요.