MLC LLM 개요

MLC LLM은 LLM을 '어디서든' 돌리기 위해 태어난 프로젝트예요. 같은 모델을 브라우저(WebGPU), 모바일, 데스크톱 GPU, 심지어 게임기 같은 이색 환경까지 배포할 수 있게 해 주는 게 핵심이에요.

출처: Welcome to MLC LLM

MLC LLM은 대규모 언어 모델을 위한 머신러닝 컴파일러이자 고성능 배포 엔진이에요. 프로젝트의 미션은 '누구나 자신의 플랫폼에서 AI 모델을 네이티브하게 개발·최적화·배포할 수 있게' 하는 거예요.

핵심 아이디어는 '머신러닝 컴파일(ML Compilation)'이에요. 모델을 실행 시점이 아니라, 학습이 끝난 뒤 타깃 하드웨어에 맞게 컴파일해서 최적화된 바이너리 모델 라이브러리를 만들어 두는 방식이죠. 이렇게 하면 같은 LLM 런타임 엔진이 GPU, WebGPU, 모바일 백엔드를 모두 지원할 수 있어요.

MLC LLM은 pip으로 설치할 수 있고, 다음 경로로 바로 시작할 수 있어요.

mlc_llm.chat — 채팅 CLI
mlc_llm.MLCEngine — 파이썬 API
mlc_llm serve — REST 서버
WebLLM — 자바스크립트 SDK (브라우저)

처음이면 Quick Start부터, 전체 워크플로우를 이해하고 싶으면 Introduction을 읽는 걸 추천해요.