MLC LLM 소개 — 모든 플랫폼에서 네이티브하게
MLC LLM 소개 — 모든 플랫폼에서 네이티브하게
LLM을 어디서 돌리느냐는 항상 고민이에요. 클라우드 말고 노트북, 폰, 브라우저에서 직접 돌리려면 기기별 성능을 고려한 배포가 필요하죠. MLC LLM 은 머신러닝 컴파일러와 배포 엔진을 결합해 LLM을 모든 플랫폼에 네이티브하게 배포하는 걸 목표로 해요.
MLC LLM은 공식적으로, 모두가 자신의 플랫폼에서 AI 모델을 개발·최적화·배포할 수 있게 하자는 미션이에요. 컴파일 기반 접근 덕분에 같은 모델을 다양한 하드웨어에 맞춰 최적화된 실행 파일로 만들 수 있어요.
생태계는 이렇게 나뉘어요:
- MLC LLM — 핵심 컴파일러 + 배포 엔진. Python/REST/CLI API 제공.
- WebLLM — JavaScript SDK. 브라우저에서 바로 LLM을 로컬 실행.
- iOS / Android SDK — 모바일 네이티브 배포.
문서에는 Quick Start 로 가장 빠르게 시작하는 경로가, Introduction to MLC LLM 으로 전체 워크플로가 정리돼 있어요. 모델을 불러와 채팅부터 실행까지 한 흐름으로 배울 수 있어요.