WebLLM / MLC LLM — 브라우저·엣지에서 LLM을 돌리는 배포 엔진
WebLLM / MLC LLM
LLM을 서버가 아니라 브라우저나 엣지 디바이스에서 직접 돌리고 싶다면 MLC LLM 이 유명해요. 컴파일러 기반이라 기기별로 최적화된 네이티브 배포를 만들고, JavaScript SDK인 WebLLM 으로 바로 웹에서 쓸 수 있어요. 환영 페이지와 퀵스타트를 아래에서 확인해 보세요.
LLM을 서버가 아니라 브라우저나 엣지 디바이스에서 직접 돌리고 싶다면 MLC LLM 이 유명해요. 컴파일러 기반이라 기기별로 최적화된 네이티브 배포를 만들고, JavaScript SDK인 WebLLM 으로 바로 웹에서 쓸 수 있어요. 환영 페이지와 퀵스타트를 아래에서 확인해 보세요.