LocalAI 개요

LocalAI 개요

LocalAI는 로컬에서 모델을 실행하기 위한 합성 가능한(composable) AI 스택이에요. 작은 핵심 코어가 OpenAI·Anthropic API를 말하고, 필요한 모델 백엔드는 그때그때 추가해요. 간단하고 효율적이며 기본적으로 프라이빗한, 데이터를 내 하드웨어에 두는 드롭인 대체제예요. MIT 라이선스의 오픈소스예요.

LocalAI가 동작하는 방식은 이래요. 클라이언트는 하나의 API로 작은 코어에 말하고, 코어는 각 요청을 gRPC로 필요 시 불러오는 별도 백엔드 프로세스로 라우팅해요. 그래서 쓰는 것만 돌리고, 하나의 백엔드 고장이 나머지를 끌어내리지 않아요.

출처: https://localai.io/docs/overview/

왜 LocalAI인가

  • 프라이버시 우선: 데이터가 내 기계를 떠나지 않아요.
  • 완전한 제어: 내 하드웨어·내 조건으로 모델을 돌려요.
  • 오픈소스: MIT 라이선스, 커뮤니티 주도.
  • 유연한 배포: 노트북부터 서버까지, GPU 유무와 무관하게.
  • 설계상 합성 가능: 작은 코어에 백엔드를 온디맨드로 설치해, 쓰는 것만 실행해요.

포함되는 것

  • OpenAI 호환 API: OpenAI·Anthropic·Open Responses API의 드롭인 대체.
  • 내장 웹 인터페이스: 채팅, 모델 관리, 에이전트 생성, 이미지 생성, 시스템 모니터링.
  • AI 에이전트: MCP(Model Context Protocol) 도구를 UI에서 바로 지원하는 자율 에이전트 생성.
  • 어떤 모델·어떤 모달리티든: LLM, 이미지·비디오, TTS, STT, 비전, 임베딩까지 각각 별도 백엔드로.
  • GPU 가속: NVIDIA·AMD·Intel·Vulkan GPU 자동 감지·지원.
  • 배포 모드: 워커 노드로 수평 확장하는 분산 모드.

핵심 기능

  • 텍스트 생성: llama.cpp, transformers, vLLM 등으로 로컬 LLM 실행.
  • 이미지 생성: Stable Diffusion, Flux 등.
  • 오디오 처리: TTS·STT.
  • 비전 API, 임베딩, 함수 호출(OpenAI 호환 도구 사용), MCP 기반 AI 에이전트.

시작하기

Docker가 권장 설치 방법이에요. 가장 빠른 시작은 이렇게 해요.

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

그다음 http://localhost:8080을 열어 모델을 설치하고 채팅을 시작하면 돼요.

더 알아보기