LocalAI 시작 가이드(Getting Started)

LocalAI 시작 가이드(Getting Started)

LocalAI를 처음부터 설치해서 첫 채팅, 첫 API 호출, 첫 커스텀 모델까지 이어지는 경로를 안내해요. 처음이라면 이 페이지들을 순서대로 따라가는 걸 권장해요. 각 단계가 이전 단계를 기반으로 하거든요.

진행 순서

  1. 설치 — Installation guide 참고. 대부분 사용자에겐 Docker가 권장 방법이에요.
  2. 퀵스타트 — LocalAI를 시작하고, 첫 모델을 설치해 웹 인터페이스와 API에서 첫 채팅 응답을 받아요.
  3. 모델 설치·실행 — 모델을 설치하는 여러 방법(갤러리, Hugging Face, OCI, 로컬 파일)과 실행법.
  4. 시도해 보기 — OpenAI 호환 엔드포인트(채팅·비전·함수·오디오·이미지·임베딩)의 복붙 예제.
  5. 모델 커스터마이즈 — 모델 설정과 프롬프트 템플릿을 편집해 동작을 조정.
  6. 문제 해결 — 가장 흔한 설치·시작 문제의 해결책.

출처: https://localai.io/docs/getting-started/

모델이 답변을 시작하면, 첫 에이전트 만들기(Build your first agent) 워크스루로 모델을 도구를 쓰는 자율 에이전트로 만드는 법까지 이어갈 수 있어요.

핵심 단계 요약

Docker 설치 후 LocalAI를 띄우면 웹 인터페이스가 http://localhost:8080에 떠요. 모델 갤러리에서 모델을 찾아 설치하고 채팅 페이지에서 대화를 시작하면 됩니다. CLI로는 local-ai models list, local-ai models install <name>으로 모델을 관리할 수 있어요.

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

웹 UI에서 qwen3-4b 같은 모델을 설치하면 CPU에서도 바로 답변을 받을 수 있어요.

더 알아보기