LM Studio로 Qwen 로컬 실행하기

LM Studio로 Qwen 로컬 실행하기

LM Studio는 컴퓨터에서 로컬 AI 모델을 직접 실험하고 개발할 수 있는 강력한 데스크톱 애플리케이션이에요. Dense LLM, VLM, MoE, 추론형 변형까지 다양한 종류의 Qwen 모델을 실행할 수 있어요. LM Studio는 GGUF(llama.cpp)와 MLX 포맷을 모두 지원해서 빠르고 효율적인 추론을 기기 안에서 완전히 비공개로 수행할 수 있답니다.

출처: 문서

본문

LM Studio 다운로드 및 설치

LM Studio 웹사이트에서 macOS, Windows, Linux용 설치 프로그램을 다운로드하세요.

Qwen 모델 가져오기

Qwen 모델은 커뮤니티에서 많은 사랑을 받아서 Staff Picks에 자주 등장해요. 앱 안에서나 https://lmstudio.ai/models 에서 스태프 추천 모델을 살펴보세요. 여러분의 기기에 맞는 Qwen 모델을 찾아 **LM Studio에서 실행(Run)**을 누르면 돼요! 앱 안에서 직접 Qwen 모델을 검색·다운로드하거나, lms CLI를 사용해서도 가능해요.

앱 내 모델 다운로더 사용하기

  1. LM Studio 앱을 열고 Mac에서는 ⌘ + Shift + M, PC에서는 Ctrl + Shift + M을 눌러 어떤 모델이든 검색하세요.
  2. "Qwen"을 검색해 보세요.
  3. 흥미로운 결과를 고르면 LM Studio가 여러분의 하드웨어에 맞는 최적의 변형을 제안해 줘요.
  4. Download를 클릭하세요. 다운로드가 끝나면 모델을 불러와 새 채팅에서 사용할 수 있어요.

Hugging Face에서 모델 가져오기

  1. 먼저 Hugging Face의 Local Apps 설정에서 LM Studio를 활성화하세요.
  2. 모델 카드에서 "Use this model" 드롭다운을 클릭하고 LM Studio를 선택하세요. 이미 LM Studio가 있다면 그 모델이 바로 실행되고, 아니라면 다운로드 옵션이 표시돼요.

고급: 직접 변환한 GGUF Qwen 모델 파일 사용하기

Qwen 모델을 직접 GGUF로 변환했다면, LM Studio의 CLI lms를 사용해 모델을 LM Studio로 불러올 수 있어요. 다음 명령을 사용하세요:

lms import <path/to/model.gguf>

LM Studio가 모델을 자동으로 감지해서 앱의 "My Models"에 표시해 줘요. 필요에 따라 컨텍스트 길이와 하드웨어 설정을 조정하세요.

lms import가 자동으로 동작하지 않아도 걱정하지 마세요. 여전히 LM Studio에 모델을 수동으로 가져올 수 있어요. LM Studio의 모델 디렉터리 구조에 대해 더 알아보려면 여기를 참고하세요.

모델 로딩이 끝나면(진행 막대로 확인) LM Studio에서 바로 채팅을 시작할 수 있어요!

LM Studio 서버로 모델 제공하기

LM Studio GUI로 서빙하기

LM Studio 애플리케이션에서 ⌘ / Ctrl + L을 눌러 모델 로더를 여세요. 여기서 다운로드한 모델 목록을 보고 하나를 선택해 로드할 수 있어요. LM Studio는 기본적으로 여러분의 하드웨어에서 모델 성능을 최적화하는 로드 파라미터를 선택해 줘요.

LM Studio CLI로 서빙하기

터미널에서 작업하는 걸 선호한다면 LM Studio CLI를 사용해 모델과 상호작용할 수 있어요. 명령 목록은 여기에서 확인하세요. lms를 사용하려면 최소한 한 번은 LM Studio를 실행해야 한다는 점을 기억하세요.

다음으로, LM Studio의 로컬 API 서버를 켜기 위해 아래를 실행하세요:

lms server start

이제 준비 완료예요! LM Studio의 REST API를 사용해 여러분의 코드에서 Qwen 모델을 프로그래매틱하게 활용할 수 있어요. 자세한 사용법은 https://lmstudio.ai/docs/developer 에서 확인할 수 있어요.

더 알아보기 (Learn more)