LM Studio에서 GGUF 사용하기

LM Studio는 내 컴퓨터에서 로컬 AI 모델을 직접 실험·개발하는 데스크톱 애플리케이션이에요. LM Studio는 llama.cpp 기반으로 Mac (Apple Silicon), Windows, Linux에서 동작해요!

Hugging Face의 GGUF·MLX 모델을 LM Studio에서 바로 열어볼 수 있어요.

출처: 문서

본문

먼저 Hugging Face의 Local Apps Settings에서 LM Studio를 활성화해요.

GGUF 또는 MLX LLM이라면 "Use this model" 드롭다운을 클릭하고 LM Studio를 선택해요. 이미 LM Studio가 있다면 모델이 바로 실행되고, 없다면 다운로드 옵션이 보여요.

트렌드 모델로 LM Studio를 시험해 보려면 여기에서 찾아보세요: https://huggingface.co/models?library=gguf&sort=trending

LM Studio 앱을 열고 Mac에서 ⌘ + Shift + M, PC에서 Ctrl + Shift + M을 눌러(M은 Models) 아무 모델이나 검색해요. 검색창에 전체 Hugging Face URL을 붙여넣을 수도 있어요!

각 모델에서 드롭다운을 펼치면 여러 양자화(quantization) 옵션을 볼 수 있어요. LM Studio는 내 하드웨어에 권장되는 선택지를 강조하고 어떤 옵션이 지원되는지 표시해요.

터미널 기반 워크플로를 선호한다면 LM Studio의 CLI인 lms를 사용해요.

키워드로 검색

lms get qwen

MLX 또는 GGUF 결과로 검색 필터

lms get qwen \--mlx  # or \--gguf

전체 Hugging Face URL 사용

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

성능, 메모리 사용량, 정확도의 균형을 맞추는 모델 양자화 수준을 고를 수 있어요.

이는 @ 한정자로 하며, 예를 들어:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

위 옵션 중 하나로 모델을 다운로드했다면, 이제 LM Studio에서 시작해 볼게요!

LM Studio 앱에서 모델 로더로 가서 다운로드된 모델 목록을 보고 로드할 모델을 선택해요. 모델 로드 파라미터는 커스터마이즈할 수 있지만, LM Studio는 기본적으로 내 하드웨어에서 모델 성능을 최적화하는 로드 파라미터를 선택해요.

모델이 로드 완료되면(진행 바로 표시) 앱의 채팅 인터페이스로 대화를 시작할 수 있어요!

명령 목록은 여기에서 볼 수 있어요. lms를 쓰려면 LM Studio를 적어도 한 번은 실행해야 한다는 점을 참고해요.

Hugging Face의 Use this model 버튼, 앱 내 검색(⌘/Ctrl + Shift + M), lms CLI로 GGUF 모델을 가져와요.
@Q6_K 같은 @ 한정자로 양자화 수준을 골라요.
LM Studio 문서에서 모델 로드·채팅·CLI 사용법을 확인해 보세요.