로컬 LLM 다운로드 (Download an LLM)
로컬 LLM 다운로드 (Download an LLM)
LM Studio에는 Hugging Face에서 지원하는 모델을 내려받을 수 있는 다운로더가 기본으로 들어 있어요. 모델을 검색해 클릭 몇 번이면 로컬에 준비할 수 있고, 어떤 파일을 골라야 할지는 양자화 개념만 이해하면 어렵지 않답니다. 여기서는 모델을 검색하고, 여러 다운로드 옵션 중에서 어떻게 선택하는지를 차근차근 설명드릴게요.
모델 검색하기
검색창에 llama, gemma, lmstudio 같은 키워드를 넣거나, user/model 형태의 아이디를 직접 입력해도 돼요. 심지어 Hugging Face URL 전체를 검색창에 붙여 넣어도 그대로 인식한답니다.
팁: 어디서든 ⌘ + 2(Mac) 또는 Ctrl + 2(Windows/Linux)를 누르면 Discover 탭으로 바로 이동해요.
어떤 다운로드 옵션을 고를까요
같은 모델도 이름이 Q3_K_S, Q8처럼 조금씩 다른 파일로 여러 개 보여요. 이들은 같은 모델을 서로 다른 충실도(fidelity)로 저장한 복사본이에요. Q는 "양자화(Quantization)"를 뜻하는데, 파일 크기를 줄이면서 일부 품질을 포기하는 기법이에요.
내 기기가 감당할 수 있다면 4-bit 이상 옵션을 고르는 걸 권해요.
모델 디렉토리 바꾸기
모델이 저장되는 폴더 위치는 My Models 화면에서 변경할 수 있어요.