로컬 모델 다운로드와 관리

로컬 모델 다운로드와 관리

GPT4All은 소비자용 수준의 하드웨어에서 3B~13B 파라미터 범위의 LLM을 잘 돌리도록 최적화되어 있어요. 모델 파일을 내 기기에 직접 내려받기 때문에 로컬·비공개로 실행할 수 있고, 여기서는 앱에서 모델을 검색·다운로드·관리하는 방법을 다루게 돼요. 파일 형식·양자화·라이선스가 저마다 달라서, 내 하드웨어와 사용 목적에 맞게 고르는 기준도 함께 알려 드릴게요.

출처: GPT4All 모델 - 공식 문서

모델 다운로드

  1. 왼쪽 메뉴에서 Models(메뉴에서 Chats 아래, LocalDocs 위)를 클릭합니다.
  2. + Add Model을 눌러 Explore Models 페이지로 이동합니다.
  3. 온라인에서 사용할 수 있는 모델을 검색합니다.
  4. Download를 눌러 모델을 기기에 저장합니다.
  5. 다운로드가 끝나면 Models 목록에서 확인할 수 있어요.

모델 탐색

GPT4All은 HuggingFace의 LLM을 llama.cpp 백엔드로 연결해 내 하드웨어에서 효율적으로 돌아가게 해요. 이 모델들은 대부분 .gguf 파일 형식으로 식별할 수 있어요.

검색 바의 기어 아이콘을 누르면 HuggingFace 기준 좋아요 수, 다운로드 수, 업로드 날짜로 검색 결과를 정렬할 수 있어요.

예시 모델

크기·양자화·라이선스에 따라 모델이 다양하게 제공돼요.

  • 파라미터가 많은 LLM일수록 지시에 더 일관성 있게 응답하는 경향이 있어요.
  • 양자화를 작게 할수록(예: 16bit 대신 4bit) 훨씬 빠르고 메모리 사용이 적지만, 성능은 약간 떨어지는 편이에요.
  • 라이선스마다 개인/상업적 사용 조건이 달라요.
모델 파일 크기 요구 RAM 파라미터 양자화 개발자 라이선스 MD5 (고유 해시)
Llama 3 Instruct 4.66 GB 8 GB 8 Billion q4_0 Meta Llama 3 License c87ad09e1e4c8f9c35a5fcef52b6f1c9
Nous Hermes 2 Mistral DPO 4.11 GB 8 GB 7 Billion q4_0 Mistral & Nous Research Apache 2.0 Coa5f6b4eabd3992da4d7fb7f020f921eb
Phi-3 Mini Instruct 2.18 GB 4 GB 4 billion q4_0 Microsoft MIT f8347badde9bfc2efbe89124d78ddaf5
Mini Orca (Small) 1.98 GB 4 GB 3 billion q4_0 Microsoft CC-BY-NC-SA-4.0 0e769317b90ac30d6e09486d61fefa26
GPT4All Snoozy 7.37 GB 16 GB 13 billion q4_0 Nomic AI GPL 40388eb2f8d16bb5d08c96fdfaac6b2c

모델 API 연결

원격 모델 프로바이더의 API 키를 추가할 수도 있어요. 다만 이 방식은 모델 파일을 내려받지 않고, 프롬프트가 API 프로바이더로 나갔다가 응답을 돌려받는 방식이에요. 완전한 로컬·비공개 실행이 필요하다면 이 점을 참고하세요.

더 알아보기