docker model pull

docker model pull

docker model pull 명령은 Docker Hub 또는 HuggingFace에서 모델을 로컬 환경으로 내려받습니다.

출처: 문서

본문

모델을 로컬 환경으로 가져오는 명령어예요. 내려받은 모델은 Docker Desktop 대시보드에도 함께 표시돼요.

예시 (Examples)

Docker Hub에서 모델 내려받기

docker model pull ai/smollm2

HuggingFace에서 내려받기

GGUF 모델은 Hugging Face에서 직접 내려받을 수 있어요.

양자화에 관한 참고: 태그를 지정하지 않으면 이 명령은 모델의 Q4_K_M 버전을 내려받으려고 해요. Q4_K_M이 없다면 HuggingFace의 모델 Files 보기에서 찾은 첫 번째 GGUF를 내려받아요. 양자화를 지정하려면 태그로 넘기면 돼요. 예를 들면:

docker model pull hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q4_K_S

docker model pull hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF

더 알아보기

• docker model ls — 로컬에 받아둔 모델 목록 보기
• docker model push — 모델 올리기