docker model package

docker model package

docker model package 명령은 모델을 Docker Model OCI 아티팩트로 패키징합니다.

출처: 문서

본문

모델을 Docker Model OCI 아티팩트로 묶는 명령어예요. 모델 소스는 다음 중 하나여야 해요:

• --gguf — GGUF 파일 (단일 파일 또는 분할 모델의 첫 번째 샤드)
• --safetensors-dir — .safetensors 파일과 구성 파일이 담긴 디렉토리
• --dduf — .dduf (Diffusers Unified Format) 아카이브
• --from — 기존에 패키징된 모델 참조

기본적으로 패키징된 아티팩트는 로컬 Model Runner 콘텐츠 저장소에 로드돼요. 대신 레지스트리에 게시하려면 --push를 사용해요.

MODEL은 대상 모델 참조를 지정해요 (예: myorg/llama3:8b). --push를 사용할 땐 MODEL이 레지스트리로 한정된 참조여야 해요.

패키징 동작:

GGUF — --gguf는 .gguf 파일을 가리켜야 해요. 분할 모델이라면 첫 번째 샤드를 가리켜요. 모든 샤드는 같은 디렉토리에 있어야 하고, 색인된 명명 규칙(예: model-00001-of-00015.gguf)을 따라야 해요. 모든 샤드가 자동으로 발견되어 함께 패키징돼요.

Safetensors — --safetensors-dir는 .safetensors 파일과 필수 구성 파일(모델 config, 토크나이저 파일 등)이 담긴 디렉토리를 가리켜야 해요. 디렉토리 아래의 모든 파일(중첩 하위 디렉토리 포함)이 자동으로 발견돼요. 각 파일은 별도의 OCI 레이어로 패키징돼요.

DDUF — --dduf는 .dduf 아카이브 파일을 가리켜야 해요.

재패키징 — --from은 기존 모델을 다시 패키징해요. --context-size 같은 일부 속성을 덮어써서 원본 모델의 변형을 만들 수 있어요.

멀티모달 모델 — --mmproj를 사용해 멀티모달 프로젝터 파일을 포함해요.

옵션 (Options)