docker model start-runner

docker model start-runner

Docker Model Runner를 시작하는 명령어예요. (Docker Engine 전용)

출처: 문서

본문

docker model start-runner는 컨테이너 이미지를 내려받지 않고 Docker Model Runner를 시작해요. 필요한 이미지를 이미 로컬에 갖고 있을 때 러너를 시작하려고 쓰면 되죠.

Usage: docker model start-runner

최초 구성이거나 최신 이미지를 확보하고 싶다면 docker model install-runner를 쓰는 게 낫습니다.

옵션

옵션 기본값 설명
--backend 백엔드 지정 (llama.cpp|vllm|diffusers). 기본값: llama.cpp
--debug 디버그 로깅 활성화
--do-not-track Docker Model Runner에서 모델 사용 추적 안 함
--gpu auto GPU 지원 지정 (none|auto|cuda|rocm|musa|cann)
--host 127.0.0.1 Docker Model Runner를 바인딩할 호스트 주소
--port Docker Model Runner용 도커 컨테이너 포트 (기본값: Docker Engine 12434, Cloud 모드 12435)
--proxy-cert 프록시 SSL 검사용 CA 인증서 파일 경로
--tls Docker Model Runner API에 TLS/HTTPS 활성화
--tls-cert TLS 인증서 파일 경로 (제공하지 않으면 자동 생성)
--tls-key TLS 개인 키 파일 경로 (제공하지 않으면 자동 생성)
--tls-port Docker Model Runner용 TLS 포트 (기본값: Docker Engine 12444, Cloud 모드 12445)

더 알아보기