Compose Bridge로 Docker Model Runner 사용하기
Compose Bridge로 Docker Model Runner 사용하기 (Use Docker Model Runner with Compose Bridge)
Compose Bridge는 모델 인식 배포(model-aware deployments)를 지원해요. LLM을 호스팅·서빙하는 경량 서비스인 Docker Model Runner를 배포하고 구성할 수 있어요.
이를 통해 LLM 지원 서비스의 수동 설정을 줄이고, Docker Desktop과 Kubernetes 환경에서 배포를 일관되게 유지할 수 있어요.
출처: 문서
본문
Compose 파일이 주어지면 Compose Bridge는:
- 각 모델의 엔드포인트와 이름에 대한 환경 변수를 자동으로 주입해요.
- Docker Desktop 대 Kubernetes에 대해 모델 엔드포인트를 다르게 구성해요.
- Helm values에서 활성화되면 Kubernetes에 Docker Model Runner를 선택적으로 배포해요.
모델 러너 설정 구성 (Configure model runner settings)
생성된 Helm 차트로 배포할 때 Helm values를 통해 모델 러너 구성을 제어할 수 있어요:
# Model Runner settings
modelRunner:
# Docker Desktop에서는 false로 (호스트 인스턴스 사용)
# 독립형 Kubernetes 클러스터에서는 true로
enabled: false
# enabled=false (Docker Desktop)일 때 사용하는 엔드포인트
hostEndpoint: "http://host.docker.internal:12434/engines/v1/"
# ...
enabled 여부에 따라 호스트 인스턴스(Docker Desktop)를 쓸지 독립형 Kubernetes에 배포할지가 결정돼요. 구체적인 Helm values 예시는 원본 문서를 참고해요.