Models 최상위 요소

Models 최상위 요소 (Models top-level element)

Compose 파일의 models 최상위 요소는 Compose 애플리케이션이 사용하는 AI 모델을 선언해요. 모델은 보통 OCI 아티팩트로 받아오고 모델 러너가 실행하며, 서비스 컨테이너가 소비할 수 있는 API로 노출돼요.

출처: 문서

본문

요구 사항: Docker Compose 2.38.0 이상

최상위 models 섹션은 Compose 애플리케이션이 사용하는 AI 모델을 선언해요. 이 모델들은 보통 OCI 아티팩트로 받아오고 모델 러너가 실행하며, 서비스 컨테이너가 소비할 수 있는 API로 노출돼요.

서비스는 services 최상위 요소 안의 models 속성으로 명시적으로 부여될 때만 모델에 접근할 수 있어요.

예시 1 (Example 1)

services:
  app:
    image: app
    models:
      - ai_model

models:
  ai_model:
    model: ai/model

이 기본 예제에서:

• app 서비스는 ai_model을 사용해요.
• ai_model은 모델 러너가 받아와 서비스하는 OCI 아티팩트(ai/model)로 정의돼요.

예시 2 (Example 2)

Docker Compose는 AI_MODEL_URL 같은 연결 정보를 컨테이너에 주입해요.

services:
  app:
    image: app
    models:
      my_model:
        endpoint_var: MODEL_URL

models:
  my_model:
    model: ai/model
    context_size: 1024
    runtime_flags:
      - "--a-flag"
      - "--another-flag=42"

이 고급 설정에서:

• app 서비스가 long 문법으로 my_model을 참조해요.
• Compose는 모델 러너의 URL을 환경 변수 MODEL_URL로 주입해요.

속성 (Attributes)

• model (필수): 모델의 OCI 아티팩트 식별자. Compose가 모델 러너를 통해 받아와 실행하는 대상이에요.
• context_size: 모델의 최대 토큰 컨텍스트 크기를 정의해요.
• runtime_flags: 모델이 시작될 때 추론 엔진에 전달되는 원시 커맨드라인 플래그 목록.

추가 리소스 (Additional resources)

모델 사용에 대한 더 많은 예시와 정보는 "Use AI models in Compose" 를 참고해요.

더 알아보기 (Learn more)

• Compose에서 AI 모델 사용 가이드를 참고해요.