TorchServe 관리 API

TorchServe 관리 API (Management API)

TorchServe는 런타임에 모델을 관리하기 위한 관리 API를 제공해요. 모델 등록, 워커 수 조절, 상태 조회, 등록 해제, 등록된 모델 목록 조회 같은 작업을 REST로 처리할 수 있어요. 기본적으로 포트 8081에서 수신 대기하며, 기본 설정에서는 localhost에서만 접근할 수 있어요.

출처: TorchServe Management API (공식)

관리 API가 하는 일

관리 API는 런타임에 모델을 관리하는 다음 작업을 지원해요.

  1. 모델 등록 (Register a model)
  2. 특정 모델의 워커 수 증감 (Increase/decrease number of workers)
  3. 모델 상태 설명 (Describe a model's status)
  4. 모델 등록 해제 (Unregister a model)
  5. 등록된 모델 목록 조회 (List registered models)
  6. 모델의 기본 버전 설정 (Set default version of a model)
  7. 토큰 인증용 토큰 갱신 (Refresh tokens for token authorization)

기본 포트와 접근 제어

관리 API는 기본적으로 8081 포트를 듣고, localhost에서만 접근할 수 있어요. 기본 설정을 바꾸려면 TorchServe 설정을 참고하세요.

모델 등록·삭제를 위한 관리 API는 기본적으로 비활성화되어 있어요. TorchServe를 실행할 때 커맨드라인에 --enable-model-api를 추가해야 이 API를 쓸 수 있어요.

torchserve --start --enable-model-api --model-store model_store

모든 관리 API 요청에는 올바른 관리 토큰이 포함되거나, 토큰 인증이 비활성화되어 있어야 해요.

관리 예시

모델을 등록하면 해당 모델을 서빙하기 시작해요. 등록된 모델은 추론 API(/predictions/{model_name})로 추론을 받을 수 있게 됩니다.

워커 수를 늘리면 동시 요청 처리 능력이 커지고, 줄이면 리소스를 아낄 수 있어요. 모델 상태를 조회하면 각 모델의 워커·로딩 상태를 확인할 수 있어요.

더 알아보기