MLRun 모델 서빙

MLRun 모델 서빙

모델 서빙(serving)은 훈련된 모델을 실시간 추론 엔드포인트로 배포해 외부 요청을 처리하게 만드는 단계예요. MLRun은 모델을 서버리스 추론 서비스로 배포할 수 있어서, 코드를 직접 HTTP 서버로 띄울 필요 없이 모델을 서비스로 노출해요.

출처: MLRun Model Serving Overview

서빙 함수와 배포

MLRun에서 서빙은 일반 함수를 모델 서버로 감싸서 배포하는 방식으로 이뤄져요. 배포 대상 모델과 그 모델을 실행할 환경(이미지·자원 가속기)을 지정하면, MLRun이 추론 엔드포인트를 만들어 제공해요. 배포한 엔드포인트는 REST API로 호출해서 추론 결과를 받을 수 있어요.

내장 vs 커스텀 서빙 클래스

MLRun은 흔한 모델 형식(예: MLflow 모델, 그라디오 앱 등)을 서빙할 수 있는 내장 서빙 클래스를 제공해요. 특정 모델 형식이 내장 클래스로 커버되지 않는다면, 커스텀 모델 서빙 클래스를 직접 만들어 배포할 수도 있어요. 커스텀 클래스를 쓰면 전처리·후처리 로직까지 모델 서버 안에 담을 수 있어요.

모델 API와 평가

배포된 모델은 MLRun의 모델 API로 관리돼요. 추론 요청뿐 아니라, 모델 스펙·버전·상태를 확인할 수 있어요. 배포 전에 로컬에서 모델을 테스트하거나, 배포된 서버를 대상으로 예측을 검증하는 단계도 지원돼요.

더 알아보기