TensorFlow Serving 개요

TensorFlow Serving 개요

ML 모델을 프로덕션에 올릴 때 가장 신경 쓰이는 게 "변경해도 서버를 내리지 않고 새 모델로 갈아끼우기"예요. TensorFlow Serving은 바로 그 문제를 해결하는 고성능 서빙 시스템입니다.

출처: https://www.tensorflow.org/tfx/guide/serving

설계 목표

• 새 알고리즘·실험의 쉬운 배포 — 같은 서버 아키텍처·API를 유지하면서 모델을 갈아끼울 수 있어요.
• TensorFlow 모델 기본 통합 — TensorFlow 모델은 추가 설정 없이 바로 서빙.
• 확장성 — 다른 종류의 모델·데이터로도 확장 가능.

관련 문서

구체적인 내용은 세 문서로 나뉘어 있어요.

• Architecture Overview — 시스템 구조와 동작 원리.
• Server API — C++ 서버 API.
• REST Client API — REST로 모델 예측 요청.

더 알아보기

• https://www.tensorflow.org/tfx/serving/architecture — 아키텍처 개요
• https://www.tensorflow.org/tfx/serving/api_rest — REST 클라이언트 API