KServe — 쿠버네티스 위 표준화된 ML/LLM 인퍼런스 플랫폼
KServe
모델을 서빙할 때 프레임워크마다 방식이 달라 관리가 어려워요. KServe는 쿠버네티스에서 예측·생성형 AI를 함께 서빙하는 표준화된 오픈소스 플랫폼으로, CNCF 인큐베이팅 프로젝트예요.
이 카테고리의 문서
- 소개: KServe의 역할과 InferenceService 기본형
- 빠른 시작: 설치부터 추론 요청까지
- LLM 서빙: 생성형 추론(LLMISvc)과 OpenAI 호환 스펙