Kaito — 쿠버네티스 AI 툴체인 오퍼레이터

Kaito

Kaito는 쿠버네티스 위에서 오픈소스 LLM 워크로드를 배포·관리하기 위한 AI 툴체인 오퍼레이터예요. Cloud Native Computing Foundation(CNCF) 샌드박스 프로젝트로, 고성능 추론 엔진인 vLLM과 통합해 LLM을 셀프호스팅 할 때 비용과 리소스 복잡도를 줄여줘요. 기업이 자체 GPU로 모델을 돌리고 데이터를 조직 안에 안전하게 두고 싶을 때 쓰기 좋아요.

이 카테고리의 문서

• 소개와 특징: Kaito가 푸는 문제와 동작 방식
• Workspace 사용: 모델 배포를 위한 Workspace CRD
• AKS 애드온: Azure에서 관리형 애드온으로 쓰기

출처: https://kaito.sh