Kaito 소개 — 왜 쿠버네티스에서 LLM을 셀프호스팅하나요
Kaito 소개
LLM을 쿠버네티스에서 셀프호스팅하려는 조직이 늘고 있어요. 배치 처리, 챗봇, 에이전트처럼 추론 워크로드가 큰 경우, 토큰당 API 가격이 빠르게 치솟는 유료 API 대신 자체 GPU를 쓰는 쪽이 경제적이죠. 또 금융·의료·국방처럼 규제가 엄격한 분야에서는 데이터가 조직 바깥으로 나가지 않게 하는 것이 필수예요. Kaito는 바로 이 지점을 노린 프로젝트예요.
Kaito가 하는 일
Kaito는 CNCF의 샌드박스 프로젝트로, 쿠버네티스에서 오픈소스 LLM 워크로드를 배포하고 다루는 것을 단순화해요. VLLM과 통합해 메모리·GPU 요구 사항을 줄이면서도 정확도는 크게 떨어뜨리지 않도록 도와줘요.
핵심 특징
- 모듈식 플러그앤플레이 — 모델을 빠르게 배포하고 운영 API로 노출
- OpenAI 호환 API 기본 내장
- 프롬프트 포맷팅·스트리밍 응답 지원
- 데이터가 조직 통제 환경 안에 머물러 보안·컴플라이언스 요구 충족
AKS(애저 쿠버네티스 서비스)에선 관리형 AI toolchain operator 애드온으로 제공돼요. 애드온은 오픈소스 Kaito 위에 올라가 있어요.