AKS에서 AI toolchain operator 애드온 쓰기
AKS AI toolchain operator 애드온
AKS(애저 쿠버네티스 서비스)에서는 오픈소스 Kaito 위에 올라간 AI toolchain operator 애드온으로 모델을 셀프호스팅할 수 있어요. 플러그앤플레이 방식이라 팀이 모델을 빠르게 배포하고 프로덕션 레디 API로 노출할 수 있어요.
동작 흐름
- AKS 클러스터에 AI toolchain operator 애드온을 활성화해요.
- KAITO의 모델 프리셋 중 원하는 모델을 고릅니다 (애드온은 KAITO 0.6.0 기준).
- Workspace 리소스를 만들면 Kaito가 GPU 노드와 vLLM 서빙을 준비해요.
- OpenAI 호환 API로 추론에 접근할 수 있어요.
지원 범위
- 애드온은 공개 Azure 리전에서 지원돼요.
- 데이터는 클러스터 안에 머물러 조직 통제 환경 안에서 안전·규정 준수를 유지해요.
- 클라우드 호스팅 LLM API의 안전한 대안으로 삼기 좋아요.