Kong AI Proxy Advanced — 멀티 모델·로드밸런싱
Kong AI Proxy Advanced — 멀티 모델·로드밸런싱
AI Proxy Advanced는 동시에 여러 AI 제공자·모델을 프록시해 타깃 간 로드밸런싱을 가능하게 하는 플러그인이에요. (Kong AI Gateway Enterprise 제공)
능력
- 기본 AI Proxy가 지원하는 채팅·임베딩·에이전트·배치·파일·오디오·이미지·비디오·실시간(realtime) 기능을 모두 지원해요.
config.targets[]배열로 여러 모델을 정의해 부하 분산을 구성해요.- 두 모델이 대체(폴백) 대상이 되도록 설정해 특정 타깃이 불가능하면 다른 모델로 넘겨요.
고급 기능
- Retry·fallback: AI 로드 밸런서가 retry·timeout·failover를 지원해요. v3.10+부턴 OpenAI-Mistral처럼 포맷이 달라도 폴백 가능해요.
- 동적 모델 선택: 요청 헤더·파라미터로 타깃 모델을 선택하게 해 주는 예시가 제공돼요.
- 벡터 DB 연동:
config.vectordb.strategy로 Redis(벡터 유사도 검색) 또는 pgvector에 임베딩 기반 유사도 매칭을 연결할 수 있어요. - Partials(v3.13+): 공유 설정(모델·임베딩·벡터DB)을 한 번 정의해 여러 플러그인에서 재사용해요.
언제 쓰나
- 하나의 게이트웨이에서 비용·성능 트레이드오프가 다른 여러 모델을 운영하고, 장애 시 자동 전환을 원할 때요.