Kong AI Proxy 플러그인 — LLM 프록시 변환
Kong AI Proxy 플러그인 — LLM 프록시 변환
Kong AI Proxy 플러그인은 여러 AI 제공자·모델로의 요청을 변환·프록시해 주는 게이트웨이 플러그인이에요. 정의된 표준 OpenAI 포맷으로 요청을 받아, 대상 포맷으로 바꾸고, 응답을 다시 표준 포맷으로 변환해서 돌려줍니다.
지원 기능(능력)
- 채팅 완성(chat completions):
llm/v1/chat라우트로 시스템·사용자·어시스턴트 역할의 다중 턴 대화. - 임베딩:
llm/v1/embeddings로 텍스트→벡터, RAG·유사도 검색용. - 함수 호출·에이전트:
llm/v1/assistants,llm/v1/responses로 도구 사용 에이전트 지원. - 배치·파일·오디오·이미지·비디오:
llm/v1/batches,audio/v1/audio/*,image/v1/images/*,video/v1/videos/*등.
어떻게 동작하나
config.model.provider와config.route_type에 따라 요청·응답 포맷을 중개해요.- 소비자(Kong API consumer)를 대신해 인증하고, 모델 옵션 파라미터를 장식하며, 사용 통계를 로그 플러그인으로 기록해요.
- 제공자 포맷을 "평탄화(flatten)"해서 백엔드 제공자와 무관하게 일관된 요청·응답 포맷을 소비자에게 제공해요.
- v3.10+ 에선
config.llm_format을 native로 설정해 변환 없이 제공자 네이티브 포맷을 그대로 프록시할 수도 있어요(Bedrock Converse, Cohere rerank 등).
언제 쓰나
- 여러 LLM 제공자를 한 게이트웨이 뒤에 두고 통일된 인터페이스 + 관측·비용·보안을 관리하고 싶을 때요.