AI 게이트웨이 (AI Gateway)

LLM 앱을 만들다 보면 프로바이더별로 SDK가 다르고, 결제 키도 모델마다 흩어져 있어요. Portkey의 AI 게이트웨이는 이런 모델들을 하나의 통일된 REST·SDK 인터페이스로 묶어서, 라우팅·캐싱·폴백 같은 운영 전략을 설정 없이 그대로 쓰게 해 줘요. 게이트웨이 계층에서 이미 전투 검증된 안정성을 오픈소스로도 직접 돌려볼 수 있어요.

출처: Portkey AI Gateway 공식 문서

주요 기능

유니버설 API(Universal API): REST와 SDK 모두에서 지원 모델을 같은 규격으로 호출해요.
캐시(Cache): 단순 캐시와 의미(semantic) 캐시로 비용을 줄이고 지연을 낮춰요.
MCP 지원: 원격 MCP 서버에 연결해서 외부 도구·데이터 소스를 붙일 수 있어요.
폴백(Fallbacks): 프로바이더·모델 단위로 장애 시 대체 모델로 넘어가게 해요.
조건부 라우팅(Conditional Routing): 우리가 정한 조건식에 따라 다른 대상으로 라우팅해요.
멀티모달(Multimodality): 비전·오디오·이미지 생성 등 다양한 모델을 함께 써요.
자동 재시도(Automatic Retries): 재시도 전략을 자동으로 구성할 수 있어요.
서킷 브레이커(Circuit Breaker): 전략별로 회로 보호와 실패 처리를 설정해요.
로드밸런싱(Load Balancing): 여러 API 키에 부하를 나눠 속도 제한(rate-limit)을 피해요.
카나리 테스트(Canary Testing): 새 모델을 운영에 안전하게 먼저 검증해요.
gRPC(Beta): 낮은 지연과 효율적인 이진 직렬화를 위해 gRPC 전송을 지원해요.
요청 타임아웃(Request Timeout): 응답이 없는 LLM 요청을 쉽게 처리해요.
예산·속도 제한(Budget & Rate Limits): 비용·토큰 기준 사용량 한도와 분당·시간당·일별 요청 한도를 설정해요.
커스텀 호스트(Custom Hosts): 프라이빗 또는 로컬 모델을 커스텀 호스트 URL로 라우팅해요.

게이트웨이 사용하기

이런 게이트웨이 전략들은 전부 게이트웨이 컨피그(Gateway Configs) 로 구현돼요. 컨피그를 만들고 ID를 얻은 뒤 요청과 함께 전달하면 돼요.

오픈소스

검증된 AI 게이트웨이를 커뮤니티에 공개했어요. 아래 한 줄이면 로컬에서 바로 돌릴 수 있어요.

npx @portkey-ai/gateway

직접 서버에 호스팅한 뒤 Portkey에 연결하는 방식도 가능해요. 자체 호스팅 설치·배포 문서를 참고하면 됩니다.

더 알아보기 (Learn more)

캐시를 활용해 더 빠르고 저렴하게 응답을 처리하고 싶다면 캐시: 단순 & 의미 문서를 봐요.
장애 시 대체 모델로 넘어가는 전략은 폴백에서 다뤄요.
요청 컨피그 전체 구조가 궁금하다면 게이트웨이 컨피그를 참고하세요.