Portkey (AI 게이트웨이·관찰 플랫폼)
Portkey (AI 게이트웨이·관찰 플랫폼)
여러 LLM 프로바이더를 하나의 통일된 API로 연결해 주는 AI 게이트웨이이자, 모든 요청을 관찰·분석해 주는 관찰(Observability) 플랫폼이에요. 게이트웨이 위에서 폴백(fallback), 조건부 라우팅, 로드밸런싱, 캐싱, 자동 재시도 같은 운영 전략을 설정하고, OpenTelemetry 호환 대시보드로 비용·지연·정확도를 한눈에 추적할 수 있죠. 이 분류에서는 게이트웨이 전략과 관찰 기능을 중심으로 다뤄요.
이 카테고리의 문서
- AI 게이트웨이: 게이트웨이 개요, 폴백, 조건부 라우팅, 자동 재시도
- 캐싱: 단순 캐시와 의미(semantic) 캐시
- 관찰: OpenTelemetry 기반 로그·트레이싱·분석