관찰: OpenTelemetry 기반 (Observability)
관찰: OpenTelemetry 기반 (Observability)
LLM 앱은 도대체 이 요청이 얼마나 걸렸고, 비용이 얼마고, 정확한지는 파악하기 어려워요. Portkey의 관찰 스위트는 모든 요청에 대한 가시성을 한곳에 모아, 비용·지연·정확도를 추적·측정하게 해 줍니다. OpenTelemetry 호환 구조라 기존 모니터링 환경과도 자연스럽게 이어져요.
주요 기능
- 로그(Logs): 모든 멀티모달 요청·응답을 기록해서 보고, 모니터링하고, 디버그하기 쉽게 해 줘요.
- 트레이싱(Tracing): 요청 수명주기 전체를 따라가 앱을 모니터링할 수 있어요.
- 분석(Analytics): 21개 이상의 핵심 메트릭을 한눈에 봐서 데이터를 분석하고 트렌드를 찾을 수 있어요.
- 필터(Filters): 커스텀 필터로 데이터 뷰를 좁혀 중요한 데이터에 집중해요.
- 커스텀 메타데이터(Custom Metadata): LLM API에 자체 메타데이터를 붙여 그룹핑·트러블슈팅을 빠르게 해요.
- 피드백(Feedback): 피드백 값과 가중치를 붙여 평가 루프를 완성해요.
- 예산 한도(Budget Limits): 프로바이더 API 키에 예산 한도를 걸어 비용을 통제해요.
왜 관찰이 필요한가
일반적인 LLM 연동에서는 "내 요청이 느린 이유가 뭔지", "이번 주 비용이 왜 이렇게 나왔는지"를 알기 어려워요. Portkey는 게이트웨이를 지나는 모든 요청의 로그를 남기고, 분석 대시보드에서 비용·지연·성공률 같은 메트릭을 빠르게 뽑아 보여 줘요. 이 덕분에 병목이 서버 문제인지, 모델 지연인지, 캐시 누락 때문인지를 비교적 쉽게 가려낼 수 있어요.