메트릭

메트릭 (Metrics)

Langfuse 메트릭은 observability와 evaluation trace에서 실행 가능한 인사이트를 뽑아내요. 커스터마이즈 가능한 대시보드(custom dashboards)와 metrics API로 메트릭을 다양하게 슬라이스·다이스할 수 있고, 메트릭이 임계값을 넘으면 알림을 받도록 alerts를 설정할 수 있어요.

출처: 문서

본문

Langfuse 메트릭은 observability와 evaluation trace에서 실행 가능한 인사이트를 만들어내요.

메트릭은 커스터마이즈 가능한 대시보드(custom dashboards)와 metrics API로 슬라이스·다이스할 수 있어요. 메트릭이 임계값을 넘으면 알려주도록 alerts를 설정해 두는 것도 가능해요.

어떤 메트릭을 추적할 가치가 있는지, 보이는 것을 어떻게 구체적인 수정으로 바꿀지 궁금하다면 Langfuse Academy의 Monitoring과 error analysis 챕터를 읽어보세요.

LLM Analytics

기능 (Features)

  • Custom Dashboards: 유연한 셀프서비스 분석 대시보드로 LLM 애플리케이션 메트릭을 시각화·모니터링해요.
  • Metrics API: 메트릭을 프로그래밍 방식으로 조회해요.
  • Export to PostHog: PostHog로 내보내요.
  • Export to Mixpanel: Mixpanel로 내보내요.

메트릭과 차원 (Metrics & Dimensions)

메트릭 (Metrics):

  • Quality(품질): 사용자 피드백, 모델 기반 점수화, human-in-the-loop 점수 샘플, 또는 SDK/API를 통한 커스텀 점수로 측정돼요 (scores 참고). 품질은 시간 경과에 따라, 그리고 프롬프트 버전·LLM·사용자별로 평가돼요.
  • Cost와 Latency(비용과 지연시간): 정확하게 측정되며 사용자, 세션, 지역, 기능, 모델, 프롬프트 버전별로 세분화돼요.
  • Volume(볼륨): 수집된 trace와 사용된 토큰에 기반해요.

차원 (Dimensions):

  • Trace name: trace에 name 필드를 추가해 용도·기능을 구분해요.
  • User: trace에 userId를 추가(문서)해 사용자별 사용량과 비용을 추적해요.
  • Tags: trace에 tags를 추가해 여러 용도·기능을 필터링해요.
  • Release and version numbers: LLM 애플리케이션 변경이 메트릭에 어떤 영향을 미쳤는지 추적해요.

정확한 정의는 metrics API 문서를 참고하세요.

더 알아보기 (Learn more)