커스텀 대시보드

커스텀 대시보드 (Custom Dashboards)

Langfuse 커스텀 대시보드로 LLM 애플리케이션 데이터를 실행 가능한 인사이트로 바꿔보세요. 지연시간·비용 최적화부터 품질 모니터링, 사용자 행동 분석까지 팀에 가장 중요한 메트릭을 추적하는 개인화된 뷰를 만들 수 있어요.

출처: 문서

본문

Langfuse 커스텀 대시보드는 tracing 데이터에 걸친 다중 레벨 집계를 지원하는 강력한 쿼리 엔진 위에 구축된 유연한 셀프서비스 분석 솔루션이에요. 프로덕션 성능을 모니터링하거나, 사용자 피드백 추세를 분석하거나, 비용과 품질 메트릭을 상호 연관짓거나, 데이터 기반 결정을 내리기 위한 시각화 도구를 제공해요.

Langfuse v4에서는 일부 대시보드 동작이 약간 업데이트됐어요. 전체 레퍼런스는 Dashboard changes in Langfuse v4를 참고하세요.

핵심 기능 (Key Capabilities)

유연한 쿼리 엔진: trace, observation, 사용자, session, score에 걸친 복잡한 집계를 지원하는 Langfuse 데이터 모델 위에 구축.
풍부한 시각화 옵션: 선 차트, 막대 차트, 시계열 등 여러 차트 유형과 커스터마이즈 가능한 레이아웃.
고급 필터링: 메타데이터, 타임스탬프, 사용자 속성, 모델 파라미터 등으로 필터링.
다중 레벨 집계: trace, 사용자, session 레벨에서 데이터를 집계해 복잡한 분석 질문에 답하기.
실시간 업데이트: 대시보드는 LLM 애플리케이션의 실시간 데이터를 반영.
팀 협업: 통합 모니터링과 인사이트를 위해 프로젝트 전반에 대시보드를 공유.
Langfuse 큐레이션 대시보드: 지연시간, 비용, Langfuse 사용량에 초점을 맞춘 사전 구축 대시보드 세트로 빠르게 시작.

빠른 시작 (Quick Start)

커스텀 대시보드는 두 가지 간단한 단계로 시작하거나, Langfuse의 큐레이션 대시보드를 바로 사용할 수 있어요.

첫 위젯 만들기 (Create Your First Widget)

Widgets는 LLM 애플리케이션 데이터에서 특정 메트릭을 표시하는 개별 시각화 컴포넌트예요.

Langfuse 프로젝트의 Dashboards 섹션으로 이동하세요.
Widgets 탭을 선택하세요.
New Widget을 클릭하세요.
위젯을 구성하세요:
- Data Source: traces, observations, evaluation scores 중 선택
- Metrics: 무엇을 측정할지 선택 (count, latency, cost, scores 등)
- Dimensions: user, model, time, trace name 등으로 그룹화
- Filters: 특정 데이터 하위 집합으로 좁히기
- Chart Type: 데이터에 가장 적합한 시각화 선택
Save를 클릭해 위젯을 저장하세요.

대시보드 만들기 (Build Your Dashboard)

여러 위젯을 결합해 LLM 애플리케이션 성능의 이야기를 전달하는 종합적인 대시보드로 만드세요.

Dashboards 탭으로 이동하세요.
New Dashboard를 클릭하세요.
대시보드에 설명적인 이름을 지으세요 (예: "Production Monitoring", "Cost Analysis", "Quality Metrics").
기존 위젯에서 선택하거나 새로 만들어 위젯을 추가하세요.
드래그 앤 드롭 인터페이스로 위젯을 배치하세요.
중요한 메트릭을 강조하도록 위젯 크기를 조정하세요.

큐레이션 대시보드 활용 (Leverage Curated Dashboards)

일반적인 LLM 애플리케이션 모니터링 요구에 초점을 맞춘 Langfuse 큐레이션 대시보드로 분석을 점프스타트하세요:

Latency Dashboard: 모델과 사용자 세그먼트별 응답 시간 모니터링.
Cost Dashboard: 시간 경과에 따른 토큰 사용량과 관련 비용 추적.
Usage Dashboard: Langfuse 플랫폼 사용량 이해.

이 사전 구축 대시보드는 그대로 사용하거나 자유롭게 편집할 수 있어요. Langfuse 관리 대시보드·위젯은 모든 편집 컨트롤(드래그, 크기 조정, 삭제, 추가, 편집)을 유지해요. 첫 번 변경 시 대시보드를 프로젝트로 복제하고 변경을 복사본에 적용하는 대화상자가 열려요. 그래서 관리 대시보드를 원본에 영향을 주지 않고 커스터마이즈할 수 있어요.

홈 대시보드 (Home dashboard)

프로젝트 Home 페이지는 대시보드예요. 기본적으로 Langfuse 큐레이션 기본값(클래식 개요: traces, model cost, latency percentiles, scores, model usage)에서 렌더링되며, 이제 일반 위젯으로 구축돼요. 각 프로젝트는 Home에 어떤 대시보드를 표시할지 선택해요:

Home에서 헤더의 대시보드 선택기를 열고 아무 대시보드나 골라 미리보기하세요. 선택은 URL에 반영되므로 정확한 뷰를 공유할 수 있어요.

Set as default를 클릭해 프로젝트의 Home으로 만드세요. 이것은 프로젝트의 모든 사람에게 페이지를 바꾸므로 적용 전에 확인을 받아요.

Home은 일반 대시보드이므로 모든 타일은 일반 위젯이에요. 클래식 Home 위젯(시간별 traces, 모델 사용량, 지연시간 백분위, score 분석)을 아무 커스텀 대시보드에 놓거나, Home을 처음부터 직접 만들 수 있어요.

모든 위젯은 대시보드 타일과 위젯 라이브러리 행 모두에 ⋯ 메뉴가 있어요. 그것으로:

Copy to clipboard: 위젯을 복사해 다른 대시보드에 붙여넣을 수 있어요.

Paste to the right: 클립보드의 위젯을 현재 타일 옆에 삽입해요. 대시보드가 편집 가능할 때 대시보드 타일에 표시되며, 클립보드에 Langfuse 위젯이 없으면 비활성화돼요.

Duplicate: 현재 프로젝트에 위젯 복사본을 만들어요.

Download as JSON: 위젯을 휴대 가능한 파일로 내보내요.

Download data as CSV: 위젯의 현재 쿼리 결과를 내보내요. 대시보드 타일에 표시되며 위젯이 데이터를 로드하면 사용 가능해져요.

위젯 라이브러리 행 메뉴는 같은 Copy to clipboard, Duplicate, Download as JSON 동작과 함께 Delete를 제공해요.

위젯 복사 및 붙여넣기 (Copy and paste widgets)

위젯을 복사한 뒤 ⌘/Ctrl+V로 아무 대시보드에 붙여넣을 수 있어요. 위젯이 대시보드에 추가되고 보기로 스크롤돼요. 붙여넣기는 클립보드에 Langfuse 위젯이 있을 때만 작동해요: 다른 클립보드 내용은 건드리지 않고, 대상 대시보드에 대한 편집 권한이 필요해요. 복사된 위젯은 전체 구성을 담고 있으므로 대시보드·프로젝트·인스턴스 간에 붙여넣을 수 있어요. 대상 뷰에 적용되지 않는 필터는 버려지고, Langfuse가 그때 알려줘요.

JSON으로 가져오기·내보내기 (Import and export as JSON)

위젯과 대시보드는 버전 있는 JSON 형식을 사용해요. 위젯은 {"$langfuseWidget": true, "version": 1, ...}으로, 대시보드는 일치하는 {"$langfuseDashboard": true, "version": 1, ...} 봉투로 내보내지며 각 참조된 위젯의 구성이 인라인되어 데이터베이스 ID를 담지 않아요. 이렇게 위젯과 대시보드를 프로젝트·인스턴스 간에 휴대할 수 있어요.

⋯ 메뉴의 Download as JSON으로 위젯을 내보내요.

Langfuse 위젯·대시보드 JSON 파일을 대시보드로 드래그해 가져와요. Langfuse가 파일을 검증하고 프로젝트에 위젯을 재생성해요. 대시보드 파일은 위젯 레이아웃도 복원해요. Langfuse 위젯·대시보드 내보내기가 아닌 파일은 거부돼요.

환경 필터 우선순위 (Environment filter precedence)

위젯은 자체 환경 필터를 담을 수 있어요. 담고 있으면 그 필터는 해당 위젯에 대해, 그리고 환경에 대해서만 대시보드의 환경 선택기를 재정의해요. 자체 환경 필터가 없는 위젯은 나머지 대시보드 필터 바와 함께 평소처럼 대시보드의 환경 선택기를 따릅니다. 이렇게 특정 환경에 범위가 지정된 위젯은 대시보드 선택기가 다른 환경으로 설정돼 있어도 데이터를 계속 보여줘요.

고급 기능 (Advanced Features)

고급 필터링 및 그룹핑 (Advanced Filtering and Grouping)

Langfuse의 강력한 필터링 기능으로 정밀한 데이터 뷰를 만드세요:

메타데이터 필터: trace와 observation에 첨부된 커스텀 메타데이터로 필터링.
시간 기반 필터: 특정 기간 분석 또는 시간 범위 비교.
사용자 속성: 사용자 특성과 행동 패턴으로 세분화.
모델 파라미터: 특정 모델 구성·버전으로 필터링.
태그와 라벨: 범주형 필터링에 trace 태그 사용.
점수 임계값: 품질 점수 범위나 피드백 평가로 필터링.

차트 유형과 시각화 (Chart Types and Visualization)

데이터에 맞는 올바른 시각화를 선택하세요:

선 차트: 시간 경과 추세 추적에 완벽 (latency, cost, usage).
막대 차트: 카테고리 간 값 비교 (모델, 사용자, 기능).
시계열: 시간 세분성으로 실시간 메트릭 모니터링.
파이 차트: 범주형 데이터의 비율 표시 (예: 피드백 평가).

동적 레이아웃과 반응형 (Dynamic Layout and Responsiveness)

드래그 앤 드롭 인터페이스: 논리적 그룹을 만들기 위해 위젯을 쉽게 재배치.
반응형 디자인: 대시보드가 다양한 화면 크기와 기기에 적응.
위젯 크기 조정: 더 큰 시각화로 중요한 메트릭 강조.
그리드 시스템: 깔끔하고 정리된 레이아웃을 자동 유지.

데이터 내보내기와 통합 (Data Export and Integration)

추가 분석이나 외부 도구와의 통합을 위해 대시보드 데이터를 내보내세요. Export Data 가이드에서 다음을 포함한 종합적인 내보내기 옵션을 확인하세요:

대시보드 데이터의 CSV 내보내기
외부 분석 도구와의 통합
Metrics API를 통한 프로그래밍 방식 접근

API, CLI, MCP로 대시보드 관리 (Manage Dashboards via API, CLI, and MCP)

UI의 대시보드 편집기 외에도 대시보드, 타일 배치, 재사용 가능한 위젯을 프로그래밍 방식으로 만들고 관리할 수 있어요:

Public API: /api/public/unstable 아래 엔드포인트가 대시보드, 배치, 위젯을 다뤄요. dashboard와 dashboard widgets API 레퍼런스를 참고하세요.
Langfuse CLI: CLI가 이 엔드포인트를 자동으로 인식하므로 대시보드 정의를 버전 관리에 두고 프로젝트·환경 간 적용할 수 있어요.
MCP 서버: Langfuse MCP 서버가 같은 작업을 도구로 노출해, AI 에이전트가 변경에 대한 human-in-the-loop 승인과 함께 대시보드를 만들고 편집할 수 있게 해줘요. 같은 도구가 UI의 Langfuse Assistant를 구동해요.

이 엔드포인트와 MCP 도구는 unstable이며 대시보드·위젯 계약이 확정되는 동안 바뀔 수 있어요.

사용 사례와 예시 (Use Cases and Examples)

프로덕션 모니터링 대시보드 (Production Monitoring Dashboard)

LLM 애플리케이션의 상태와 성능을 실시간으로 모니터링하세요:

에러율 추적: 실패한 요청과 에러 패턴 모니터링.
지연시간 분석: 서로 다른 엔드포인트의 P95·P99 응답 시간 추적.
처리량 모니터링: 요청 볼륨과 용량 사용률 시각화.
모델 성능: 모델 버전 간 정확도와 품질 메트릭 비교.
도구 사용량·지연시간: 각 외부 도구(API 호출, 데이터베이스 쿼리 등)가 얼마나 자주 호출되는지와 그 지연시간 추적.

비용 최적화 대시보드 (Cost Optimization Dashboard)

LLM 사용 비용을 이해하고 최적화하세요:

토큰 사용량 추세: 시간 경과에 따른 입력/출력 토큰 소비 추적.
사용자당 비용: 고사용 사용자 식별 및 가격 전략 최적화.
모델 비용 비교: 서로 다른 LLM 프로바이더·모델 간 비용 비교.
기능 비용 분석: 어떤 애플리케이션 기능이 가장 높은 비용을 유발하는지 이해.

품질과 사용자 경험 대시보드 (Quality and User Experience Dashboard)

LLM 애플리케이션의 품질과 사용자 만족도를 모니터링하세요:

사용자 피드백 추세: thumbs up/down 평가와 상세 피드백 추적.
점수 분포: 시간 경과에 따른 품질 점수 분포 시각화.
사용자 행동 분석: 사용자가 서로 다른 기능과 상호작용하는 방식 이해.
A/B 테스트 결과: 서로 다른 모델 버전·프롬프트 간 품질 메트릭 비교.

GitHub Discussions

더 알아보기 (Learn more)

출처 문서: 커스텀 대시보드 (Custom Dashboards)

커스텀 대시보드