커스텀 대시보드

커스텀 대시보드 (Custom Dashboards)

트레이스, 스레드, 지표 데이터, 어노테이션으로 대시보드를 만드는 방법을 설명하는 문서예요. 이 문서에서는 대시보드·위젯 생성, 위젯 형태 선택, 위젯 구성, 그리고 CSV/PNG/PDF 내보내기를 다뤄요.

출처: 문서

본문

개요 (Overview)

대시보드를 사용하면 프로젝트의 트레이스, 스레드, 지표 데이터, 어노테이션 위에 위젯(widget) — 그래프, 테이블, 빅 넘버 타일 — 을 조합할 수 있어요. 각 위젯은 실시간 데이터를 끌어오고, 분류기 라벨, 최종 사용자, 메타데이터 키 같은 차원으로 필터와 브레이크다운을 지원하며, 공유를 위해 CSV, PNG, PDF로 내보낼 수 있어요.

여러 위젯이 있는 프로젝트 대시보드

대시보드는 드래그 가능한 위젯 격자예요. 드래그 핸들을 잡고 아무 위젯이나 크기 조절·재배치할 수 있고, 레이아웃은 대시보드별로 저장돼요.

대시보드 만들기

대시보드 열기

프로젝트 사이드바에서 Dashboards를 열어요. 각 프로젝트는 몇 개든 대시보드를 가질 수 있어요.

대시보드 추가

New Dashboard를 클릭하고 Name(이름)과 선택적인 Description(설명)을 입력하고, 가시성(아래 참조)을 결정한 뒤 저장해요. 빈 대시보드에 도착해요.

가시성 선택

누가 이 대시보드를 볼 수 있는지 Private 토글을 켜서 제어해요:

끔(기본) — 대시보드가 프로젝트에 공개(public) 돼요. 모든 프로젝트 멤버가 Dashboards 목록에서 보고 열 수 있어요.
켬 — 대시보드가 비공개(private) 돼요. 오직 여러분만 보고 열 수 있어요.

나중에 대시보드의 Manage → Edit 대화상자에서 가시성을 바꿀 수 있어요.

위젯 추가

Add widget을 클릭해 위젯 선택기를 열어요. 데이터 형태(Time series 또는 Categorical — 아래 참조)를 고르고 에디터에서 위젯을 구성해요.

위젯 형태 선택

위젯을 추가할 때 가장 먼저 고르는 것은 데이터 형태(data shape) 예요. 형태는 데이터가 시간 버킷으로 나뉘는지, 아니면 단일 스냅샷으로 집계되는지를 결정해요.

형태	설명
Time series	시간 버킷에 걸쳐 지표가 어떻게 변하는지 추적 — 라인, 영역, 바, 스택 바, 또는 가로 테이블.
Categorical	시간 버킷 없이 시간 범위에 걸쳐 집계 — 빅 넘버, 바, 스택 바, 또는 테이블.

형태를 고르면 에디터에 일치하는 표시 유형이 보여요. 구성을 잃지 않고 언제든 전환할 수 있어요.

시계열 위젯

시계열 위젯은 "X가 시간에 따라 어떻게 변하나요?" 에 답해요. 데이터를 구간(bucket)으로 나누고(버킷 크기는 기간 범위에 따라 확장돼요) 버킷당 하나의 값을 그려요.

표시 유형	가장 적합한 상황
Line	하나 이상의 지표 추세선. 지연 시간, 오류율, 점수 평균에 좋아요.
Area	Line과 같지만 채워짐 — 한 시리즈가 지배적이고 강조하고 싶을 때 유용.
Bar	버킷별 이산 값. 하루 트레이스 수나 시간당 평가 실행 수에 좋아요.
Stacked bar	차원별로 나뉜 바 차트. 버킷별 합계도 보이도록 쌓아요.
Time-series table	그래프와 같은 데이터를 표 형태로 — 행은 시리즈, 열은 시간 버킷.

시계열 위젯용 에디터

범주형 위젯

범주형 위젯은 고정 구간에 대해 "분포가 어떠한가 / 헤드라인이 무엇인가?" 에 답해요 — 시간 버킷은 없어요.

표시 유형	가장 적합한 상황
Big number	기간에 대한 단일 헤드라인 값 — 총 트레이스, 평균 점수, 고유 최종 사용자.
Bar	차원별로 나뉜 스냅샷 바 차트(예: `Failure Mode` 라벨별 트레이스 수).
Stacked bar	하위 차원으로 쌓은 같은 스냅샷 — 한 바가 여러 카테고리를 나타낼 때 좋아요.
Table	여러 집계 열이 있는 정렬 가능한 범주형 테이블 — "숫자 보여줘"에 가장 유연한 위젯.

범주형 위젯용 에디터(Big Number 선택됨)

위젯 구성

위젯 에디터 안에서 무엇을 그릴지, 어떻게 자르지 설정해요.

데이터 모델 (Data Model)

데이터 모델은 위젯이 읽는 값의 소스예요. 다음 중 하나를 고르면 돼요:

데이터 모델	세는 것
Trace	프로젝트로 수집된 최상위 트레이스.
Span	트레이스 안의 개별 스팬. 선택적으로 Type으로 좁힐 수 있음 — `LLM`, `Tool`, `Retriever`, `Agent`, `Embedding` 등.
Thread	다중 턴 대화(스레드).
Metric Data	트레이스, 스팬, 스레드에 대해 생성된 온라인 평가 점수. 점수가 속하는 엔티티를 선택해요.
Annotation	트레이스, 스팬, 스레드, 테스트 케이스에 남은 인간 어노테이션. 엔티티(Belongs to)와 선택적으로 Source(예: 큐)를 선택해요.

Span, Metric Data, Annotation의 경우 에디터가 중첩 선택기를 드러내서, 잘못된 차원을 실수로 고르는 일 없이 더 깊이 범위를 좁힐 수 있어요.

집계 (Aggregation)

집계(Aggregation) 는 위젯이 그리는 값 — Count, Average latency, P95 latency, Unique end users, Average score 등. 집계 목록은 선택한 데이터 모델에 맞춰 조정되므로, 항상 의미 있는 옵션만 보여요.

흔한 출발점: "몇 개인가?"에는 Count, 지연 시간 스타일 지표에는 Average / P95 / P99, 채택·도달 범위에는 Unique end users, 온라인 평가의 지표 품질에는 Average score.

필터 (Filters)

필터는 Observatory와 같은 구문으로 데이터셋을 좁혀요. 환경, 태그, 메타데이터 필드, 분류기 라벨, 점수, 지연 시간, 또는 그 조합으로 일치시켜요 — 트레이스를 검색할 때 만드는 것과 정확히 같은 표현이에요.

Manual 모드(아래 참조)에서는 각 라인이 자체 필터를 가져서 서로 다른 조각을 나란히 비교할 수 있어요. Breakdown 모드에서는 위젯 전체를 범위로 하는 공유 필터 하나가 있고, 모드를 전환할 때 에디터가 그 효과에 대한 힌트를 표시해요.

아직 없는 메타데이터로 필터링하나요? 메타데이터 필드를 고르면 드롭다운이 지금까지 본 키를 나열해요. 하지만 아직 없는 키도 타이핑할 수 있고, 에디터가 Use: <your-key> 옵션을 제안해서 필터를 저장해요. 그 키가 있는 트레이스가 도착하자마자 위젯이 채워지기 시작하므로, 다가올 코드 변경에 앞서 대시보드를 미리 연결하기에 안전해요.

Manual vs Breakdown (시계열 위젯)

시계열 위젯은 에디터 상단에서 전환할 수 있는 두 가지 모드가 있어요:

Manual lines — 최대 5개 라인을 직접 정의하고, 각각 자체 데이터 모델·집계·필터를 가져요. 특정 항목을 나란히 비교하고 싶을 때 사용해요 — 예: LLM 스팬 평균 지연 시간 vs Retriever 스팬 평균 지연 시간, 또는 prod 트레이스 수 vs staging 트레이스 수.
Breakdown — 데이터 모델 + 집계 하나를 고르고, 차원(dimension) 하나를 골라요. 위젯이 그 차원의 값 하나당 시리즈를 자동 생성해요(Top K로 제한). 한 지표를 속성으로 슬라이스하고 싶을 때 사용해요 — 예: Failure Mode 라벨별 트레이스 수, 또는 지표 컬렉션별 평균 점수.

모드를 전환하면 구성이 리셋돼서 새 형태로 새로 시작할 수 있어요.

브레이크다운 차원 (Breakdown Dimensions)

Breakdown 모드(및 범주형 위젯)에서 차원(Dimension) 은 지표가 어떻게 나뉘는지 제어해요. 사용 가능한 차원은 데이터 모델에 맞춰 조정되며, 흔한 것들은:

End user — 트레이스나 스레드에 붙은 endUserId로 나눠요.
Tag — 트레이스 태그로 나눠요.
Span type — LLM, Tool, Retriever, Agent 등.
Metadata — 특정 메타데이터 키로 나눠요. 에디터가 키를 고르거나 타이핑하라고 안내해요(위 메타데이터 팁 참조).
Classifier — 프로젝트의 분류기 중 하나의 라벨로 나눠요. 이를 Signals와 짝지어 시간에 따른 트레이스 수 by Failure Mode 라벨 같은 것들을 그릴 수 있어요.

Top K

브레이크다운이 많은 시리즈를 만들 수 있을 때, Top K가 결과를 제한해요:

방향(Direction) — Top(값이 가장 높은) 또는 Bottom(가장 낮은).
한도(Limit) — 1과 설정된 상한(보통 20) 사이의 정수. 나머지 값은 그려지지 않아요. 방향을 바꾸거나 한도를 올리면 항상 기본 데이터에 대해 다시 평가돼요.

시간 범위 (Time Range)

기본적으로 위젯은 대시보드의 날짜 범위를 상속해요. 에디터에서 Custom time range를 토글하면 그 패널 하나만 고정할 수 있어요(예: 대시보드 날짜와 무관하게 항상 지난 7일) — 항상 고정 구간을 보여줘야 하는 "헤드라인 KPI" 위젯에 유용해요.

위젯 관리

각 위젯은 오른쪽 위에 케밥 메뉴(⋮)가 있고 다음 동작을 제공해요:

위젯 케밥 메뉴

동작	무엇을 하나요
Edit	위젯 에디터를 다시 열어요.
Download as CSV	기본 데이터를 CSV로 내보내요. (Big Number 위젯에는 없음.)
Download as PNG	렌더링된 위젯을 대시보드에 보이는 그대로 PNG 이미지로 캡처해요.
Download as PDF	같은 캡처를 PDF에 넣어요 — 그래프는 가로, 테이블/타일은 세로.
Delete	위젯을 대시보드에서 제거해요. (대시보드 자체는 영향 없음.)

PNG와 PDF 내보내기는 위젯의 현재 렌더링 상태 — 제목, 범례, 축, 데이터 — 를 사용하므로 내보낸 파일이 보이는 것과 일치해요. 파일명은 기본적으로 위젯 이름을 파일시스템에 맞게 정리한 값이에요.

대시보드 관리

대시보드 헤더의 Manage 버튼은 Edit(이름 변경, 설명 변경, 가시성 전환)과 Delete가 있는 드롭다운을 열어요. 대시보드를 삭제하면 대시보드와 모든 위젯이 제거되지만, 기본 트레이스·스레드·지표·어노테이션 데이터는 영향이 없어요.

레이아웃을 재배치하려면 위젯을 드래그 핸들로 끌어 이동하거나, 위젯 가장자리를 드래그해 크기를 조절해요. 손을 놓는 즉시 레이아웃이 저장돼요.

Signals

대시보드 위젯의 브레이크다운이나 필터로 분류기 라벨을 사용해요.

커스텀 리포트

같은 데이터에 대해 일일 스케줄로 AI가 쓴 내러티브 리포트를 생성해요.

커스텀 대시보드