트레이스·스레드 알림

트레이스·스레드 알림 (Trace & Thread Alerts)

트레이스와 스팬, 스레드의 메트릭이 정한 기준을 넘어설 때 팀에 알려주는 알림 규칙을 만드는 페이지예요. 임계값 기반 규칙을 주기적으로 실행해서 품질이나 성능이 어긋나는 순간을 놓치지 않도록 도와줘요. 규칙마다 상태 표시줄이 붙어 최근 30번의 평가에서 얼마나 자주 울렸는지 한눈에 보인답니다.

출처: 문서

본문

알림(Alerts)은 임계값 기반의 규칙을 정의해서, 그 규칙이 정한 주기마다 트레이스·스팬·스레드의 메트릭이 설정한 값을 넘어섰는지 확인하고 팀에 알려주는 기능이에요. 만들어진 규칙은 Observatory의 Alerts 페이지에 모두 나타나고, 각 규칙에는 지난 30회 실행에서 몇 번이나 트리거됐는지 보여주는 실시간 상태 표시줄(live status strip)이 붙어 있어요.

Observatory의 알림 화면

알림은 연결된 채널을 통해 알림을 보내요. 알림을 활성화하기 전에 Project Settings → **Integrations**에서 알림 통합(notification integration)을 하나 이상 설정해 두세요.

알림 만들기

1. Observatory → Alerts로 이동해요
2. New Alert를 클릭해요
3. Name(이름)과 선택 사항인 Description(설명)을 입력해요
4. Create를 클릭해요 — 알림이 비활성화 상태로 저장되고, 나머지 설정을 마치도록 알림 상세 페이지로 이동해요

알림 구성하기

알림 구성은 세 단계로 나뉘어요.

알림 이벤트 구성 (Configure Alert Event)

무엇을 측정할지 정해요:

• Data Model — Trace, Span, 또는 Thread
• Aggregation — 평가할 메트릭이에요. 데이터 모델에 따라 옵션이 달라져요 (예: 트레이스 수, 오류율, 평균 지연 시간, 토큰 비용)

고급 필터 커스터마이즈 (Customize Advanced Filters)

선택 사항으로, Observatory에서 제공하는 것과 같은 필터 컨트롤로 알림이 평가할 데이터를 좁힐 수 있어요 — 환경(environment), 태그(tags), 메타데이터(metadata) 등이 있죠. 비워 두면 선택한 모델의 모든 데이터를 모니터링해요.

알림 조건 설정 (Set Alert Conditions)

• Threshold — 방향(Above 또는 Below)과 숫자 값이에요. 예정된 실행 중에 집계된 메트릭이 이 경계를 넘어서면 알림이 울려요
• Frequency — 규칙이 얼마나 자주 평가하는지예요

알림 상태 (Alert Status)

각 알림 행에는 **상태 표시줄(status strip)**이 있어요 — 지난 30회의 평가 실행을 나타내는 일련의 막대이고, 각 실행이 트리거됐는지에 따라 색이 달라져요. 행 헤더에는 전체 트리거 비율과 표시줄 안 첫 번째·마지막 실행의 타임스탬프가 보여요. 표시줄을 클릭하면 실행별 세부 정보가 담긴 전체 알림 로그가 열려요.

테스트, 일시정지, 삭제 (Test, Pause, and Delete)

• Try alert — 예정된 다음 실행을 기다리지 않고 현재 데이터로 규칙을 즉시 평가해요. 활성화 전에 설정이 올바른지 확인할 때 유용해요.
• Pause / Resume — 알림을 활성/일시정지 상태로 전환해요. 일시정지된 알림은 알림을 보내지 않지만 설정은 유지해요.
• Delete — 알림 규칙과 그 이력을 영구히 삭제해요.

더 알아보기

• Monitors — 품질·신뢰성·지연·비용·분류기 결과의 이상과 회귀를 감지해요.
• Introduction to LLM Observability — LLM 관측성과 트레이싱의 기초 개념을 살펴봐요.