트레이스·스레드 신호

트레이스·스레드 신호 (Trace & Thread Signals)

트레이스와 스레드 전반의 패턴·급증·레이블 분류를 표면화하는 기능을 다루는 페이지예요. 신호(Signals)는 분류기(classifiers)의 런타임 측면으로, 분류기가 켜지면 일치하는 모든 트레이스·스레드에 레이블(또는 없음)이 붙고 그 레이블들이 카드·분류·발생 행·추세 발견으로 여기에 표시된답니다.

출처: 문서

본문

개요 (Overview)

**신호(Signals)**는 분류기(classifiers)의 런타임 측면이에요. 분류기를 한 번 활성화하면 일치하는 모든 트레이스·스레드에 레이블(또는 없음)이 붙고, 그 레이블들이 여기에 카드·분류·발생 행·추세 발견으로 표면화돼요 — "지금 프로덕션에서 무슨 일이 일어나고 있지?"라는 질문에 한눈에 답해주는 화면이죠.

Signals overview

Signals 페이지에는 두 가지 주요 영역이 있어요:

• What's happening — 분류기 레이블 전반에서 자동으로 감지된 급증과 추세예요 (예: "RateLimit up 3.2x compared to the previous period").
• Classifications — 분류기당 한 장의 카드로, 선택한 시간 범위의 레이블 분포와 개수를 보여주고 개별 레이블·발생으로 드릴다운할 수 있어요.

상단의 날짜 선택기와 환경 드롭다운으로 페이지의 모든 것을 범위 지정해요.

분류기를 아직 구성하지 않았나요? Project Settings → Classifiers에서 만들면 돼요. 트레이스 분류기는 새 트레이스가 도착하는 대로 즉시 켜지고, 스레드 분류기는 구성된 유휴 창(idle window) 후에 채워져요.

레이블로 드릴인 (Drill Into a Label)

아무 분류기 카드나 클릭하면 분류기별 상세 뷰로 들어가요: 레이블별 분류, 시간 경과 발생 스파크라인, 그리고 각 레이블에 기여한 개별 발생 행이 있죠.

Per-classifier label detail with occurrences

각 발생 행은 기본 트레이스·스레드로 바로 연결되어 LLM이 왜 그 레이블을 골랐는지 조사할 수 있어요.

Observatory를 레이블로 필터링 (Filter the Observatory by Label)

분류기가 실행되는 어디에서든 Observatory를 분류기 레이블로 필터링해서 검색 범위를 일치한 데이터로 좁힐 수 있어요. 필터 드롭다운에서 분류기와 레이블을 선택하고, 다른 필터(환경, 태그, 메타데이터, 지연, 점수 등)와 결합해 더 좁혀요.

Observatory에서 분류기 레이블로 트레이스 필터링

실제 예: 실패 모드 + 사용자 감성 (A Worked Example: Failure Mode + User Sentiment)

예를 들어 "업스트림 모델 실패가 같은 대화에서 사용자가 불만족한 것과 얼마나 자주 상관관계가 있을까?" 를 알고 싶다고 해볼게요 — 이 질문은 트레이스 레벨 차원(실패)과 스레드 레벨 차원(감성)을 모두 건드려요. 가장 깔끔한 답은 협력하는 분류기 두 개를 쓰는 거예요. 하나는 트레이스 범위, 하나는 스레드 범위로요.

1단계 — 실패 모드용 트레이스 분류기

이 설명으로 Failure Mode 라는 트레이스 분류기를 만들어요:

Inspect each trace for technical errors. Use the error field, status codes in metadata, and any error text in the output. Pick the label that best fits.

레이블 네 개를 추가해요:

실패하지 않은 트레이스는 그냥 레이블을 얻지 못해요 — 이것이 "no match" 결과이고 정상 경로 트래픽의 예상되는 기본값이에요.

2단계 — 감성용 스레드 분류기

이 설명으로 User Sentiment 라는 스레드 분류기를 만들어요:

Read the user-side turns of the conversation. Decide whether the user expresses positive, negative, or neutral sentiment about the assistant's responses across the thread.

Positive, Negative, Neutral 레이블 세 개를 추가해요 (각각 무엇이 그것을 유발하는지 한두 문장으로 설명해요). Time Limit을 약 600 초로 설정해서 분류기가 대화가 안정될 때까지 기다렸다 감성을 평가하게 해요.

3단계 — 레이블 사용하기

두 분류기가 모두 활성화되고 일부 데이터를 처리했다면, 플랫폼 전반에서 같은 차원으로 피벗할 수 있어요:

• Signals 페이지 — 두 분류기가 모두 카드로 나타나요. "What's happening" 섹션은 "RateLimit up 3.2x" 나 "Negative sentiment doubled vs. the previous period." 같은 급증을 표시해요.
• Observatory traces — Failure Mode = Timeout로 필터링해서 어떤 창에서 타임아웃된 모든 트레이스를 조사해요.
• Observatory threads — User Sentiment = Negative로 필터링해서 불만족한 대화를 처음부터 끝까지 조사해요.
• 결합 조사 — User Sentiment = Negative로 필터링된 스레드에서 시작해 그 스레드 중 하나로 들어가 그 트레이스 중 몇 개가 Failure Mode = Timeout으로 레이블됐는지 보세요. 이것이 바로 "우리 장애가 사용자 불만을 일으켰나?"라는 전형적인 워크플로예요.
• 대시보드 — Failure Mode 레이블별 트레이스 수를 그래프로, 또는 시간 경과에 따른 스레드 수를 User Sentiment별로 그래프로 그려요. 분류 위젯 설정은 Dashboards를 참고해요.

분류기가 할 수 있는 것 (What Classifiers Can Do)

알아두면 좋은 몇 가지 기능이 있어요:

• 분류기당 여러 레이블. 분류기는 레이블을 몇 개든 가질 수 있어요 — 각 트레이스·스레드에는 그 중 최대 하나가 할당돼요.
• "No match"도 괜찮아요. 분류기는 모든 항목에 레이블을 강제하지 않아요. 어느 레이블에도 맞지 않는 항목은 그냥 신호되지 않아요.
• 샘플 비율. 각 분류기는 Project Settings → Classifiers에서 설정한 트레이스·스레드 샘플 비율을 존중해서, 분류 오버헤드를 조정할 수 있어요.
• 시간 제한(스레드). 스레드 분류기는 평가 전에 구성 가능한 유휴 창을 기다리므로, 진행 중인 대화가 아니라 안정된 대화를 평가해요.

LLM은 당신이 유입시킨 것을 봐요. 오류 메시지, 상태 코드, 메타데이터, 태그 — 트레이스·스레드가 담고 있는 것은 무엇이든 분류기에 보여요. 오류 코드·메타데이터 필드·감성으로 감지하는 것은 모두, 설명이 LLM에게 본 것을 어떻게 해석할지 알려주기만 하면 동작해요.

비용 (Cost)

각 분류는 결제를 위한 사용량 이벤트를 기록해요. Signals 줄 아래의 **Project Settings → Data Usage**에서 실시간 사용량과 예상 비용을 보세요. 한도는 조직 플랜으로 제한돼요 — Enterprise는 상한이 없지만 라인 항목은 여전히 보여요.

Configure Classifiers

신호를 만드는 분류기와 레이블을 만들거나 편집해요.

Dashboards

레이블의 볼륨을 추세화하거나 분류기 레이블별로 메트릭을 분해해서 대시보드에 표시해요.

더 알아보기

• Trace Monitors — 트레이스 버전 전반의 이상과 회귀를 감지해요.
• Introduction to LLM Observability — LLM 관측성과 트레이싱의 기초를 확인해요.