트레이싱 활용하기 (How to: Tracing)
트레이싱 활용하기 (How to: Tracing)
여기서는 Phoenix에서 트레이싱을 실제로 설정하고 다루는 방법을 정리해요. 앱에서 Phoenix로 트레이스를 보내는 설정부터 시작해, 트레이스에 메타데이터·태그를 붙이고, 수동 계측으로 스팬을 만들고, 스팬 데이터를 조회·어노테이션·내보내는 작업까지 이어져요. 각 단계는 더 자세한 문서로 이어지는 카드 형태로 연결돼 있으니, 필요한 곳을 따라가며 확인하면 돼요.
트레이싱 설정(Setup Tracing)
- 설정: Python·TypeScript 앱에서 트레이싱 구성을 시작해요.
- 자동 계측(Auto Instrumentation): 인기 프레임워크·LLM 프로바이더에서 트레이스를 자동으로 포착해요.
- 프로젝트 설정(Setup Projects): 애플리케이션별로 트레이스를 프로젝트에 정리해요.
- 세션 설정(Setup Sessions): 대화 추적을 위해 관련 트레이스를 세션으로 묶어요.
트레이스 & 스팬 커스터마이즈
- 자동 계측기가 만든 스팬에 커스텀 속성을 설정해요.
- 메타데이터·태그·사용자 정보를 추가해 정리·필터링하기 좋게 만들어요.
수동 계측(Manual Instrumentation)
- Python에서 데코레이터와 헬퍼(tracing helpers)로 특정 메서드를 손쉽게 계측해요.
스팬 조회(Querying Spans)
- 스팬에서 데이터를 추출해 분석·평가·내보내기용 DataFrame을 구성해요.
- 스팬·세션을 필터 표현식(filter expressions)으로 거를 수 있어요.
- 프로젝트를 지정한 조회, 검색된 문서를 위한 문서 조회, 사전 정의 쿼리도 제공해요.
트레이스 어노테이션(Annotate Traces)
- UI에서 트레이스에 어노테이션을 수동으로 다는 방법이에요.
- Phoenix 클라이언트로 코드에서 프로그래밍 방식으로 어노테이션을 기록해요.
- LLM 평가 점수를 스팬·문서에 연결해요.
- 트레이스 데이터에 평가를 실행해요.
트레이스 가져오기·내보내기(Import & Export Traces)
- 분석·백업을 위해 트레이스 데이터를 내보내요.
- 기존 트레이스를 Phoenix로 가져와요.
더 알아보기
- 통합: LangChain·LlamaIndex·Anthropic 등 20+ 프레임워크 연결하기
- 피드백·어노테이션: 피드백과 라벨 추가하기
- 평가 실행: LLM-as-a-judge 평가자로 트레이스 점수화하기