Phoenix 소개 — LLM 앱을 관찰하고 고치는 관찰 플랫폼
Phoenix 소개
생성형 AI 앱은 실행마다 모델 호출·검색·도구 사용 같은 수많은 단계를 거쳐요. 그런데 어느 단계가 문제였는지 눈으로 보기 어렵죠. Phoenix는 그 실행 과정을 트레이스로 남기고, 평가로 품질을 매기고, 프롬프트를 반복하며, 같은 입력으로 변경을 비교하는 실험까지 — 한 번의 실행을 살펴보는 데서 시작해 증거에 기반해 앱을 개선하는 데까지 이끄는 플랫폼이에요. Arize AI와 오픈소스 커뮤니티가 만들었고, OpenTelemetry 위에 구축되어 OpenInference 인스트루멘테이션으로 동작해요.
기능
- 트레이싱: 앱 실행 한 번을 단계별로 보여줘요. 모델 호출, 검색, 도구 사용, 커스텀 로직을 담아 동작을 디버깅하고 시간이 어디에 쓰이는지 알 수 있어요. Phoenix는 OpenTelemetry(OTLP)로 트레이스를 받고, LlamaIndex·LangChain·DSPy·Vercel AI SDK 같은 프레임워크와 OpenAI·Bedrock·Anthropic 같은 프로바이더를 자동 인스트루먼트해요.
- 평가: 출력 품질을 측정해요. LLM 기반 평가자, 코드 기반 체크, 사람 라벨로 트레이스·스팬을 점수화해 일관되게 성능을 추적하고 실패를 찾아요.
- 프롬프트: 실제 예제로 프롬프트를 반복해요. 프롬프트를 버전 관리하고, 데이터셋에서 변형을 테스트하며, 배포 전에 변경이 결과를 어떻게 바꾸는지 재생해 볼 수 있어요.
- 데이터셋 & 실험: 같은 입력을 쓰는 변경을 체계적으로 테스트해요. 트레이스를 데이터셋으로 묶고, 다른 버전의 앱을 재실행해 평가 결과를 비교해 변경이 실제로 성능을 올렸는지 확인해요.