트레이싱 — 앱이 실제로 하는 일 보기

LLM 앱을 디버깅할 때 관측이 없으면 추측할 수밖에 없어요. 최종 출력만 보고 "왜 환각했지?", "어느 검색 단계가 엉뚱한 맥락을 가져왔지?", "지연이 어디서 튀었지?"를 알아내기 어렵죠. Opik의 트레이싱이 그 빈 곳을 채워줍니다.

출처: https://www.comet.com/docs/opik/tracing/

관측으로 무엇이 가능한가

요청의 전체 실행 경로 보기 — 사용자 입력부터 도구 호출·LLM 완성까지.
상태·지연·비용·커스텀 태그로 트레이스를 필터·검색해 프로덕션 문제를 빠르게 루트커즈.
모델·제공사별 토큰 사용량과 지출을 시간에 따라 추적.
멀티턴 대화를 스레드로 묶어 해석.

트레이스·스팬 개념

트레이스(trace)는 요청 전체의 실행 트리를, 스팬(span)은 그 안의 각 단계(LLM 호출, 도구 호출 등)를 뜻해요. 각 스팬은 입력·출력·타이밍·메타데이터를 담습니다.

연결과 계측

프로젝트와 Opik을 연결하고 코드를 계측하는 두 가지 방법이 있어요.

opik connect --project <YOUR_PROJECT_NAME>

코딩 에이전트 프로젝트라면 스킬로 한 번에 계측할 수도 있고, SDK로 직접 데코레이터를 붙일 수도 있어요.

import opik

@opik.track
def my_agent(user_message):
    context = retrieve_context(user_message)
    response = call_llm(user_message, context)
    return response

더 알아보기

https://www.comet.com/docs/opik/tracing/concepts — 트레이스·스팬·스레드 개념
https://www.comet.com/docs/opik/tracing/debug-agents — Ollie로 AI 지원 루트커즈