LangSmith 관찰
LangSmith 관찰 (Observability)
LLM 애플리케이션을 실제로 운영하다 보면 "이 에이전트가 지금 뭘 하고 있는 거지?" 싶은 순간이 꼭 생겨요. LangSmith Observability는 개별 트레이스 하나부터 프로덕션 전체 성능 지표까지 애플리케이션 전체를 한눈에 보여주는 기능이에요. 트레이스는 에이전트가 프로덕션에서 수행한 일의 기록이라, 실패를 디버깅하고 품질을 모니터링하며 나중에 평가할 데이터셋을 만드는 밑바탕이 되어요.
시작하기
먼저 계정과 API 키를 준비해야 해요. smith.langchain.com에서 가입하고(신용카드 불필요), Google·GitHub·이메일 중 원하는 방식으로 로그인해요. 그다음 Settings 페이지의 API Keys에서 Create API Key를 눌러 키를 만들고 안전하게 보관해 두면 돼요.
계정과 API 키가 준비되면 트레이싱을 설정해요. 환경 변수나 프레임워크 통합, SDK를 쓰면 몇 분 안에 애플리케이션에 트레이싱을 붙일 수 있어요. RAG 애플리케이션을 처음부터 끝까지 계측하는 단계별 튜토리얼도 마련돼 있으니, 구조가 궁금하다면 그쪽을 따라가 보면 좋아요.
LangSmith는 많은 프레임워크와 프로바이더를 지원해요. OpenAI, Anthropic, CrewAI, Vercel AI SDK, Pydantic AI 등 다양한 스택을 지원 통합 목록에서 확인할 수 있어요.
조사하고 모니터링하기
- 트레이스 보기 — 필터·내보내기·공유·비교를 UI 또는 API로 처리해요.
- 성능 모니터링 — 대시보드를 만들고 알림을 설정해 품질을 추적하고 문제를 일찍 잡아요.
- 자동화 구성 — 규칙·웹훅·온라인 평가로 워크플로를 자동화해요.
- 피드백 수집 — 큐나 인라인 주석으로 출력에 주석을 달고 사용자 피드백을 모아요.
- Engine으로 실패 해결 — LangSmith Engine이 트레이스에서 반복되는 문제를 자동으로 감지하고 근본 원인을 진단한 뒤 해결까지 도와줘요.
용어와 핵심 개념은 관찰 개념(Observability concepts)을, 트레이스 가격·보존 기간·제한은 사용량과 청구(Usage and billing)를 참고해요.