Weave 소개 — LLM 앱을 추적·평가하는 플랫폼

Weave 소개

LLM 앱을 만들다 보면 '어디서 잘못됐는지'를 알기 어려워져요. 대화 한 번에 들어간 프롬프트·중간 함수·출력이 뒤섞이면서 원인 추적이 힘들어지죠. Weave는 이런 문제를 추적(Trace) + 평가(Evaluate) 두 축으로 풀어요. 인기 SDK·하네스로 만든 에이전트를 자동 추적하고, 앱에서 호출하는 LLM 호출과 임의 함수를 직접 계측(instrument)해서 버전 관리와 피드백 수집까지 도와줘요.

Weave로 할 수 있는 일

공식 문서는 세 가지 핵심을 꼽아요.

  • 에이전트 추적: Weave의 OTel 호환 SDK로 인기 SDK·하네스 기반 에이전트의 세션, 턴, LLM 호출, 도구 호출을 Agents 뷰에서 추적
  • 수동 계측: 애플리케이션의 LLM 호출과 임의 함수를 직접 계측해 추적·버전 관리·피드백 수집
  • 평가: LLM 판정기와 커스텀 스코어러로 응답을 평가

시작하기

Weave는 Python·TypeScript 라이브러리를 제공해요. 설치는 이렇게 해요.

pip install weave

사용하려면 W&B 계정과 API 키(User Settings에서 발급)가 필요해요. API 키가 있어야 자기 계정으로 인증하고 데이터를 보낼 수 있어요.

더 알아보기