Evidently (ML·LLM 관측성)
Evidently (ML·LLM 관측성)
Evidently는 데이터·AI 시스템을 평가(evaluate)·테스트(test)·모니터링(monitor) 하기 위한 오픈소스 프레임워크예요. Apache 2.0 라이선스로 배포되고 누적 다운로드 4,000만 회가 넘을 만큼 널리 쓰여요.
독립형 파이썬 라이브러리로도, 자체 호스팅 플랫폼의 일부로도 쓸 수 있어요. 100개 이상의 메트릭, 선언형 테스트 API, 결과를 탐색하기 위한 가벼운 시각 인터페이스까지 갖추고 있죠. 예측형 ML 모델부터 복잡한 LLM 기반 시스템까지, 신뢰할 수 있는 고성능 AI 제품을 만드는 데 초점을 맞춘 도구예요.
핵심 개념
- Evidently Python library — 데이터·AI 평가를 실행. 100+ 메트릭, 선언형 테스트 API, 합성 데이터 생성, 프롬프트 최적화 워크플로 지원.
- Evidently platform — 프로덕션 AI 테스트·관측성 인프라. 추적(tracing), AI 애플리케이션 데이터·평가 결과 저장소, 테스트 데이터셋 관리, 결과 시각화 대시보드 포함.
이 카테고리의 문서
- LLM 평가: LLM 시스템 출력 품질을 평가하는 빠른 시작
- ML 모니터링: 테이블형 데이터 품질과 데이터 드리프트 테스트
- 라이브러리 구조: 리포트(Reports)와 테스트 스위트(Test Suites)의 차이
- 메트릭 카탈로그: 100개 이상의 평가 지표 탐색