라이브러리 구조 (리포트·테스트 스위트)
라이브러리 구조 (리포트·테스트 스위트)
Evidently 파이썬 라이브러리를 실무에서 쓰려면 **리포트(Report)와 테스트 스위트(Test Suite)**라는 두 개념을 이해해야 해요. 이 둘이 데이터·AI 평가를 실행하는 두 가지 주요 방식이에요.
리포트(Report)
리포트는 데이터를 분석해서 메트릭을 계산하고 그 결과를 보여주는 도구예요. "이 데이터 분포가 어떤가?" 같은 탐색적 질문에 답할 때 적합해요. 여러 메트릭(pre-set)을 조합해 하나의 리포트로 만들고, HTML 위젯이나 대시보드로 결과를 살펴볼 수 있어요.
리포트에 해당하는 대표적인 메트릭 프리셋으로는 데이터 드리프트, 모델 성능(회귀·분류), 데이터 품질 등이 있어요.
테스트 스위트(Test Suite)
테스트 스위트는 조건이 통과하는지 검증하는 도구예요. "이 지표가 임계값을 넘었는가?" 같은 질문에 답합니다. 각 테스트는 통과(pass)·경고(warn)·실패(fail) 상태를 반환하고, 전체 스위트를 CI/CD에 연결하면 데이터나 모델이 기준을 어겼을 때 배포를 막거나 알림을 보낼 수 있어요.
리포트가 "무엇이 보이는지"에 초점을 두는 반면, 테스트 스위트는 "기준 대비 어떤 상태인지"에 초점을 둔다는 차이를 기억하면 돼요.
100+ 메트릭 카탈로그
Evidently는 데이터 품질, ML 성능, LLM 품질 등 다양한 영역의 100개가 넘는 메트릭을 제공해요. 공식 문서의 메트릭 카탈로그에서 이름과 설명을 찾아볼 수 있어요. 필요에 따라 커스텀 메트릭이나 테스트를 직접 정의해서 확장할 수도 있어요.