whylogs (데이터 로깅)
whylogs (데이터 로깅)
whylogs는 어떤 종류의 데이터든 로깅(logging)할 수 있는 오픈소스 라이브러리예요. 데이터셋의 요약 정보를 담는 **whylogs 프로파일(profile)**을 생성해서, 데이터 품질 검증, 드리프트 감지, 모델 성능 추적, 감사·거버넌스까지 폭넓게 활용할 수 있어요.
WhyLabs에서 만들어 Apache 2.0 라이선스로 배포했고, 파이썬뿐 아니라 자바 환경에서도 프로파일을 만들 수 있어요. 효율적(efficient), 커스터마이즈 가능(customizable), 병합 가능(mergeable)이라는 세 가지 특성이 프로파일의 핵심 강점이에요.
핵심 개념
- whylogs profile — 데이터의 핵심 통계를 담은 요약. 분포(단순 평균·중앙값·표준편차를 넘어서는), 누락값 개수, 다양한 커스텀 메트릭을 포함.
- Mergeable(병합 가능) — 프로파일끼리 병합해 전체를 대표하는 새 프로파일 생성. 분산·스트리밍 시스템에서 시간 단위 집계를 볼 수 있게 해줘요.
- 프로파일 용도 — 학습-서빙 편향, 개념 드리프트, 모델 성능 저하, 입력 데이터 품질, 대규모 데이터셋 탐색적 분석 등.
이 카테고리의 문서
- 빠른 시작: 설치와
why.log()한 줄 프로파일링 - 프로파일·제약조건: 프로파일 속성과 데이터 제약(Constraint) 검증
- 통합(Integration): Spark·Pandas·Kafka·WhyLabs 등 연동