빠른 시작 (프로파일 만들기)
빠른 시작 (프로파일 만들기)
whylogs는 파이썬 패키지 매니저로 아주 쉽게 설치할 수 있어요. 터미널에서 다음 명령 하나면 끝나요.
pip install whylogs
데이터 로깅 예제
설치가 끝나면 바로 데이터를 로깅할 수 있어요. 판다스 데이터프레임을 why.log()에 넘기면 whylogs 프로파일이 생성돼요.
import whylogs as why
import pandas as pd
#dataframe
df = pd.read_csv("path/to/file.csv")
results = why.log(df)
이렇게 하면 results에 해당 데이터셋의 whylogs 프로파일이 담겨요. 프로파일이 무엇이고 무엇을 할 수 있는지는 이어지는 문서에서 더 자세히 다뤄요.
자바에서도 가능
whylogs는 파이썬뿐 아니라 자바(Java) 환경에서도 프로파일을 만들 수 있어요. 분산 환경이나 자바 기반 파이프라인에서도 동일한 프로파일 개념을 사용해요.
프로파일이 담는 것
whylogs 프로파일은 데이터의 핵심 통계적 속성을 포착해요.
- 분포: 단순한 평균·중앙값·표준편차를 넘어선 풍부한 분포 정보
- 누락값 개수
- 다양한 커스터마이즈 가능한 커스텀 메트릭
이런 요약 통계를 담기 때문에 데이터를 정확하게 대표하면서도 매우 컴팩트해요. 샘플링 대신 전체 데이터를 고충실도로 담는 방식이죠.