CometML 로깅 개요
CometML 로깅 개요
CometML 로깅은 실험에 대해 자동으로 잡히는 폭넓은 로그 묶음과, 빌트인 메서드로 원하는 만큼 추가하는 커스텀 로깅을 함께 제공해요. 실험을 시작하기만 하면 많은 속성이 자동으로 기록되어 별도 코드 없이도 훈련 실행을 파악할 수 있고, 프레임워크별 통합도 있어서 더 세밀한 지표까지 챙겨져요. 이 페이지에서는 자동 로깅과 커스텀 로깅이 각각 무엇을 담당하는지 정리해 볼게요.
커스텀 로깅
Experiment 객체의 로깅 메서드를 쓰면 사실상 관심 있는 어떤 커스텀 실험 속성이라도 추적할 수 있어요. 가장 많이 쓰는 로그 유형에 대한 상세 문서가 이 섹션에 정리되어 있고, 그 밖에 지원되는 로그에 대해서는 Experiment 레퍼런스를 참고하면 돼요.
자동 로깅
Experiment를 초기화하면 CometML이 다음 속성의 로깅을 자동으로 켜요:
- 스크립트 코드와 파일 이름, 또는 Jupyter 노트북 히스토리
- git 메타데이터와 패치
- 모델 그래프 표현
- 모델 가중치와 편향
- 모델 하이퍼파라미터
- 훈련 메트릭
- 스크립트에 전달된 커맨드라인 인자
- 콘솔과 Jupyter 노트북의 표준 출력·오류
- GPU, CPU, 호스트 이름 등을 포함한 환경 정보
프레임워크별 확장 로깅
통합이 있는 프레임워크에는 추가적인 자동 로깅이 제공돼요:
| 프레임워크 | 로깅되는 항목 |
|---|---|
| fast.ai | 모든 PyTorch 항목에 더해 에폭과 메트릭 |
| Keras | 그래프 설명, 스텝, 메트릭, 하이퍼파라미터, 가중치·편향(히스토그램), 옵티마이저 설정, 학습 가능 파라미터 수 |
| MLflow | 하이퍼파라미터, 에셋, 모델, 그리고 하위 프레임워크 항목(예: TensorFlow 메트릭, TensorBoard 요약) |
| Prophet | 하이퍼파라미터, 모델, figure |
| PyTorch Lightning | 손실과 정확도 |
| PyTorch | 그래프 설명, 스텝, 손실 |
| Ray Train | 분산 시스템 메트릭 |
| Scikit-learn | 하이퍼파라미터 |
| TensorBoard | 요약 스칼라(메트릭으로)와 요약 히스토그램 |
| TensorFlow model analysis | 시계열, 플롯, 슬라이싱 메트릭 |
| XGBoost | 메트릭, 하이퍼파라미터 |