CometML 실험 분석하기

훈련 실행을 추적하는 것도 중요하지만, 로깅된 결과를 제대로 들여다보고 서로 비교할 수 있어야 실험을 반복 진화시킬 수 있어요. CometML은 특정 실행 하나를 깊게 분석하는 화면과, 여러 실행을 나란히 비교하는 화면, 그리고 최대 4개 실험 간 차이를 파고드는 diff 기능을 함께 제공해요. 이 페이지에서는 이 세 가지 분석 흐름을 정리해 볼게요.

출처: CometML Docs - Analyze Experiments

Single Experiment Page

Single Experiment Page는 한 훈련 실행에 로깅된 모든 데이터를 보여 주는 화면이에요. 메트릭·파라미터뿐 아니라 이미지나 가중치 임베딩 같은 항목도 포함하고요, 이 페이지에 대한 전체 레퍼런스 문서도 별도로 제공돼요.

이 페이지로 이동하는 방법은 두 가지예요:

Python SDK가 실험 시작과 끝에 제공하는 링크를 사용하기
www.comet.com에서 해당 실험이 속한 프로젝트로 이동한 뒤, Experiments 탭에서 실험 이름을 클릭하기

분석을 쉽게 하기 위해 로깅된 데이터 유형별로 탭이 마련돼 있는데, 자주 쓰는 탭은 이렇습니다:

Panels 탭: 로깅된 커브와 메트릭을 step·epoch·경과 시간 기준으로 시각화
Metrics 탭: 로깅된 모든 메트릭 요약
Hyperparameters 탭: 로깅된 모든 파라미터 요약
Output 탭: 훈련 실행의 콘솔 로그
Graphics 탭: 로깅된 이미지나 비디오
Confusion Matrix 탭: 로깅된 혼동 행렬

Project Panels Page

Project Panels Page는 최대 100개의 훈련 실행을 서로 비교할 수 있는 화면이에요. 빌트인 시각화(라인 차트, 바 차트, 평행좌표 차트 등)나 Python Panel로 직접 작성한 시각화를 쓸 수 있어요.

이 페이지로 이동하는 방법은 두 가지예요:

Single Experiment Page의 Back to Project 버튼 사용
www.comet.com에서 보고 싶은 프로젝트로 이동

기본적으로 프로젝트에서 가장 흔한 메트릭별 패널이 자동으로 표시되어 여러 실행의 성능을 대조할 수 있어요. 더 많은 메트릭을 보거나 직접 시각화를 추가하려면 Add panel 버튼을 쓰면 되고, 필터·정렬·그룹화 기능으로 더 세밀한 분석도 가능해요.

실험 diff 하기

Project Panels Page는 여러 실행의 메트릭을 비교하기 좋지만, 둘 이상 실행 사이의 차이를 직관적으로 이해하기엔 어려울 때가 있어요. 그럴 땐 CometML의 diff 기능을 쓰면 돼요.

최대 4개 실험을 비교하려면 Project Panels Page나 Project Experiments Page에서 비교할 실험들을 선택하고, 페이지 하단의 파란 액션 바에 나타나는 Diff 옵션을 누르면 돼요. diff 모드에 들어가면 Single Experiment Page와 비슷한 화면이 나오는데, 이번엔 각 탭에서 실험들을 나란히 비교할 수 있어요. diff 모드에서 자주 쓰는 탭은 이렇습니다:

Hyperparameters 탭: 실험들 사이에서 변경된 파라미터 확인
Code 탭: 각 훈련 실행의 코드 비교
Installed packages: 파이썬 의존성 변경 사항 확인

Code 탭에서 더 많은 코드 파일을 보고 싶다면 log_code() 메서드로 그 파일들을 로깅해 두면 돼요.