Determined 실험 설정 — YAML로 학습 구성하기

Determined 실험 설정 — YAML로 학습 구성하기

Determined 실험은 YAML 설정 파일로 구성해요. searcher 관련 학습 길이·예산, 라벨, 워크스페이스, 데이터 로딩 방식을 여기서 지정해요. 학습 단위(records·batches·epochs) 개념을 이해하면 설정이 훨씬 쉬워져요.

출처: https://docs.determined.ai/latest/reference/experiment-config-reference.html

학습 단위 (Training Units)

몇몇 설정(searcher 학습 길이·예산, min_validation_period, min_checkpoint_period 등)은 다음 학습 단위로 표현할 수 있어요.

• records: 라벨이 붙은 예시 하나(샘플).
• batches: 레코드의 묶음. 레코드 수는 global_batch_size 하이퍼파라미터로 설정해요.
• epochs: 전체 학습 데이터의 한 번 순회. epoch 경계는 실제로 데이터 로더가 레코드를 소진할 때 결정돼요.

라벨 (labels)

라벨을 실험에 붙이면 같은 속성·그룹의 실험을 식별하고 묶을 수 있어요. 라벨 추가·제거는 CLI(det experiment label)나 WebUI에서 할 수 있어요.

데이터 로딩

data 필드는 실험이 학습 데이터를 어떻게 접근·로딩하는지 지정해요. 내용·형식은 사용자 정의라서, 실험의 model definition이 데이터를 로딩하는 데 필요한 설정을 자유롭게 담을 수 있어요.

workspace와 project

workspace 필드는 실험을 만들 기존 워크스페이스 이름이에요. workspace와 project는 둘 다 있어야 하거나 둘 다 없어야 해요. 둘 다 없으면 실험은 Uncategorized 워크스페이스의 Uncategorized 프로젝트에 배치돼요. 워크스페이스 관리는 CLI det workspace나 WebUI에서 해요.

참고

records·epochs로 학습 데이터 양을 지정할 때, 배치 크기가 구성된 입력 수로 균등하게 나누어떨어지지 않으면 남는 "부분 배치(partial batch)"는 버려져요(무시됨).

더 알아보기

실험 설정의 전체 필드 목록은 공식 Experiment Configuration Reference 문서에서 확인할 수 있어요.