HiveCounters
HiveCounters
HiveCounters는 쿼리 실행 중 Hive가 만드는 태스크 카운터(task counter)에 대한 설명이에요. 잡이 얼마나 많은 레코드를 읽고 썼는지 등의 실행 지표를 확인할 수 있습니다.
출처: 문서
본문
Tez 실행의 경우 %context가 매퍼/리듀서 이름으로 설정돼요. 다른 실행 엔진에서는 카운터 이름에 포함되지 않습니다.
| Counter Name | Description |
|---|---|
| RECORDS_IN[_%context] | 읽은 입력 레코드 수 (Input records read) |
| RECORDS_OUT[_%context] | 기록한 출력 레코드 수 (Output records written) |
| RECORDS_OUT_INTERMEDIATE[_%context] | ReduceSink로 중간 레코드로 기록된 레코드 수 (다른 태스크의 입력 레코드가 됨) |
| CREATED_FILES | 생성된 파일 수 (Number of files created) |
| DESERIALIZE_ERRORS | 데이터를 읽는 동안 발생한 역직렬화 오류 수 (Deserialization errors encountered while reading data) |
더 알아보기 (Learn more)
이 카운터들은 쿼리 최적화나 문제 분석에 유용해요. 특히 RECORDS_IN/RECORDS_OUT을 비교하면 데이터가 많이 줄어드는지, 그리고 DESERIALIZE_ERRORS로 데이터 파싱 문제를 감지할 수 있습니다.