WebHCat Reference : Job

WebHCat Reference : Job

WebHCat REST API로 MapReduce 스트리밍 작업을 제출하고, 상태를 확인하고, 삭제(취소)하는 방법을 설명하는 문서예요. POST 로 작업을 등록하고 GET 으로 상태를, DELETE 로 취소합니다.

출처: 문서

본문

작업 제출 (Submit a Job)

MapReduce 스트리밍 작업을 제출하려면 다음 요청을 사용합니다.

요청 형식:

POST /mapreduce/streaming/:job

URL 파라미터:

파라미터 설명
:job 작업을 식별하기 위한 이름 (보통 jobname)

요청 파라미터 (일부):

파라미터 필수? 설명
implementor Yes 실행 구현체 (예: hadoop)
execute No 실행할 명령
statusdir Yes 작업 상태를 기록할 디렉터리
files No 작업에 포함할 파일 목록
archives No 작업에 포함할 아카이브 목록
libjars No 작업에 포함할 라이브러리 jar 목록
define No 매퍼/리듀서에 전달할 변수 정의
mapper No 매퍼 역할
reducer No 리듀서 역할
input No 입력 경로
output No 출력 경로
user.name No 요청 사용자 이름

multipart/form-data 또는 평문(plain) 요청 본문으로 파라미터를 전달하며, 응답으로 작업 ID(jobid)가 포함된 JSON을 돌려줍니다.

작업 상태 확인 (Get Job Status)

요청 형식:

GET /:job

제출된 작업의 현재 상태를 조회합니다. 응답 JSON의 status 필드를 통해 작업 진행 상황을 알 수 있으며, percentComplete 같은 정보도 포함될 수 있습니다.

작업 삭제 / 취소 (Delete a Job)

요청 형식:

DELETE /:job

실행 중이거나 대기 중인 작업을 취소(삭제)합니다.

더 알아보기 (Learn more)