WebHCat Reference - MapReduce Jar

WebHCat Reference - MapReduce Jar (POST mapreduce Jar)

WebHCat은 HCatalog가 제공하는 RESTful 웹 서비스예요. MapReduce Jar 엔드포인트는 업로드한 JAR 파일에 들어 있는 MapReduce 잡을 제출·실행하는 기능을 제공합니다.

출처: 문서

본문

WebHCat을 통해 MapReduce 잡을 실행합니다.

개요

지정한 JAR 파일과 main 클래스를 이용해 MapReduce 잡을 제출할 수 있습니다. 잡 실행에 필요한 인자(arguments), classpath, 파일(files), 속성(define) 등을 함께 전달합니다.

WebHCat의 각 엔드포인트는 공통으로 "표준 매개변수(standard parameters)"를 지원하며, 예를 들어 user.name 같은 사용자 식별 매개변수를 함께 보낼 수 있습니다.

주요 전달 인자 (예시)

JAR 경로: 실행할 JAR 파일
main 클래스: 실행할 진입점
인자(arguments): 잡에 전달할 인자 목록
files / classpath: 분산 캐시에 넣을 파일, 클래스패스
define: 잡 설정 속성

예시 개념

# WebHCat에 jar 실행을 요청하는 curl 요청 (개념 예시)
curl -s -d "classpath=..." -d "define=..." \
  'http://localhost:50111/templeton/v1/mapreduce/jar/<jar명>?user.name=---'

참고: 실제 요청 형식과 각 매개변수의 정확한 이름·필수 여부는 원문 문서의 Parameter/Example 섹션을 참고하세요.

더 알아보기 (Learn more)

WebHCat의 다른 잡 실행 엔드포인트(Pig, Hive 스크립트 실행 등)와 함께 공부하면 HTTP로 하둡 잡을 제어하는 방식 전반을 이해할 수 있어요.