Hadoop: CLI MiniCluster
Hadoop: CLI MiniCluster
CLI MiniCluster를 이용하면 환경 변수를 설정하거나 설정 파일을 관리하지 않고도 단일 명령으로 단일 노드 Hadoop 클러스터를 시작하고 중지할 수 있습니다. CLI MiniCluster는 YARN/MapReduce 클러스터와 HDFS 클러스터를 모두 시작합니다.
목적 (Purpose)
CLI MiniCluster를 사용하면 실제 Hadoop 클러스터로 빠르게 실험하거나, Hadoop의 주요 기능에 의존하는 비-Java 프로그램을 테스트하려는 상황에 유용합니다.
Hadoop Tarball
릴리스에서 Hadoop tarball을 얻을 수 있으며, 소스에서 직접 tarball을 만들 수도 있습니다.
$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip
tarball은 hadoop-dist/target/ 디렉터리에서 확인할 수 있습니다.
MiniCluster 실행하기
추출한 tarball의 루트 디렉터리에서 다음 명령으로 CLI MiniCluster를 시작합니다.
$ bin/mapred minicluster -format
-format 옵션은 minicluster를 처음 실행할 때 필요하며, 이후부터는 필요하지 않습니다.
어떤 서비스를 시작할지 제어하거나 다른 설정 속성을 전달하는 데 쓸 수 있는 명령줄 인자는 다음과 같습니다.
$ -D <property=value> Options to pass into configuration object
$ -datanodes <arg> How many datanodes to start (default 1)
$ -format Format the DFS (default false)
$ -help Prints option help.
$ -jhsport <arg> JobHistoryServer port (default 0--we choose)
$ -namenode <arg> URL of the namenode (default is either the DFS
$ cluster or a temporary dir)
$ -nnport <arg> NameNode port (default 0--we choose)
$ -nnhttpport <arg> NameNode HTTP port (default 0--we choose)
$ -nodemanagers <arg> How many nodemanagers to start (default 1)
$ -nodfs Don't start a mini DFS cluster
$ -nomr Don't start a mini MR cluster
$ -rmport <arg> ResourceManager port (default 0--we choose)
$ -writeConfig <path> Save configuration to this XML file.
$ -writeDetails <path> Write basic information to this JSON file.
가능한 전체 인자 목록을 보려면 위 명령에 -help 인자를 전달하면 됩니다.