Apache Hadoop 3.5.0 – Unix 셸 API

Apache Hadoop 3.5.0 – Unix 셸 API

이 문서는 Hadoop 셸 코드가 제공하는 **함수 라이브러리(Shell API)**를 문서화합니다. 관리자와 개발자가 설정과 고급 기능 관리를 위해 이 함수들을 사용할 수 있습니다. 각 함수는 Audience(대상), Stability(안정성), Replaceable(교체 가능 여부)로 분류됩니다.

출처: Apache Hadoop Unix Shell API

Public/Stable/Replaceable

이 함수들은 시프노드는 Public, Stable이며 교체 가능(Replaceable: True)합니다.

hadoop_add_array_param

  • 시그니처 (Synopsis)
hadoop_add_array_param envvar appendstring
  • 설명 (Description)

주어진 배열에 checkstring이 없으면 appendstring을 추가합니다.

  • 반환 (Returns)

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_classpath

  • 시그니처
hadoop_add_classpath object [before|after]
  • 설명

파일시스템 객체(디렉터리, 파일, 와일드카드 등)를 클래스패스에 추가합니다. 선택적으로 클래스패스의 어디로 갈지 힌트를 제공할 수 있습니다.

  • 반환

0 = 성공(추가됨 또는 중복) / 1 = 실패(존재하지 않거나 다른 이유)

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_client_opts

  • 시그니처
hadoop_add_client_opts
  • 설명

HADOOP_SUBCMD_SUPPORTDAEMONIZATION이 false이면 HADOOP_CLIENT_OPTS 변수를 HADOOP_OPTS에 추가합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_colonpath

  • 시그니처
hadoop_add_colonpath envvar object [before|after]
  • 설명

파일시스템 객체(디렉터리, 파일, 와일드카드 등)를 콜론 경로(colonpath)에 추가합니다. 선택적으로 콜론 경로의 어디로 갈지 힌트를 제공할 수 있습니다. 추가하기 전에 객체는 중복 검사와 존재 검사를 합니다. hadoop_add_javalibpath와 hadoop_add_ldlibpath를 포함한 많은 다른 함수가 이 함수를 기본 구현으로 사용합니다.

  • 반환

0 = 성공(추가됨 또는 중복) / 1 = 실패(존재하지 않거나 다른 이유)

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_javalibpath

  • 시그니처
hadoop_add_javalibpath object [before|after]
  • 설명

파일시스템 객체(디렉터리, 파일, 와일드카드 등)를 Java JNI 경로에 추가합니다. 선택적으로 Java JNI 경로의 어디로 갈지 힌트를 제공할 수 있습니다.

  • 반환

0 = 성공(추가됨 또는 중복) / 1 = 실패(존재하지 않거나 다른 이유)

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_ldlibpath

  • 시그니처
hadoop_add_ldlibpath object [before|after]
  • 설명

파일시스템 객체(디렉터리, 파일, 와일드카드 등)를 LD_LIBRARY_PATH에 추가합니다. 선택적으로 LD_LIBRARY_PATH의 어디로 갈지 힌트를 제공할 수 있습니다.

  • 반환

0 = 성공(추가됨 또는 중복) / 1 = 실패(존재하지 않거나 다른 이유)

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_param

  • 시그니처
hadoop_add_param envvar checkstring appendstring
  • 설명

주어진 envvar에 checkstring이 없으면 appendstring을 추가합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_add_profile

  • 시그니처
hadoop_add_profile shellprofile
  • 설명

주어진 shellprofile을 Hadoop 셸 하위 시스템에 등록합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_array_contains

  • 시그니처
hadoop_array_contains element array
  • 설명

배열에 주어진 값이 있는지 확인합니다.

  • 반환

0 = 있음 / 1 = 없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_build_custom_subcmd_var

  • 시그니처
hadoop_build_custom_subcmd_var command subcommand customid
  • 설명

사용자 지정 서브커맨드 변수를 만듭니다.

  • 반환

string(문자열)

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_deprecate_envvar

  • 시그니처
hadoop_deprecate_envvar oldvar newvar
  • 설명

oldvar가 존재하면 oldvar를 newvar로 바꿉니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_detect_priv_subcmd

  • 시그니처
hadoop_detect_priv_subcmd command subcommand
  • 설명

priv 사용자 변수가 존재하는지, 그리고 HADOOP_SECURE_CLASSNAME이 정의되었는지 여부로 이 서브커맨드가 priv 서브커맨드인지 자동 감지합니다.

  • 반환

1 = priv 아님 / 0 = priv

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_java_exec

  • 시그니처
hadoop_java_exec command class [options]
  • 설명

어떤 옵션을 전달하며 Java 클래스를 실행합니다. 또한 Java 속성 -Dproc_command를 설정합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_java_setup

  • 시그니처
hadoop_java_setup
  • 설명

${JAVA_HOME}을 구성/검증합니다.

  • 반환

실패 조건에서 exit할 수 있음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_mkdir

  • 시그니처
hadoop_mkdir dir
  • 설명

디렉터리 'dir'을 만듭니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_need_reexec

  • 시그니처
hadoop_need_reexec subcommand
  • 설명

${USER}가 주어진 서브커맨드를 실행할 수 있는지 확인합니다.

  • 반환

재실행 불필요 시 1 / 재실행 필요 시 0

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_os_tricks

  • 시그니처
hadoop_os_tricks
  • 설명

OS별 설정을 구성하는 루틴.

  • 반환

실패 조건에서 exit할 수 있음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_sort_array

  • 시그니처
hadoop_sort_array arrayvar
  • 설명

주어진 배열에 있는 배열(정규식을 포함해서는 안 됨)을 정렬합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_status_daemon

  • 시그니처
hadoop_status_daemon pidfile
  • 설명

pidfile이 참조하는 데몬의 상태를 결정합니다.

  • 반환

(대부분) LSB 4.1.0 호환 상태

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_stop_daemon

  • 시그니처
hadoop_stop_daemon command pidfile
  • 설명

pidfile에서 실행 중인 비특권 명령 데몬을 중지합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_stop_secure_daemon

  • 시그니처
hadoop_stop_secure_daemon command daemonpidfile wrapperpidfile
  • 설명

daemonpidfile에서 실행 중이고 wrapperpidfile의 래퍼로 실행된 특권 명령 데몬을 중지합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_subcommand_secure_opts

  • 시그니처
hadoop_subcommand_secure_opts program subcommand
  • 설명

사용자 지정 (program)_(command)_SECURE_EXTRA_OPTS를 HADOOP_OPTS에 추가합니다. 이는 pre-3.x의 폐기된 경우를 처리하지 않습니다.

  • 반환

실패 조건에서 exit함

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_translate_cygwin_path

  • 시그니처
hadoop_translate_cygwin_path varnameref [true]
  • 설명

변수 이름 varnameref의 내용을 동등한 Windows 경로로 변환합니다. 두 번째 파라미터가 true이면 varnameref는 경로 목록인 것처럼 취급됩니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_using_envvar

  • 시그니처
hadoop_using_envvar var
  • 설명

var가 사용 중임을 선언하고 그 값을 출력합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_validate_classname

  • 시그니처
hadoop_validate_classname classname
  • 설명

셸 명령에 유효한 클래스 이름이 전달되었는지 확인합니다.

  • 반환

0 = 성공 / 1 = 사용자 메시지와 함께 실패

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_verify_confdir

  • 시그니처
hadoop_verify_confdir
  • 설명

${HADOOP_CONF_DIR}을 검증합니다.

  • 반환

실패 조건에서 exit함

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_verify_user_perm

  • 시그니처
hadoop_verify_user_perm command subcommand
  • 설명

${USER}가 주어진 서브커맨드를 실행할 수 있는지 확인합니다.

  • 반환

성공 시 return 0 / 실패 시 exit 1

분류 수준
Audience Public
Stability Stable
Replaceable True

hadoop_verify_user_resolves

  • 시그니처
hadoop_verify_user_resolves userstring
  • 설명

변수의 사용자 이름이 user id로 변환되는지 확인합니다.

  • 반환

성공 시 0 / 실패 시 1

분류 수준
Audience Public
Stability Stable
Replaceable True

Public/Stable/Not Replaceable

이 함수들은 Public, Stable이며 **교체 불가능(Replaceable: False)**합니다.

hadoop_abs

  • 시그니처
hadoop_abs fsobj
  • 설명

파일 이름이나 dir이 주어지면 그 절대 버전을 반환합니다. 이식성이 없는 readlink의 대안으로 작동합니다.

  • 반환

0 성공 / 1 실패 / stdout에 abspath 출력

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_add_entry

  • 시그니처
hadoop_add_entry
  • 설명

변수 $1이 주어지면 $2를 그에 더합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_debug

  • 시그니처
hadoop_debug string
  • 설명

--debug가 켜져 있으면 메시지를 stderr로 출력합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_delete_entry

  • 시그니처
hadoop_delete_entry
  • 설명

변수 $1이 주어지면 $2를 그에서 삭제합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_error

  • 시그니처
hadoop_error string
  • 설명

메시지를 stderr로 출력합니다.

  • 반환

없음

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_exit_with_usage

  • 시그니처
hadoop_exit_with_usage exitcode
  • 설명

사용법 정보를 출력하고 전달된 exitcode로 종료합니다.

  • 반환

이 함수는 항상 종료합니다.

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_populate_workers_file

  • 시그니처
hadoop_populate_workers_file filename
  • 설명

워커 지원 정보를 filename의 내용으로 설정합니다.

  • 반환

파일이 존재하지 않으면 exit함

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_rotate_log

  • 시그니처
hadoop_rotate_log filename [number]
  • 설명

주어진 파일을 number 개의 파일이 존재할 때까지 회전시킵니다.

  • 반환

$?에 마지막 mv의 반환 값을 포함

분류 수준
Audience Public
Stability Stable
Replaceable False

hadoop_verify_entry

  • 시그니처
hadoop_verify_entry
  • 설명

변수 $1이 주어지면 $2가 그 안에 있는지 결정합니다.

  • 반환

0 = 있음 / 1 = 없음

분류 수준
Audience Public
Stability Stable
Replaceable False

Public/Evolving/Replaceable

hadoop_subcommand_opts

  • 시그니처
hadoop_subcommand_opts program subcommand
  • 설명

사용자 지정 (program)_(command)_OPTS를 HADOOP_OPTS에 추가합니다. pre-3.x의 폐기된 경우도 처리합니다.

  • 반환

실패 조건에서 exit함

분류 수준
Audience Public
Stability Evolving
Replaceable True

Private/Evolving/Replaceable

이 함수들은 Private, Evolving이며 교체 가능합니다. Hadoop 내부용이며 다른 Hadoop 구성요소만 사용하도록 되어 있습니다.

hadoop_actual_ssh

  • 시그니처
hadoop_actual_ssh hostname command [...]
  • 설명

ssh를 통해 hostname에 로그인해 command를 실행합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_add_common_to_classpath

  • 시그니처
hadoop_add_common_to_classpath
  • 설명

common/core Hadoop 구성요소를 환경에 추가합니다.

  • 반환

실패 시 1, exit 가능 / 성공 시 0

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_add_to_classpath_tools

  • 시그니처
hadoop_add_to_classpath_tools module
  • 설명

libexec/tools/module.sh를 실행해 클래스패스 환경에 추가합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_add_to_classpath_userpath

  • 시그니처
hadoop_add_to_classpath_userpath
  • 설명

사용자의 사용자 지정 클래스패스 설정을 환경에 추가합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_common_worker_mode_execute

  • 시그니처
hadoop_common_worker_mode_execute commandarray
  • 설명

--workers 모드를 처리하는 유틸리티 루틴.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_connect_to_hosts

  • 시그니처
hadoop_connect_to_hosts command [...]
  • 설명

${HADOOP_WORKERS} 또는 ${HADOOP_WORKER_NAMES}에 연결해 command를 실행합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_connect_to_hosts_without_pdsh

  • 시그니처
hadoop_connect_to_hosts_without_pdsh command [...]
  • 설명

pdsh를 지원하지 않는 환경에서 ${HADOOP_WORKER_NAMES}에 연결해 command를 실행합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_daemon_handler

  • 시그니처
hadoop_daemon_handler [start|stop|status|default] command class daemonpidfile daemonoutfile [options]
  • 설명

비특권 데몬을 관리합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_do_classpath_subcommand

  • 시그니처
hadoop_do_classpath_subcommand [parameters]
  • 설명

주어진 파라미터로 'hadoop classpath' 등 서브커맨드를 수행합니다.

  • 반환

파라미터 없이 출력 & 종료

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_exec_hadooprc

  • 시그니처
hadoop_exec_hadooprc
  • 설명

사용자의 설정을 읽습니다. 시스템 부트스트랩 후 사용자가 Hadoop Shell API를 실행할 수 있게 합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_exec_user_hadoopenv

  • 시그니처
hadoop_exec_user_hadoopenv
  • 설명

사용자의 설정을 읽습니다. 사용자가 hadoop-env.sh를 오버라이드/추가할 수 있게 합니다. 완전한 시스템 오버라이드를 의미하지는 않습니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize

  • 시그니처
hadoop_finalize
  • 설명

Java 실행 전에 남은 모든 환경 설정을 마칩니다. 다른 finalize 루틴을 호출하는 래퍼입니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize_classpath

  • 시그니처
hadoop_finalize_classpath
  • 설명

실행 전에 Java 클래스패스를 마칩니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize_hadoop_heap

  • 시그니처
hadoop_finalize_hadoop_heap
  • 설명

실행 전에 Java 힙 파라미터를 마칩니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize_hadoop_opts

  • 시그니처
hadoop_finalize_hadoop_opts
  • 설명

Java 실행 전에 Hadoop 특정 시스템 속성 구성을 마칩니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize_jpms_opts

  • 시그니처
hadoop_finalize_jpms_opts
  • 설명

Java 실행 전에 JDK 17 이상에서 시행되는 JPMS 구성을 마칩니다. 이 목록을 hadoop-project/pom.xml의 extraJavaTestArgs와 동기화하세요.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_finalize_libpaths

  • 시그니처
hadoop_finalize_libpaths
  • 설명

실행 전에 Java JNI 경로를 마칩니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_generic_java_subcmd_handler

  • 시그니처
hadoop_generic_java_subcmd_handler
  • 설명

main 프로그램 항목에서 서브커맨드를 처리합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_import_shellprofiles

  • 시그니처
hadoop_import_shellprofiles
  • 설명

shellprofile.d 내용을 가져옵니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_parse_args

  • 시그니처
hadoop_parse_args [parameters, typically "$@"]
  • 설명

일반 셸 스크립트 옵션 파서. 호출자가 shift해야 할 수를 HADOOP_PARSE_COUNTER로 설정합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_privilege_check

  • 시그니처
hadoop_privilege_check
  • 설명

기본적으로 priv로 실행 중인지 확인합니다. 이 구현은 EUID=0을 찾습니다. 진정한 priv 분리를 가진 OS의 경우 이는 더 복잡해야 합니다.

  • 반환

1 = priv 아님 / 0 = priv

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_secure_daemon_handler

  • 시그니처
hadoop_secure_daemon_handler [start|stop|status|default] command class daemonpidfile daemonoutfile wrapperpidfile wrapperoutfile wrappererrfile [options]
  • 설명

특권 데몬을 관리합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_setup_secure_service

  • 시그니처
hadoop_setup_secure_service

설명 / 반환: 없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_shellprofiles_classpath

  • 시그니처
hadoop_shellprofiles_classpath
  • 설명

셸 프로파일 클래스패스 추가를 적용합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_shellprofiles_finalize

  • 시그니처
hadoop_shellprofiles_finalize
  • 설명

셸 프로파일 최종 구성을 적용합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_shellprofiles_init

  • 시그니처
hadoop_shellprofiles_init
  • 설명

등록된 셸 프로파일을 초기화합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_shellprofiles_nativelib

  • 시그니처
hadoop_shellprofiles_nativelib
  • 설명

셸 프로파일 네이티브 라이브러리 추가를 적용합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_start_daemon

  • 시그니처
hadoop_start_daemon command class pidfile [options]
  • 설명

포그라운드에서 비특권 데몬을 시작합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_start_daemon_wrapper

  • 시그니처
hadoop_start_daemon_wrapper command class pidfile outfile [options]
  • 설명

백그라운드에서 비특권 데몬을 시작합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_start_secure_daemon

  • 시그니처
hadoop_start_secure_daemon command class daemonpidfile daemonoutfile daemonerrfile wrapperpidfile [options]
  • 설명

포그라운드에서 특권 데몬을 시작합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_start_secure_daemon_wrapper

  • 시그니처
hadoop_start_secure_daemon_wrapper command class daemonpidfile daemonoutfile wrapperpidfile warpperoutfile daemonerrfile [options]
  • 설명

백그라운드에서 특권 데몬을 시작합니다.

  • 반환

없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_sudo

  • 시그니처
hadoop_sudo user commandstring
  • 설명

root로 실행 중일 때 주어진 사용자가 발견되면 sudo를 통해 명령을 실행하고, 발견되지 않으면 실패로 종료합니다. 그 외에는 그냥 실행합니다. (start-/stop- 스크립트에서 사용하도록 의도됨.)

  • 반환

exitstatus

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_verify_logdir

  • 시그니처
hadoop_verify_logdir

설명 / 반환: 없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_verify_piddir

  • 시그니처
hadoop_verify_piddir

설명 / 반환: 없음

분류 수준
Audience Private
Stability Evolving
Replaceable True

hadoop_verify_secure_prereq

  • 시그니처
hadoop_verify_secure_prereq
  • 설명

특권 프로그램을 실행하기 전에 필수 조건이 충족되었는지 확인합니다.

  • 반환

이 루틴은 exit할 수 있음

분류 수준
Audience Private
Stability Evolving
Replaceable True

더 알아보기 (Learn more)