EKS 노드 모니터링 에이전트로 노드 상태 문제 감지

EKS 노드 모니터링 에이전트로 노드 상태 문제 감지

EKS 노드 모니터링 에이전트가 감지하는 노드 상태 문제, 노드 조건·이벤트로 표시되는 방식, 에이전트 구성 방법을 설명합니다.

출처: 문서

본문

이 주제는 EKS 노드 모니터링 에이전트가 감지하는 노드 상태 문제, 이러한 문제가 노드 조건(node conditions) 또는 이벤트로 표시되는 방식, 노드 모니터링 에이전트를 구성하는 방법을 자세히 설명합니다.

EKS 노드 모니터링 에이전트는 EKS 자동 노드 복구와 함께 또는 없이 사용할 수 있습니다. EKS 자동 노드 복구에 대한 자세한 내용은 EKS 클러스터에서 노드 자동 복구를 참조하세요.

EKS 노드 모니터링 에이전트의 소스 코드는 GitHub의 aws/eks-node-monitoring-agent 저장소에 게시되어 있습니다.

노드 상태 문제

다음 표는 노드 모니터링 에이전트가 감지할 수 있는 노드 상태 문제를 설명합니다. 두 가지 유형의 문제가 있습니다.

• 조건(Condition) — 인스턴스 교체나 재부팅 같은 시정 조치를 정당화하는 종결적(terminal) 문제입니다. 자동 복구가 활성화되면 Amazon EKS가 노드 교체 또는 재부팅의 복구 작업을 수행합니다. 자세한 내용은 노드 조건을 참조하세요.
• 이벤트(Event) — 일시적 문제 또는 최적이 아닌 노드 구성입니다. 자동 복구 작업이 수행되지 않습니다. 자세한 내용은 노드 이벤트를 참조하세요.

AcceleratedHardware 노드 상태 문제

다음 표에서 심각도가 "Condition"인 문제의 모니터링 조건은 AcceleratedHardwareReady입니다. 다음 표의 이벤트와 조건은 NVIDIA 및 Neuron 관련 노드 상태 문제입니다. Reboot 복구 작업은 EKS 관리형 노드 그룹에만 적용됩니다. EKS Auto Mode 또는 Karpenter를 사용할 때 유일한 복구 작업은 Replace입니다.

NVIDIA XID 오류 코드

노드 모니터링 에이전트는 GPU 커널 로그에서 NVIDIA XID 오류를 감지합니다. XID 오류는 두 범주로 나뉩니다.

• 잘 알려진 XID 코드 — 노드 조건(AcceleratedHardwareReady=False)을 설정하고 활성화된 경우 자동 복구를 트리거하는 중대한 오류입니다. 이유 코드 형식은 NvidiaXID[Code]Error입니다. EKS 노드 모니터링 에이전트가 감지하는 잘 알려진 XID 코드는 복구 작업이 필요한 전체 NVIDIA XID 코드 목록을 나타내지 않을 수 있습니다.
• 알 수 없는 XID 코드 — Kubernetes 이벤트로만 기록됩니다. 자동 복구를 트리거하지 않습니다. 이유 코드 형식은 NvidiaXID[Code]Warning입니다. 알 수 없는 XID 오류를 조사하려면 dmesg | grep -i nvrm으로 커널 로그를 검토하세요.

XID 오류에 대한 자세한 내용은 NVIDIA GPU 배포 및 관리 문서의 Xid Errors를 참조하세요. 개별 XID 메시지에 대한 자세한 내용은 NVIDIA GPU 배포 및 관리 문서의 Understanding Xid Messages를 참조하세요.

다음 표는 잘 알려진 XID 코드, 의미, 활성화된 경우 기본 노드 복구 작업을 나열합니다. Reboot 복구 작업은 EKS 관리형 노드 그룹에만 적용됩니다. EKS Auto Mode 또는 Karpenter를 사용할 때 유일한 복구 작업은 Replace입니다.

GPU 상태와 관련된 현재 노드 조건을 보려면 다음 명령을 실행하세요.

kubectl get nodes -o custom-columns='NAME:.metadata.name,ACCELERATOR_READY:.status.conditions[?(@.type=="AcceleratedHardwareReady")].status,REASON:.status.conditions[?(@.type=="AcceleratedHardwareReady")].reason'

클러스터에서 XID 관련 이벤트를 보려면 다음 명령 중 하나를 실행하세요.

kubectl get events | grep -i "NvidiaXID"

ContainerRuntime 노드 상태 문제

다음 표에서 심각도가 "Condition"인 문제의 모니터링 조건은 ContainerRuntimeReady입니다.

Kernel 노드 상태 문제

다음 표에서 심각도가 "Condition"인 문제의 모니터링 조건은 KernelReady입니다.

Networking 노드 상태 문제

다음 표에서 심각도가 "Condition"인 문제의 모니터링 조건은 NetworkingReady입니다.

Storage 노드 상태 문제

다음 표에서 심각도가 "Condition"인 문제의 모니터링 조건은 StorageReady입니다.

노드 모니터링 에이전트 구성

EKS 노드 모니터링 에이전트는 DaemonSet으로 배포됩니다. EKS 애드온으로 배포하면 다음 구성 값으로 설치를 사용자 지정할 수 있습니다. 기본 구성은 EKS 노드 모니터링 에이전트 Helm 차트를 참조하세요.

참고

hostname-override와 verbosity를 EKS 애드온 또는 Helm 설치와 함께 monitoringAgent.additionalArgs로 구성할 수 있습니다. 현재 추가 인수로 노드 모니터링 에이전트의 probe-address(8002) 또는 metrics-address(8003)를 EKS 애드온이나 Helm 설치로 사용자 지정할 수 없습니다.

노드 모니터링 에이전트는 NVIDIA GPU 모니터링을 위한 NVIDIA DCGM(Data Center GPU Manager) 서버 구성 요소(nv-hostengine)를 포함합니다. 이 구성 요소는 에이전트의 Helm 차트의 nodeAffinity가 보여주듯 NVIDIA GPU 인스턴스 유형인 노드에서만 실행됩니다. EKS 노드 모니터링 에이전트와 함께 기존 NVIDIA DCGM 설치를 사용할 수 없으며, 이 기능이 필요하면 EKS 로드맵 GitHub issue #2763에 피드백을 제공하세요.

EKS 노드 모니터링 에이전트를 EKS 애드온으로 배포할 때 다음 구성 값으로 NVIDIA DCGM 설치를 사용자 지정할 수 있습니다.

다음 AWS CLI 명령으로 EKS 노드 모니터링 에이전트 EKS 애드온의 버전과 스키마에 대한 유용한 정보를 얻을 수 있습니다.

Kubernetes 버전에 대한 최신 에이전트 애드온 버전을 가져옵니다. 1.35를 Kubernetes 버전으로 바꾸세요.

aws eks describe-addon-versions \
  --addon-name eks-node-monitoring-agent \
  --kubernetes-version 1.35 \
  --query='addons[].addonVersions[].addonVersion'

EKS 애드온에서 지원하는 에이전트 애드온 스키마를 가져옵니다. v1.5.1-eksbuild.1을 에이전트 버전으로 바꾸세요.

aws eks describe-addon-configuration \
  --addon-name eks-node-monitoring-agent \
  --addon-version v1.5.1-eksbuild.1

더 알아보기 (Learn more)

• 공식 문서