라이브 프로세스 모니터링 모범 사례

라이브 프로세스 모니터링 모범 사례 (Best Practices for Live Process Monitoring)

Live Processes 제품을 사용하면 전체 인프라에서 실행 중인 프로세스 수를 모니터링할 수 있어요. 라이브 프로세스(live process) 모니터는 컨테이너화되지 않은 프로세스에 관측 가능성(observability)을 더할 때 가장 유용해요.

라이브 프로세스 모니터는 이렇게 활용해요:

• 고객에게 서비스를 제공하기에 충분한 프로세스 복제본(replica)이 있는지 확인해요.
• 특정 프로세스가 실행 중일 때 경보를 발생시켜요.

잘못 구성된 모니터는 거짓 양성(false positive)이 발생하기 쉬워요. 이 가이드에서는 안정적인 라이브 프로세스 모니터를 만들기 위한 권장 모범 사례를 다룰게요. 모니터 생성 과정에 대한 자세한 개요는 라이브 프로세스 모니터 생성 문서를 참고해요.

출처: 문서

본문

모범 사례 (Best practices)

모니터 범위 지정하기 (Scoping the monitor)

Datadog는 모니터 범위를 몇천 개 이하의 프로세스로 지정할 것을 권장해요. 텍스트 검색은 퍼지(fuzzy) 방식이므로, 태그가 모니터 범위를 조정하는 가장 정확한 방법이에요.

예시 워크플로우:

1. Monitors > New Monitor > Live Process 페이지로 이동해요.

2. by tags 필드에 태그를 추가해요.

   • 예를 들어 command:puma를 사용해 puma 명령과 연결된 프로세스를 모니터링해요.

{% image source="https://docs.dd-static.net/images/monitors/monitor_types/process/tag-scoped-process-monitor.01b11f0ddf6f5b287710f7975e1caa86.png?auto=format&fit=max&w=850 1x, https://docs.dd-static.net/images/monitors/monitor_types/process/tag-scoped-process-monitor.01b11f0ddf6f5b287710f7975e1caa86.png?auto=format&fit=max&w=850&dpr=2 2x" alt="A live process monitor that has been scoped using a tag" /%}

선택적으로, by text 필드에 검색 텍스트를 추가해 모니터 범위를 더 세밀하게 조정할 수 있어요. 아래 예시에서는 명령줄이 cluster worker와 일치하는 프로세스만 포함돼요. {% image source="https://docs.dd-static.net/images/monitors/monitor_types/process/text-scoped-process-monitor.7d1623a5b8209f4187487d8230f0cfac.png?auto=format&fit=max&w=850 1x, https://docs.dd-static.net/images/monitors/monitor_types/process/text-scoped-process-monitor.7d1623a5b8209f4187487d8230f0cfac.png?auto=format&fit=max&w=850&dpr=2 2x" alt="A live process monitor that has been scoped using text search" /%}

모니터 범위가 모든 모니터 그룹에 걸쳐 여전히 몇천 개의 프로세스를 초과한다면, 추가 태그를 사용해 여러 모니터로 나눠요.

• 예를 들어 env 태그를 사용해 prod와 staging에 대해 별도의 모니터를 만들 수 있어요.

시간 프레임 선택하기 (Choosing a time frame)

흔한 오해 중 하나는 평가 창(evaluation window)을 늘리면 응답이 느려지거나 경보를 놓칠 수 있다는 건데, 모니터는 어떤 쿼리 평가 간격을 선택하든 데이터를 지속적으로 평가해요. 평가 간격은 이상이 존재하는지 판단하는 데 사용되는 데이터 포인트 수만 결정할 뿐이에요.

평가 창을 늘리면 일시적인 동작이 아니라 일관되게 발생하는 동작에 대해서만 경보를 받을 수 있어요.

• 거짓 양성을 피하려면 최소 간격 5분을 사용해요.
• 모니터가 클라우드 제공업체 통합에서 나온 태그를 사용한다면 최소 간격 15분을 사용해요.
• 지연된 경보를 피하려면 최대 간격 1시간을 사용해요.

추가 지침은 경보 피로를 방지하는 모범 사례를 참고해요.