파이프라인 스캐너 (Pipeline Scanner)
Log Pipeline Scanner를 이용하면 로그 파이프라인을 실시간으로 스캔하고, 특정 로그를 추적하며, 어떤 파이프라인과 처리 규칙이 해당 로그의 필드에 변화를 줬는지 파악할 수 있어요. 조직에서는 방대한 로그 볼륨을 처리하기 위해 로그 파이프라인에 의존하고, 각 팀은 보안 모니터링, 컴플라이언스 감사, DevOps 같은 각자의 사용 사례에 맞춰 로그를 다르게 재구성하고 보강하죠.
Pipeline Scanner는 다음과 같은 일에 쓸 수 있어요.
- 파싱되지 않은 로그, 누락된 태그, 뜻밖의 로그 구조 변경 같은 로그 처리 문제를 해결해요.
- 충돌하거나 중복된 처리 규칙을 찾아내고 제거해요.
- 로그 파이프라인을 통과하는 로그가 보안·컴플라이언스 요구 사항을 충족하는지 확인해요.
출처: 문서
본문
개요
Log Pipeline Scanner는 검색 쿼리와 일치하는 로그를 샘플링하고, 로그가 거치는 여러 처리 단계로 주석을 달아서 로그에 가해지는 모든 변화를 파악할 수 있게 해줘요.
- Log Explorer로 이동해요.
- 어떤 파이프라인과 프로세서가 로그를 수정하는지 알아보고 싶은 로그를 클릭해요.
- 패널 오른쪽 위에 있는 Pipeline Scanner 아이콘을 클릭해요. 아이콘 위에 커서를 올리면 "View pipelines for similar logs"라고 표시돼요. 또는 로그 패널의 속성을 클릭하고 "Scan pipelines for"를 선택해도 돼요.
- Pipeline Scanner 페이지에서 쿼리를 더 세밀하게 다듬을 수 있어요. 이 쿼리는 세션이 시작된 후에는 변경할 수 없어요.
- Launch this session을 클릭해요. 이후 15분 동안 쿼리와 일치하는 로그에는 어떤 파이프라인과 프로세서가 해당 로그를 수정하는지에 대한 정보가 태그로 추가돼요. 스캐너의 Live Tail에는 각 로그에 어떤 파이프라인이 몇 개나 일치하는지 표시돼요.
- 로그를 클릭하면 해당 로그와 일치하는 파이프라인·프로세서 목록을 볼 수 있어요. 이 시점에 Live Tail은 일시 중지돼요.
오른쪽 패널에서 파이프라인과 프로세서를 수정할 수 있어요. 하지만 수정 사항은 이미 처리된 로그에는 영향을 미치지 않아요. Play를 클릭하면 업데이트된 파이프라인·프로세서로 수정된 새 로그를 볼 수 있어요.
Log Pipelines 페이지에서도 Pipeline Scanner에 접근할 수 있어요.
- Log Pipelines로 이동해요.
- Pipeline Scanner를 클릭해요.
- 검사하고 싶은 로그의 쿼리를 정의해요.
제한 사항
Pipeline Scanner를 사용하려면 logs_read_config와 logs_write_pipelines 권한이 필요해요. 자세한 내용은 Log Management RBAC 권한을 참고하세요.
실행할 수 있는 세션 수는 다음과 같이 제한돼요.
- 최대 3개의 동시 세션.
- 12시간 슬라이딩 윈도우 동안 최대 12개 세션.
더 알아보기 (Learn more)
추가로 도움이 되는 문서, 링크, 아티클: