로깅 & 모니터링
로깅 & 모니터링 (Logging & Monitoring)
이 페이지는 Airflow의 관찰 가능성(observability)을 위한 로깅·모니터링 기능을 안내하는 목차 페이지예요. 데이터 파이프라인은 보통 사람의 직접 관리 없이 실행되기 때문에, 실행 과정에서 문제가 생겼을 때 원인을 진단하려면 로깅과 메트릭 수집이 정말 중요하답니다. 여기서는 로깅 구조, Task 로깅, 고급 로깅 설정, 메트릭·트레이스 설정, 콜백, 상태 확인, 에러 추적 등의 세부 문서로 연결해 드려요.
출처: 문서
본문
데이터 파이프라인은 일반적으로 사람의 수동 감독 없이 실행되기 때문에, 관찰 가능성(observability)이 매우 중요해요.
Airflow는 여러 로깅 매커니즘을 지원하고, 다른 다운스트림 시스템에서 수집·처리·시각화할 수 있도록 메트릭을 내보내는 내장 매커니즘도 갖추고 있어요. 로깅 기능은 데이터 파이프라인을 실행하는 과정에서 발생할 수 있는 문제를 진단할 때 핵심적인 역할을 해요.
표준 로깅·메트릭 기능에 더해, Airflow는 Airflow 자체의 동작에서 에러를 감지하는 기능도 지원하며 이를 Airflow 상태 확인(health check)이라고 해요. Airflow는 일반적으로 production 환경에서 데이터 파이프라인을 실행하는 데 사용되기 때문에, Sentry 연동을 통한 실시간 에러 알림도 지원한답니다.
- 로깅·모니터링 아키텍처 (Logging and Monitoring architecture)
- Task 로깅 (Logging for Tasks)
- 고급 로깅 설정 (Advanced logging configuration)
- 메트릭 설정 (Metrics Configuration)
- 메트릭 설명 (Metric Descriptions)
- 트레이스 설정 (Traces Configuration)
- 콜백 (Callbacks)
- Airflow 상태 확인 (Checking Airflow Health Status)
- 에러 추적 (Error Tracking)