관리 및 배포

관리 및 배포 (Administration and Deployment)

이 문서는 Airflow 배포(production)에 DAG를 배포하고, Airflow 배포 환경을 운영·관리하는 데 필요한 내용을 안내하는 목차 페이지예요. 운영 환경에서 Airflow를 안정적으로 돌리는 방법, 로깅·모니터링, 쿠버네티스 배포, DAG 파일 처리, 스케줄러 튜닝, 플러그인 관리 등 Airflow를 실제로 서비스에 사용할 때 꼭 알아두면 좋은 주제들을 모아 둔 곳이랍니다.

출처: 문서

본문

이 섹션에서는 DAG를 production 환경에 배포하는 방법과 Airflow 배포를 운영하는 방법에 대한 정보를 다룹니다.

• Production 배포
  • 데이터베이스 백엔드 (Database backend)
  • 멀티 노드 클러스터 (Multi-Node Cluster)
  • 로깅 (Logging)
  • 설정 (Configuration)
  • 스케줄러 가동 시간 (Scheduler Uptime)
  • Production 컨테이너 이미지 (Production Container Images)
  • Kubernetes용 Helm 차트 (Helm Chart for Kubernetes)
  • Airflow 실시간 업그레이드 (Live-upgrading Airflow)
  • Kerberos 인증 워커 (Kerberos-authenticated workers)
  • Google Cloud의 보안 서버·서비스 접근 (Secured Server and Service Access on Google Cloud)
• 로깅 & 모니터링 (Logging & Monitoring)
  • 로깅·모니터링 아키텍처 (Logging and Monitoring architecture)
  • Task 로깅 (Logging for Tasks)
  • 고급 로깅 설정 (Advanced logging configuration)
  • 메트릭 설정 (Metrics Configuration)
  • 메트릭 설명 (Metric Descriptions)
  • 트레이스 설정 (Traces Configuration)
  • 콜백 (Callbacks)
  • Airflow 상태 확인 (Checking Airflow Health Status)
  • 에러 추적 (Error Tracking)
• Kubernetes
  • Kubernetes용 Helm 차트 (Helm Chart for Kubernetes)
• Lineage
• Listeners
  • 라이프사이클 이벤트 (Lifecycle Events)
  • DagRun 상태 변경 이벤트 (DagRun State Change Events)
  • TaskInstance 상태 변경 이벤트 (TaskInstance State Change Events)
  • Asset 이벤트 (Asset Events)
  • DAG 가져오기 에러 이벤트 (Dag Import Error Events)
  • 사용법 (Usage)
  • 호환성 참고 (Compatibility note)
• DAG 번들 (Dag Bundles)
  • DAG 번들이 왜 중요할까요? (Why are Dag bundles important?)
  • DAG 번들의 종류 (Types of Dag bundles)
  • DAG 번들 설정하기 (Configuring Dag bundles)
  • 사용자 가장(impersonation)과 함께 DAG 번들 사용하기 (Using DAG Bundles with User Impersonation)
  • 기본 재실행 버전 동작 설정 (Configuring Default Rerun Version Behavior)
  • 커스텀 DAG 번들 작성하기 (Writing custom Dag bundles)
• DAG 직렬화 (Dag Serialization)
  • DAG 직렬화 설정 (Dag Serialization Settings)
  • 제한 사항 (Limitations)
  • 다른 JSON 라이브러리 사용하기 (Using a different JSON Library)
  • 기본값 포함 DAG 직렬화 (Airflow 3.1+) (Dag Serialization with Default Values)
• 모듈 관리 (Modules Management)
  • Python에서 패키지/모듈 로딩이 작동하는 원리 (How package/modules loading in Python works)
  • 패키지의 일반적인 구조 (Typical structure of packages)
  • Airflow 내장 PYTHONPATH 항목 (Built-in PYTHONPATH entries in Airflow)
  • 코드 이름 짓기의 모범 사례 (Best practices for your code naming)
  • 자신의 PYTHONPATH 로딩 설정 살펴보기 (Inspecting your PYTHONPATH loading configuration)
  • PYTHONPATH에 디렉터리 추가하기 (Adding directories to the PYTHONPATH)
  • Python에서 패키지 만들기 (Creating a package in Python)
• 스케줄러 (Scheduler)
  • 스케줄러 여러 개 실행하기 (Running More Than One Scheduler)
  • 스케줄러 성능 미세 조정 (Fine-tuning your Scheduler performance)
• DAG 파일 처리 (Dag File Processing)
• DAG 프로세서 성능 미세 조정 (Fine-tuning your Dag processor performance)
  • DAG 프로세서 성능에 영향을 주는 것들 (What impacts Dag processor's performance)
  • DAG 프로세서 미세 조정 접근법 (How to approach Dag processor's fine-tuning)
  • DAG 프로세서 성능을 제한할 수 있는 자원 (What resources might limit Dag processors's performance)
  • DAG 프로세서 성능을 개선하려면 (What can you do, to improve Dag processor's performance)
  • DAG 프로세서 설정 옵션 (Dag processor Configuration options)
• 풀 (Pools)
  • 여러 pool 슬롯 사용하기 (Using multiple pool slots)
• 클러스터 정책 (Cluster Policies)
  • 정책 함수 정의 방법 (How do define a policy function)
  • 사용 가능한 정책 함수 (Available Policy Functions)
  • 예제 (Examples)
  • 메타데이터 엔진 훅 (Metadata Engine Hooks)
• 우선순위 가중치 (Priority Weights)
  • 커스텀 가중치 규칙 (Custom Weight Rule)
• Web 스택 (Web Stack)
  • 설정 (Configuration)
  • API 서버 분리하기 (Separating API Servers)
  • 알려진 이슈 (Known Issues)
  • 서버 종류 (Server Types)
• 플러그인 (Plugins)
  • 왜 사용하나요? (What for?)
  • 왜 Airflow 위에 구축하나요? (Why build on top of Airflow?)
  • 사용 가능한 빌딩 블록 (Available Building Blocks)
  • 플러그인은 언제 (재)로딩되나요? (When are plugins (re)loaded?)
  • 인터페이스 (Interface)
  • 플러그인 관리 인터페이스 (Plugin Management Interface)
  • 외부 뷰 (External Views)
  • 예제 (Example)
  • CSRF 보호에서 뷰 제외하기 (Exclude views from CSRF protection)
  • Python 패키지로서의 플러그인 (Plugins as Python packages)
  • Airflow 3의 Flask Appbuilder와 Flask Blueprints (Flask Appbuilder and Flask Blueprints in Airflow 3)
  • 문제 해결 (Troubleshooting)
• Task·Asset 상태 저장소 설정 (Task and Asset State Store Configuration)
  • 설정 참조 (Configuration reference)
  • 가비지 컬렉션 의미 (Garbage collection semantics)
  • 커스텀 백엔드 (Custom backends)
  • 커스텀 워커측 백엔드 (Custom worker-side backends)
• Task·Asset 상태 저장소 정리 (Task and Asset State Store Cleanup)
  • 무엇이 정리되나요 (What gets cleaned up)
  • 정리 실행하기 (Running cleanup)

더 알아보기 (Learn more)

• Production Deployment
• Logging & Monitoring
• Scheduler
• Plugins