DAG 작성과 스케줄링

DAG 작성과 스케줄링 (Authoring and Scheduling)

이 문서는 Airflow에서 DAG를 고급 기법으로 작성하고 스케줄링하는 방법을 다루는 목차 페이지예요. 먼저 core concepts 페이지를 먼저 훑어보기를 권장해요. 여기에서는 지연 가능한 Operator, 직렬화, 연결·훅, 동적 Task 매핑, Asset, DAG Result, 비-Python Task SDK, 그리고 크론·타임존·Asset 기반 스케줄링 같은 주제들을 살펴볼 수 있어요.

출처: 문서

본문

여기에서 Airflow DAG를 고급 기법으로 작성하고 스케줄링하는 데 대한 상세한 문서를 찾을 수 있어요. 먼저 core concepts의 페이지들을 검토해 보시길 권장합니다.

작성 (Authoring)

• Deferrable Operators & Triggers
  • Deferrable Operator 사용하기
  • Deferrable Operator 작성하기
  • 고가용성 (High Availability)
  • Sensor에서 Mode='reschedule'와 Deferrable=True의 차이
• 직렬화 (Serialization)
  • 직렬화 해석 순서 (Serialization resolution order)
  • Airflow 객체 (Airflow Object)
• 연결·훅 (Connections & Hooks)
  • 훅 (Hooks)
  • 커스텀 연결 (Custom connections)
• 동적 Task 매핑 (Dynamic Task Mapping)
  • 단순 매핑 (Simple mapping)
  • 비-TaskFlow Operator와 매핑하기
  • 비-TaskFlow Operator에 여러 파라미터 할당하기
  • Task 그룹에 매핑하기
  • 매핑된 Task에서 항목 필터링하기
  • 확장하는(expanding) 데이터 변환하기
  • 상위 데이터 결합하기 (aka "zipping")
  • 여러 상위 항목 연결하기
  • 어떤 데이터 타입이 확장될 수 있나요? (What data types can be expanded?)
  • 템플릿 필드와 매핑된 인자는 어떻게 상호작용하나요?
  • 매핑된 Task에 제한 두기
  • 길이가 0인 매핑 자동 건너뛰기
• Asset 정의 (Asset Definitions)
  • "Asset"이란 무엇인가요? (What is an "Asset"?)
  • 유효한 URI란? (What is valid URI?)
  • Asset에 대한 추가 정보
  • 보안 경고 (Security Warnings)
  • Asset 이벤트를 내보내는 Task 만들기
  • @asset, @task, classic Operator 사이의 의존성
  • 하나의 Task에서 여러 Asset으로 출력하기
  • AssetAlias를 통한 동적 데이터 이벤트 발행·Asset 생성
  • producer_teams로 크로스 팀 Asset 이벤트 필터링하기
  • Asset 파티션 (Asset partitions)
• DAG Result
  • 결과 Task 표시하기 (Marking the result task)
  • 결과 가져오기 (Retrieving the result)
• 비-Python Task SDK (Non-Python Task SDKs)
  • 작동 원리 (How it works)
  • Stub Task (Stub tasks)
  • 코디네이터 설정 (Coordinator configuration)
  • 새 컴파일 언어 SDK 구현하기

스케줄링 (Scheduling)

• 크론 & 시간 간격 (Cron & Time Intervals)
  • 크론 프리셋 (Cron Presets)
• 타임존 (Time Zones)
  • Web UI
  • 개념 (Concepts)
  • 타임존 인지 DAG (Time zone aware Dags)
• Asset 기반 스케줄링 (Asset-Aware Scheduling)
  • 빠른 시작 (Quickstart)
  • Asset으로 DAG 스케줄링하기
  • 여러 Asset (Multiple assets)
  • 트리거하는 Asset 이벤트에서 정보 가져오기
  • 이벤트 기반 스케줄링 (Event-driven scheduling)
  • 조건식으로 하는 고급 Asset 스케줄링
  • 예제 사용 (Example Use)
  • Asset·시간 기반 스케줄 결합하기
• Timetables
  • 내장 Timetable (Built-in Timetables)
  • Timetable 비교 (Timetables comparisons)
• 이벤트 기반 스케줄링 (Event-Driven Scheduling)
  • 이벤트 기반 스케줄링이 지원하는 트리거
  • 이벤트 기반 DAG의 사용 사례

더 알아보기 (Learn more)

• Core Concepts
• Serialization
• Assets
• Event-Driven Scheduling