UI 개요
UI 개요 (UI Overview)
Airflow UI는 데이터 파이프라인과 데이터 자산을 모니터링·관리·문제 해결하는 강력한 방법을 제공해요. Airflow 3부터 UI는 현대적인 모습으로 새로워지고, 다크/라이트 테마와 재설계된 내비게이션을 지원해요.
출처: 문서
본문
Airflow UI는 데이터 파이프라인과 데이터 자산을 모니터링, 관리, 문제 해결하는 강력한 방법을 제공해요. Airflow 3부터 UI는 현대적인 모습으로 새로워지고, 다크/라이트 테마 지원과 재설계된 내비게이션 경험을 갖추게 됐어요.
이 가이드는 주석이 달린 스크린샷과 함께 주요 UI 구성 요소를 참조 형식으로 안내해요. 새 사용자와 경험이 많은 사용자 모두에게 도움이 될 거예요.
Note
이 가이드의 스크린샷은 기본적으로 다크 테마를 사용해요. 비교를 위해 일부 뷰는 라이트 테마로도 보여줘요. Airflow UI 하단 모서리에 있는 사용자 설정에서 테마를 전환할 수 있어요.
Note
Airflow 3 UI는 현대적인 브라우저와 CSS 기능을 사용해요. 현재 버전의 Chrome, Edge, Firefox, Safari를 사용하세요.
oklch()나color-mix()같은 현대 CSS 색상 함수를 지원하지 않는 구형 브라우저는 UI가 올바르게 렌더링되지 않을 수 있어요.
홈 페이지 (Home Page)
홈 페이지는 시스템 상태와 최근 활동의 높은 수준 개요를 제공해요. Airflow 3의 기본 랜딩 페이지이며 다음을 포함해요:
- MetaDatabase, Scheduler, Triggerer, Dag Processor 같은 시스템 컴포넌트의 상태 표시기(Health indicators)
- 상태로 필터링된 Dags로의 빠른 링크 (예: Failed Dags, Running Dags, Active Dags)
- 선택 가능한 시간 범위에 걸친 개수와 성공/실패율을 보여주는 Dag 및 Task Instance 히스토리
- materialization과 트리거된 Dags를 포함한 최근 asset 이벤트
이 페이지는 환경의 건강 상태를 빠르게 평가하고 최근 문제나 asset-triggered 이벤트를 식별하는 데 유용해요.
Dag 목록 뷰 (Dag List View)
메인 내비게이션 바에서 Dags 탭을 클릭하면 Dag List View가 나타나요. 환경에서 사용할 수 있는 모든 Dags를 상태, 최근 run, 구성의 명확한 요약과 함께 표시해요.
각 행은 다음을 포함해요:
- Dag ID
- Schedule과 다음 run 시간
- 최신 Dag run의 상태
- 최근 run의 막대 차트
- Dags를 그룹화하거나 필터링하는 데 사용할 수 있는 태그 (예:
example,produces) - 일시정지/재개 토글
- Dag 수준 뷰로의 링크
뷰 상단에서 다음을 할 수 있어요:
- Dag 상태, 스케줄 상태, 태그에 대한 필터 사용
- 특정 Dags를 찾기 위한 검색 또는 고급 검색 (⌘+K)
- 드롭다운으로 목록 정렬 (예: Latest Run Start Date)
이 목록의 일부 Dags는 데이터 자산과 상호작용할 수 있어요. 예를 들어 asset 조건에 의해 트리거되는 Dags는 업스트림 asset 입력을 보여주는 팝업을 표시할 수 있어요.
Dag 상세 페이지 (Dag Details Page)
목록에서 Dag를 클릭하면 Dag Details Page가 열려요. 이 뷰는 Dag의 메타데이터, 최근 활동, Task 수준 진단에 대한 집중된 접근을 제공해요.
주요 요소는 다음과 같아요:
- ID, owner, tags, schedule, 최신 Dag version을 포함한 Dag 메타데이터
- Dag를 트리거하거나, 재파싱하거나, 일시정지/재개하는 액션 버튼
- 탭 인터페이스: Overview (최근 실패, run 개수, task 로그); Grid View (상태 히트맵); Graph View (task 의존성); Runs (전체 run 히스토리); Tasks (집계 통계); Events (시스템 또는 asset-triggered); Code (Dag 소스); Details (확장 메타데이터)
이 페이지는 또한 최근 Dag run의 시각적 타임라인과 실패에 대한 로그 미리보기를 포함해, 사용자가 run 전반에 걸친 문제를 빠르게 식별할 수 있게 해줘요.
Grid View
Grid View는 Dag run과 task 상태를 검사하는 기본 인터페이스예요. 시간 경과에 따른 워크플로우를 디버그, 재시도, 모니터링하는 대화형 방법을 제공해요.
Grid View를 사용해 다음을 할 수 있어요:
- 최근 Dag run의 상태를 한눈에 이해
- 색상과 툴팁으로 실패하거나 재시도된 task 식별
- task 셀을 클릭해 액션 수행 — 로그 보기, task 인스턴스를 성공/실패/cleared로 표시
- 이름이나 부분 ID로 task 필터링
- 그리드 위 드롭다운으로 "last 25 runs" 같은 run 범위 선택
각 행은 task를, 각 열은 Dag run을 나타내요. 아무 task 인스턴스에나 호버하면 더 많은 세부 정보를 볼 수 있고, 클릭하면 로그와 메타데이터로 드릴다운할 수 있어요.
Graph View
Graph View는 Dag의 논리적 구조 — task들이 어떻게 연결되고, 어떤 순서로 실행되며, 분기나 재시도가 어떻게 구성되는지 —를 보여줘요.
이 뷰는 다음 경우에 유용해요:
- task가 왜 실행되지 않았는지 디버깅 (예: 트리거 규칙으로 인해 skip된 경우)
- 복잡한 파이프라인에서 task 의존성 이해
- run별 task 상태 검사 (예: success, failed, upstream failed)
각 노드는 task를 나타내요. 엣지는 그들 사이의 의존성을 보여줘요. 아무 task나 클릭하면 메타데이터와 최근 run 히스토리를 볼 수 있어요.
상단 드롭다운을 사용해 Dag run 간에 전환하고 실행 간 task 상태가 어떻게 바뀌었는지 확인할 수 있어요.
Dag 탭
Grid, Graph 같은 대화형 뷰 외에도 Dag Details 페이지에는 더 깊은 통찰과 메타데이터를 제공하는 여러 다른 탭이 있어요:
Runs 탭
Runs 탭은 모든 Dag run의 정렬 가능한 테이블을 상태, 실행 기간, run 유형, Dag version과 함께 표시해요.
Tasks 탭
Tasks 탭은 operator 유형, 트리거 규칙, 최근 run 상태, run 히스토리를 포함해 Dag의 각 task 메타데이터를 보여줘요.
Events 탭
Events 탭은 Dag 트리거와 version 패치 같은 Dag와 관련된 구조화된 이벤트를 표시해요. 이 탭은 Dag 버전 관리와 변경사항 문제 해결에 특히 유용해요.
Code 탭
Code 탭은 마지막 파싱 타임스탬프를 포함한 현재 버전의 Dag 정의를 표시해요. 사용자는 특정 Dag version의 코드를 볼 수 있어요.
Details 탭
Details 탭은 스케줄, 파일 위치, 동시성 제한, version 식별자를 포함한 Dag의 구성 정보와 메타데이터를 제공해요.
Dag Run 뷰
각 Dag Run은 Dag의 Runs 탭에서 특정 행을 선택해 접근할 수 있는 자체 뷰가 있어요. Dag Run 뷰는 선택된 run에 대한 메타데이터와 task 수준 세부 정보, 렌더링된 코드 등을 표시해요.
주요 요소는 다음과 같아요:
- logical date, run 유형, 기간, Dag version, 파싱 시간을 포함한 Dag Run 메타데이터
- run을 clear 또는 mark 하거나 메모를 추가하는 액션 버튼
- 최근 Dag run에 걸친 task 기간과 상태를 보여주는 지속적인 Grid View 사이드바. 이는 반복되는 문제나 성능 추세를 한눈에 파악하는 데 도움이 돼요.
Dag Run 탭
Task Instances
Dag Run 내 각 task 인스턴스의 상태와 메타데이터를 표시해요. 열은 다음과 같아요:
- Task ID
- State
- Start and End Dates
- Try Number
- Operator Type
- Duration
- Dag Version
각 행에는 task의 기간을 시각적으로 나타내는 미니 Gantt 스타일 타임라인도 포함돼요.
Events
가능하다면 이 탭은 이 Dag Run의 실행에 기여한 시스템 수준 또는 asset-triggered 이벤트를 나열해요.
Code
이 run이 파싱되었을 때의 Dag 소스 코드를 표시해요. 이 뷰는 version drift를 디버깅하거나 다른 코드를 사용한 Dag Run을 비교하는 데 유용해요.
hello >> airflow()용 Dag Run 코드:
hello >> world()용 Dag Run 코드:
Details
Dag Run에 대한 확장 메타데이터를 제공해요:
- Run ID와 Trigger Type
- Queued At, Start and End Time, Duration
- Data Interval 경계
- Trigger Source와 Run Config
- Dag Version ID와 Bundle Name
Graph View
이 특정 run에서 각 task의 상태가 겹쳐진 Dag의 task 의존성 구조를 보여줘요. 이는 task 실패 경로의 시각적 디버깅이나 다운스트림 블로커 식별에 유용해요.
각 노드는 task 기간의 시각적 표시기를 포함해요.
Dag 트리거 창 (Dag Trigger Window)
Single Run
Single Run 창은 Dag run을 트리거할 수 있게 해줘요.
Backfill
Backfill 창은 과거 날짜에 대한 Dag run을 트리거할 수 있게 해줘요.
Task Instance 뷰
Dag Run 뷰에서 특정 task를 클릭하면 Task Instance View로 이동해요. 이 뷰는 해당 개별 task 실행에 대한 상세 로그와 메타데이터를 보여줘요.
Task Instance 탭
각 task 인스턴스는 로그, 렌더링된 템플릿, XComs, 실행 메타데이터에 대한 접근을 제공하는 탭 뷰가 있어요.
Logs
기본 탭은 시스템 출력, 오류 메시지, traceback 정보를 포함한 task 로그를 보여줘요. task가 실패하면 가장 먼저 봐야 할 곳이에요.
Rendered Templates
task의 템플릿 필드의 렌더링된 버전을 표시해요. 컨텍스트 변수 디버깅이나 동적 콘텐츠 검증에 유용해요.
XCom
TaskFlow 사용 시 XCom.push()로 푸시되거나 Python 함수에서 반환된 모든 값을 보여줘요.
Events
존재한다면 이 특정 task 인스턴스 실행과 관련된 관련 이벤트를 표시해요.
Code
실행 시 파싱된 Dag 소스 코드를 보여줘요. 이는 task가 어떤 Dag 버전으로 실행되었는지 확인하는 데 도움이 돼요.
Details
task 인스턴스에 대한 런타임 메타데이터를 표시해요:
- Task ID와 State
- Dag Run ID, Dag Version, Bundle Name
- 사용된 Operator와 런타임 기간
- Pool과 slot 사용량
- Executor와 구성
Asset 뷰
Assets 섹션은 asset 중심 워크플로우를 모니터링하고 디버깅하기 위한 전용 인터페이스를 제공해요. Assets은 task가 만들거나 소비할 수 있는 논리적 데이터 단위 — 파일, 테이블, 모델 같은 —를 나타내요. Airflow는 이러한 의존성을 추적하고 오케스트레이션을 더 잘 이해하기 위한 시각화를 제공해요.
Asset 목록
Asset List는 알려진 모든 assets을 이름별로 그룹화해 보여줘요. 각 asset에 대해 다음을 볼 수 있어요:
- asset이 속한 그룹 (있는 경우)
- asset을 소비하는 Dags
- asset을 생산하는 tasks
Dags나 tasks의 개수에 호버하면 생산자나 소비자의 전체 목록이 있는 툴팁이 표시돼요.
링크를 클릭하면 Asset Graph View로 이동해요.
Asset Graph View
Asset Graph View는 업스트림 생산자와 다운스트림 소비자를 포함해 asset을 컨텍스트에서 보여줘요. 이 뷰로 다음을 할 수 있어요:
- asset 계보(lineage)와 관련된 Dags 이해
- asset 이벤트 수동 트리거
- 최근 asset 이벤트와 그것이 트리거한 Dag runs 보기
Dag 뷰의 그래프 오버레이 (Graph Overlays in Dag View)
Dag에 asset 생산 또는 소비 task가 포함되어 있으면, Dag Graph 뷰에서 asset 오버레이를 활성화할 수 있어요. 각 asset 옆의 토글 스위치를 켜서 다음을 할 수 있어요:
- assets이 Dags 사이에서 어떻게 흐르는지 보기
- asset-triggered 의존성 검사
두 가지 그래프 모드를 사용할 수 있어요:
-
모든 Dag 의존성 (All Dag Dependencies): 모든 Dag-to-Dag 및 task 수준 연결을 보여줘요
-
외부 조건 (External Conditions): asset 이벤트로 트리거된 Dags만 보여줘요
Admin 뷰
Admin 탭은 Airflow를 구성하고 확장하기 위한 시스템 수준 도구를 제공해요. 이 뷰는 주로 배포, 통합, 성능 튜닝을 담당하는 관리자와 플랫폼 운영자를 대상으로 해요.
주요 페이지:
- Variables – Dags에서 접근할 수 있는 키-값 쌍 저장. 환경별 파라미터나 secrets 관리에 사용할 수 있어요.
- Connections – 데이터베이스, 클라우드 서비스, API 같은 외부 시스템에 대한 connection URIs 정의. Airflow operators와 hooks가 사용해요.
- Pools – 이름 있는 pool에 할당된 동시 실행 task 수를 제한해 리소스 할당을 제어. 경합이나 할당량 제한 시스템 관리에 유용해요.
- Providers – 설치된 provider 패키지(예:
apache-airflow-providers-google)를 사용 가능한 hooks, sensors, operators와 함께 표시. provider 버전 확인이나 import 오류 문제 해결에 유용해요. - Plugins – 커스텀 operators, macros, UI 요소로 플랫폼을 확장하는 등록된 Airflow 플러그인 검사.
- Config –
airflow.cfg, 환경 변수, 재정의된 기본값에서 파싱된 전체 유효 Airflow 구성을 표시. 스케줄러 동작, secrets backends 등과 관련된 문제를 디버깅하는 데 도움이 돼요.
Note
Admin 탭은 적절한 RBAC 권한이 있는 사용자에게만 보여요.
