Dagster (데이터 오케스트레이션)

Dagster는 데이터 파이프라인을 만들고 오케스트레이션하기 위한 여러 추상화를 제공하는 오픈소스 도구예요. 파이프라인을 서로 의존하는 에셋(asset) 단위로 선언하면, 에셋 간의 의존 관계(데이터 계보, lineage)가 자연스럽게 만들어져요. 그리고 실행·모니터링·데이터 품질 확인까지 같은 플랫폼에서 다룰 수 있어요.

이 카테고리에서는 에셋·잡·스케줄·센서·리소스 등 Dagster의 핵심 개념을 다뤄요.

출처: https://docs.dagster.io/concepts

이 카테고리의 문서

에셋(Asset): 테이블·데이터셋·ML 모델 같은 데이터 단위와 그 의존 관계
잡(Job): 실행할 에셋·그래프의 조합
스케줄(Schedule): 정해진 시각에 실행을 트리거하는 방법
센서(Sensor): 외부 이벤트에 반응해 실행을 트리거하는 방법
리소스(Resource): DB·API 연결 같은 외부 의존성을 파이프라인에 주입하는 방법

더 알아보기

Dagster 개념의 상세 목록은 공식 Concept 문서를 참고해요.