Prefect (데이터 워크플로 오케스트레이션)

Prefect (데이터 워크플로 오케스트레이션)

Prefect는 데이터 파이프라인을 코드로 정의하고, 스케줄·재시도·모니터링까지 한 곳에서 관리하게 해주는 오픈소스 워크플로 오케스트레이션 도구예요. 파이썬 함수에 @flow·@task 데코레이터만 붙이면 일반 코드처럼 작성한 파이프라인을 Prefect가 실행·추적해요. 실패했을 때 재시도하거나, 예약된 시각에 실행하거나, 최근 이벤트와 실행 이력을 UI에서 확인할 수 있어요.

이 카테고리에서는 플로·태스크·디플로이먼트·워크풀·플로 런 같은 Prefect의 핵심 개념을 설명해요.

출처: https://docs.prefect.io/latest/

이 카테고리의 문서

  • 플로(Flow): @flow 데코레이터로 만드는 워크플로 단위
  • 태스크(Task): @task 데코레이터로 나누는 재사용 가능한 작업 단위
  • 디플로이먼트(Deployment): 플로를 예약·원격 실행 가능하게 만드는 구성
  • 워크풀(Work Pool): 언제·어디서 플로 런을 실행할지 결정하는 실행 서비스
  • 플로 런(Flow Run): 플로가 실제로 실행된 한 번의 기록

더 알아보기

Prefect의 각 개념은 Concepts 문서에서 이어서 볼 수 있어요.