Metaflow (ML·데이터 플로우)

Metaflow는 데이터 처리 파이프라인, 특히 머신러닝을 위한 프레임워크예요. 데이터플로(dataflow) 패러다임을 따라 프로그램을 연산의 방향 그래프로 모델링해요. 파이썬 클래스를 하나 만들고 각 메서드에 @step 데코레이터를 붙이면 그게 곧 플로우(flow) 가 되고, 플로우를 실행한 한 번을 런(run) 이라고 불러요. 각 스텝에서 저장한 데이터는 아티팩트(artifact) 로 자동 관리돼서, 로컬과 클라우드를 오갈 때도 데이터를 옮기는 걱정을 하지 않아도 돼요.

이 카테고리에서는 플로우 기본 구조·데이터·클라이언트·시각화·병렬 확장·디버깅을 다뤄요.

출처: https://docs.metaflow.org/metaflow/basics

이 카테고리의 문서

플로우 기본(Flows): FlowSpec·@step과 그래프 전이 구조
데이터: 아티팩트 저장과 스텝 간 데이터 흐름
클라이언트(Client): 지난 런의 아티팩트를 조회하는 API
시각화(Cards): 실행 결과를 카드로 보여주는 방법
확장(Scaling): 브랜치·포이치로 병렬 실행
디버깅: 실패 원인 파악과 resume으로 이어하기

더 알아보기

Metaflow의 나머지 개념은 공식 Metaflow Docs에서 이어서 볼 수 있어요.