Metaflow 클라이언트(Client API)

Metaflow 클라이언트(Client API)

Metaflow Client API는 저장된 과거 실행 데이터를 파이썬에서 읽어올 수 있게 해주는 인터페이스예요. 플로우가 도는 동안의 데이터뿐 아니라, 이미 끝난 런(run)의 데이터를 워크플로 밖에서도 조회할 수 있어요. 노트북에서 분석하거나 외부 도구로 지난 실행 결과를 가져올 때 특히 유용해요.

출처: Metaflow Client

왜 클라이언트가 필요한가

Metaflow의 아티팩트는 영속적으로 저장되는데, 이 저장소에 접근하는 가장 깔끔한 방법이 Client API예요. 플로우 실행에 참여하지 않은 코드(예: 노트북, 대시보드, 별도 스크립트)에서도 지난 실행의 아티팩트·메타데이터를 쉽게 끌어올 수 있어요.

주요 사용처

  • 분석 — 지난 런에서 만든 데이터프레임·모델·메트릭을 꺼내 분석
  • 시각화 — Cards와 함께 실행 결과 대시보드를 구성
  • 크로스 플로우 — 한 플로우가 다른 플로우의 아티팩트를 재사용
  • 디버깅 — 실패 전 단계의 데이터를 되짚어 확인

동작 방식

Client API는 플로우 클래스·런·스텝·태스크·아티팩트를 계층적으로 찾아가도록 설계돼 있어요. 저장된 데이터로부터 특정 런이나 아티팩트를 조회하면, 그 객체에 담긴 값에 파이썬으로 접근할 수 있어요. foreach의 개별 태스크처럼 세밀한 단위를 지정해서 조회하는 것도 가능해요.

이 API 덕분에 Metaflow는 「파이프라인 실행」과 「결과 소비」를 분리해서 유연하게 설계할 수 있어요.

더 알아보기