Kedro 모듈형 파이프라인

Kedro 모듈형 파이프라인

모듈형 파이프라인(modular pipeline)은 파이프라인을 독립된 모듈로 만들어 재사용할 수 있게 하는 Kedro의 확장 기능이에요. 반복적으로 쓰는 데이터 처리 흐름(예: 데이터 정제, 피처 엔지니어링)을 하나의 모듈로 묶어 두면, 여러 프로젝트나 여러 파이프라인에서 같은 코드를 다시 쓰기 쉬워요.

출처: Kedro Modular Pipelines

왜 모듈로 나누는가

파이프라인이 커지면 모든 노드를 한곳에 모아 두면 관리가 어려워져요. 모듈형으로 나누면 각 모듈이 자기만의 데이터 처리 흐름과 이름 공간(namespace)을 갖게 돼서, 프로젝트가 커져도 구조가 명확하게 유지돼요.

네임스페이스로 이름 충돌 피하기

모듈형 파이프라인의 핵심은 네임스페이스(namespace) 예요. 파이프라인에 namespace를 지정하면 그 안의 모든 데이터셋 이름에 접두사가 붙어, 서로 다른 모듈이 같은 이름의 데이터셋을 써도 충돌하지 않아요. 예를 들어 두 모듈이 같은 이름을 쓰더라도 namespace로 구분되는 방식이에요.

이 덕분에 독립적으로 개발한 모듈들을 한 프로젝트에 안전하게 조합할 수 있어요.

모듈 재사용

모듈형 파이프라인은 독립 패키지처럼 만들어 여러 파이프라인에 끼워 넣을 수 있어요. 한 번 잘 만들어 둔 데이터 처리 모듈을 다른 프로젝트에도 그대로 가져다 쓰면, 구현을 반복하지 않고 일관된 처리 로직을 유지할 수 있어요.

더 알아보기