Pathway 개요 — Live Data Framework 소개
Pathway 개요
Pathway Live Data Framework는 데이터 스트림 위에서 실시간 분석·AI 파이프라인을 만들기 위한 Python 프레임워크예요. '실시간 처리'에 특화되어 있어서 스트리밍 ETL이나 비정형 데이터의 RAG 파이프라인에 잘 어울려요. Python API 하나로 스트리밍·정적 데이터를 같은 방식으로 다룰 수 있어요.
설치
pip으로 간단히 설치해요.
pip install pathway
핵심 특징
- 쉬운 Python API — 좋아하는 Python 도구와 ML 라이브러리를 그대로 사용
- 확장 가능한 Rust 엔진 — Python 코드를 멀티스레딩·멀티프로세싱을 지원하는 강력한 Rust 엔진이 실행. JVM도 GIL도 없음
- 상태 유지 연산 — groupby, windows 같은 상태 유지·시간 연산 지원
- 증분 계산 — Differential Dataflow 기반으로 실시간에 뒤섞인 데이터 포인트도 처리
시작 예제 템플릿
Pathway는 RAG·ETL 파이프라인용 즉시 사용 가능한 템플릿을 제공해요. 데이터을 수 분 안에 파이프라인에 올릴 수 있어요.
언제 쓰나요
- 실시간으로 들어오는 스트림 데이터를 처리·변환할 때
- 비정형 문서에서 실시간 RAG 파이프라인을 만들 때
- 외부 연산·LLM 호출을 데이터 흐름 안에 자연스럽게 끼워 넣을 때