Vaex API 요점 — from_csv, 가상 칼럼, viz

실무에서 Vaex를 쓸 때 자주 마주치는 API를 몇 개만 골라볼게요. 큰 CSV부터 시작해서 가상 칼럼과 시각화까지 감을 잡을 수 있어요.

출처: https://vaex.readthedocs.io/en/api.html

CSV 읽기 — vaex.from_csv() 로 큰 CSV를 메모리 매핑 방식으로 읽어요. pandas의 read_csv 가 통째로 로드하는 것과 달리 lazy해서 용량이 커도 시작이 빨라요.

import vaex
df = vaex.from_csv("big.csv")  # lazy하게 CSV 열기

가상 칼럼(Virtual Column) — 기존 칼럼의 표현식을 새 칼럼처럼 등록해요. 데이터를 복사하지 않고 필요할 때 계산되므로 메모리를 아껴요.

df["r"] = (df.x**2 + df.y**2)**0.5  # 가상 칼럼 등록

시각화(viz) — vaex-viz 는 matplotlib 기반이에요. df.viz.heatmap(...) 으로 그리드 통계를 바로 그릴 수 있고, vaex-jupyter 를 쓰면 노트북에서 인터랙티브 위젯으로 탐색해요.

df.viz.heatmap(df.x, df.y, show=True)

이 외에도 vaex-ml 로 머신러닝 전처리를 하고, vaex-arrow 로 Arrow와 데이터를 주고받는 등 생태계가 넓어요. vaex-server 를 쓰면 DataFrame을 원격으로 공유해 다른 쪽에서 접근할 수도 있어요.