Polars 소개 — 새 시대를 위한 DataFrame

Polars 소개

데이터 처리에서 "빠르다"는 말은 종종 캐주얼하게 쓰이지만, Polars는 성능을 처음부터 설계 목표로 삼았어요. Polars는 단일 머신에서 가장 빠른 데이터 처리 솔루션 중 하나로 알려진 오픈소스 데이터 조작 라이브러리예요. 잘 구조화되고 타입이 명확한 API가 표현적이면서도 쓰기 쉽도록 설계됐죠.

출처: https://pola.rs/

강점

  1. 빠름 (Fast) — Rust로 처음부터 작성된 다중 스레드 쿼리 엔진으로 효과적인 병렬 처리를 목표로 해요. 벡터화·컬럼 지향 처리가 캐시 일관 알고리즘을 가능케 해 현대 프로세서에서 고성능을 냅니다.
  2. 쉬움 (Easy to use) — 데이터 랭글링에 익숙하다면 바로 적응할 수 있게, 직관적인 표현식(expression)으로 읽기 좋고 성능 좋은 코드를 작성할 수 있어요.
  3. 오픈소스 (Open source) — Polars는 지금도 앞으로도 오픈소스이고, 활발한 커뮤니티가 기능을 추가·기여해요. MIT 라이선스로 자유롭게 쓸 수 있어요.

설치

pip install polars

Rust는 polars = { version = "x", features = ["lazy", ...] }, JavaScript(Node.js)는 const pl = require('nodejs-polars');로 시작해요.

지원 데이터 포맷

  • 텍스트: CSV, JSON
  • 바이너리: Parquet, Delta Lake, AVRO, Excel
  • IPC: Feather, Arrow
  • DB: MySQL, Postgres, SQL Server, Sqlite, Redshift, Oracle
  • 클라우드: S3, Azure Blob, Azure File

더 알아보기