Dask — 사랑하는 파이썬 도구를 확장하는 병렬 컴퓨팅
Dask
데이터가 메모리에 안 들어갈 만큼 커지면 pandas·NumPy만으로는 막히는 순간이 와요. Dask는 파이썬을 위한 병렬 컴퓨팅 라이브러리로, NumPy·Pandas·반복자 같은 친숙한 인터페이스를 메모리 초과(more-than-memory) 또는 분산 환경으로 확장해요. 동적 태스크 스케줄러와 병렬 컬렉션(배열·데이터프레임·백·delayed) 두 부분으로 이뤄져 있고, 노트북 한 대에서 수천 코어 클러스터까지 이어지도록 설계됐어요. Wes McKinney(판다스 창시자)도 "파이썬에서 분산·메모리 초과 컴퓨팅을 누구나 쉽게 하게 만든 선구자"라 했죠.
이 카테고리의 문서
- 소개: Dask의 두 축(스케줄러·컬렉션)과 친숙한 API
- Dask Array: NumPy 인터페이스를 블록 알고리즘으로
- 모범 사례: 시작은 작게, 성능을 지키는 방법