ClickHouse Cloud와 Amazon Redshift 비교

AWS 생태계에 깊이 투자한 사용자에게 Redshift는 자연스러운 선택이지만, 실시간 분석 애플리케이션에 활용하기엔 한계가 있어요. 이 문서는 Redshift에서 ClickHouse 로의 마이그레이션을 소개하며, 두 엔진을 어떤 점에서 비교해야 하는지 정리해요.

출처: Comparing ClickHouse Cloud and Amazon Redshift

본문

이 문서는 Amazon Redshift에서 ClickHouse로 데이터를 마이그레이션하는 방법에 대한 소개를 제공해요.

소개 (Introduction)

Amazon Redshift는 구조화·반구조화 데이터에 대한 리포팅과 분석 기능을 제공하는 클라우드 데이터 웨어하우스예요. ClickHouse와 유사한 컬럼 지향(column-oriented) 데이터베이스 원리를 사용해서 대규모 데이터셋의 분석 워크로드를 처리하도록 설계되었죠. AWS 제공 서비스의 일부로서 AWS 사용자들이 분석 데이터 요구에 기본적으로 찾는 솔루션인 경우가 많아요.

Amazon 생태계와의 긴밀한 통합 덕분에 기존 AWS 사용자에게는 매력적이지만, 실시간 분석 애플리케이션을 구동하기 위해 Redshift를 채택한 사용자들은 이 목적에 더 최적화된 솔루션이 필요하다는 걸 알게 돼요. 그래서 점점 더 ClickHouse로 전환해서, 더 뛰어난 쿼리 성능과 데이터 압축의 이점을 누리게 되죠 — 기존 Redshift 워크로드를 대체하거나, 그 옆에 "스피드 레이어(speed layer)"로 배포하는 형태예요.

ClickHouse vs Redshift

AWS 생태계에 크게 투자한 사용자에게 Redshift는 데이터 웨어하우징 요구에 자연스러운 선택이에요. Redshift는 ClickHouse와 한 가지 중요한 점에서 달라요 — 복잡한 리포팅과 분석 쿼리가 필요한 데이터 웨어하우스 워크로드에 엔진을 최적화한다는 점이죠. 모든 배포 모드에서 다음 두 가지 한계 때문에 Redshift를 실시간 분석 워크로드에 쓰기 어려워요:

Redshift는 각 쿼리 실행 계획마다 코드를 컴파일해서, 첫 실행에 상당한 오버헤드가 생겨요. 쿼리 패턴이 예측 가능하고 컴파일된 실행 계획을 쿼리 캐시에 저장할 수 있다면 이 오버헤드는 정당화될 수 있어요. 하지만 변동이 심한 쿼리를 쓰는 인터랙티브 애플리케이션에서는 어려움이 생기죠. Redshift가 이 코드 컴파일 캐시를 활용할 수 있더라도, 대부분의 쿼리에서 ClickHouse가 더 빨라요. “ClickBench”를 참고하세요.
Redshift는 모든 큐에 걸쳐 동시성을 50으로 제한해서, BI에는 충분하지만 고동시성 분석 애플리케이션에는 부적합해요.

반대로 ClickHouse도 복잡한 분석 쿼리에 활용할 수 있지만 실시간 분석 워크로드에 최적화되어 있어요 — 애플리케이션을 구동하거나 웨어하우스 가속(acceleration) 레이어로 작동하죠. 그래서 Redshift 사용자들은 보통 다음 이유로 Redshift를 ClickHouse로 대체하거나 보강해요:

장점	설명
더 낮은 쿼리 지연 시간	ClickHouse는 높은 동시성과 스트리밍 삽입 상황에서도 다양한 쿼리 패턴에 대해 더 낮은 쿼리 지연 시간을 달성해요. 인터랙티브 사용자 대상 분석에서 피할 수 없는 캐시 미스가 발생해도 ClickHouse는 여전히 빠르게 처리할 수 있어요.
더 높은 동시 쿼리 한도	ClickHouse는 동시 쿼리에 훨씬 더 높은 한도를 두어, 실시간 애플리케이션 경험에 중요해요. 셀프 매니지드든 클라우드든 ClickHouse에서 컴퓨트 할당을 확장해서 애플리케이션에 필요한 동시성을 얻을 수 있어요. 허용되는 쿼리 동시성 수준은 ClickHouse에서 구성 가능하며, ClickHouse Cloud는 기본값이 1000이에요.
더 뛰어난 데이터 압축	ClickHouse는 더 뛰어난 데이터 압축을 제공해서, 전체 저장 공간(따라서 비용)을 줄이거나 같은 비용으로 더 많은 데이터를 저장해 데이터에서 더 많은 실시간 통찰을 얻을 수 있어요. 아래 "ClickHouse vs Redshift 저장 효율"을 참고하세요.

ClickHouse Cloud와 Amazon Redshift 비교