TPC-H

TPC-H (1999)

도매 공급업체의 내부 데이터 웨어하우스를 모델링한 대표적인 OLAP 벤치마크입니다. 데이터가 3정규형(3NF)으로 저장되어 쿼리 시점에 많은 조인을 필요로 합니다. 역사가 오래되었음에도 지금까지 가장 널리 쓰이는 OLAP 벤치마크로 남아 있습니다.

출처: 문서

본문

도매 공급업체의 내부 데이터 웨어하우스를 모델링하는 인기 있는 벤치마크입니다. 데이터는 3정규형(3rd normal form)으로 저장되며, 쿼리 시점에 많은 조인을 필요로 합니다. 오래되었고 데이터가 균일하고 독립적으로 분포한다는 비현실적인 가정을 하기는 하지만, TPC-H는 지금까지 가장 인기 있는 OLAP 벤치마크로 남아 있습니다.

참고문헌

TPC-H
New TPC Benchmarks for Decision Support and Web Commerce (Poess et. al., 2000)
TPC-H Analyzed: Hidden Messages and Lessons Learned from an Influential Benchmark (Boncz et. al.), 2013
Quantifying TPC-H Choke Points and Their Optimizations (Dresseler et. al.), 2020

데이터 생성 및 임포트 (Data Generation and Import)

먼저 TPC-H 저장소를 체크아웃하고 데이터 생성기를 컴파일합니다:

git clone https://github.com/gregrahn/tpch-kit.git
cd tpch-kit/dbgen
make

그런 다음 데이터를 생성합니다. 매개변수 -s는 스케일 팩터를 지정합니다. 예를 들어 -s 100이면 lineitem 테이블에 6억 개의 행이 생성됩니다.

./dbgen -s 100

속도를 높이기 위해 "청크" 생성(여러 프로세스)을 사용할 수 있습니다:

for i in $(seq 1 8); do
    ./dbgen -s 100 -C 8 -S $i &
done
wait

스케일 팩터 100의 상세 테이블 크기:

Table	size (in rows)	size (compressed in ClickHouse)
nation	25	2 kB
region	5	1 kB
part	20.000.000	895 MB
supplier	1.000.000	75 MB
partsupp	80.000.000	4.37 GB
customer	15.000.000	1.19 GB
orders	150.000.000	6.15 GB
lineitem	600.000.000	26.69 GB

(ClickHouse의 압축 크기는 system.tables.total_bytes에서 가져왔으며 아래 테이블 정의에 기반합니다.)

이제 ClickHouse에 테이블을 생성합니다. 테이블 정의는 ClickHouse 저장소의 init.sql에 있습니다.

데이터는 다음과 같이 임포트할 수 있습니다:

clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO nation FORMAT CSV" < nation.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO region FORMAT CSV" < region.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO part FORMAT CSV" < part.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO supplier FORMAT CSV" < supplier.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO partsupp FORMAT CSV" < partsupp.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO customer FORMAT CSV" < customer.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO orders FORMAT CSV" < orders.tbl
clickhouse-client --format_csv_delimiter '|' --query "INSERT INTO lineitem FORMAT CSV" < lineitem.tbl

tpch-kit을 사용해 직접 테이블을 생성하는 대신 공용 S3 버킷에서 데이터를 임포트할 수도 있습니다. 먼저 init.sql로 빈 테이블을 만들어야 합니다.

-- Scale factor 1
INSERT INTO nation SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/nation.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO region SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/region.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO part SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/part.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO supplier SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/supplier.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO partsupp SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/partsupp.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO customer SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/customer.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO orders SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/orders.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO lineitem SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/1/lineitem.tbl', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;

-- Scale factor 10
INSERT INTO nation SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/nation.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO region SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/region.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO part SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/part.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO supplier SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/supplier.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO partsupp SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/partsupp.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO customer SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/customer.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO orders SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/orders.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO lineitem SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/10/lineitem.tbl.zst', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;

-- Scale factor 100
INSERT INTO nation SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/nation.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO region SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/region.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO part SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/part.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO supplier SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/supplier.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO partsupp SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/partsupp.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO customer SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/customer.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO orders SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/orders.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;
INSERT INTO lineitem SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/h/100/lineitem.tbl.gz', NOSIGN, CSV) SETTINGS format_csv_delimiter = '|', input_format_defaults_for_omitted_fields = 1, input_format_csv_empty_as_default = 1;

쿼리 (Queries)

22개의 TPC-H 쿼리는 ClickHouse 저장소의 여기에서 찾을 수 있습니다.

SQL 표준 호환 동작과 기대 결과를 얻으려면 settings.json의 설정을 적용하세요. 특정 쿼리의 알려진 문제와 참고사항은 README를 확인하세요.

정확성

다른 언급이 없는 한 쿼리 결과는 공식 결과와 일치합니다. 검증하려면 스케일 팩터 = 1로 TPC-H 데이터베이스를 생성하고(dbgen, 위 참조) tpch-kit의 기대 결과와 비교하세요.

성능 벤치마크 (Performance benchmark)

ClickHouse는 릴리스된 모든 버전에 걸쳐 TPC-H 쿼리 성능을 추적합니다. ClickHouse versions benchmark 페이지(스케일 팩터 40)에서 22개 모든 TPC-H 쿼리의 실행 시간을 살펴보고 성능이 시간에 따라 어떻게 진화했는지 확인할 수 있습니다.

TPC-H

TPC-H (1999)

본문

데이터 생성 및 임포트 (Data Generation and Import)

쿼리 (Queries)

성능 벤치마크 (Performance benchmark)

더 알아보기 (Learn more)