ClickHouse 데이터로 쿼리 작성하기

ClickHouse 데이터로 쿼리 작성하기 (Writing queries in ClickHouse using GitHub data)

이 데이터셋은 ClickHouse 저장소의 모든 커밋과 변경 사항을 담고 있습니다. ClickHouse와 함께 배포되는 네이티브 git-import 도구로 생성할 수 있으며, 커밋·파일 변경·라인 변경 히스토리를 테이블로 만들어 GitHub 저장소의 개발 활동을 깊이 분석해 볼 수 있어요.

출처: 문서

본문

이 데이터셋은 ClickHouse 저장소의 모든 커밋과 변경 사항을 포함하며, ClickHouse와 함께 배포되는 네이티브 git-import 도구로 생성할 수 있습니다.

생성된 데이터는 각 테이블에 대해 tsv 파일을 제공합니다:

commits - 통계가 포함된 커밋.
file_changes - 각 커밋에서 변경된 파일과 변경 내용·통계 정보.
line_changes - 각 커밋에서 변경된 각 파일의 모든 변경된 라인과 해당 라인에 대한 전체 정보 및 이 라인의 이전 변경 정보.

2022년 11월 8일 기준 각 TSV의 대략적인 크기와 행 수입니다:

commits - 7.8M - 266,051 rows
file_changes - 53M - 266,051 rows
line_changes - 2.7G - 7,535,157 rows

데이터 생성 (Generating the data)

이것은 선택 사항입니다. 우리는 데이터를 자유롭게 배포합니다 - 을 참고하세요.

git clone [email protected]:ClickHouse/ClickHouse.git
cd ClickHouse
clickhouse git-import --skip-paths 'generated\.cpp|^(contrib|docs?|website|libs/(libcityhash|liblz4|libdivide|libvectorclass|libdouble-conversion|libcpuid|libzstd|libfarmhash|libmetrohash|libpoco|libwidechar_width))/' --skip-commits-with-messages '^Merge branch '

이 작업은 ClickHouse 저장소의 경우 완료까지 약 3분(2022년 11월 8일 기준 MacBook Pro 2021에서)이 걸립니다.

사용 가능한 전체 옵션 목록은 도구의 네이티브 도움말에서 얻을 수 있습니다.

clickhouse git-import -h

이 도움말은 또한 위 각 테이블의 DDL을 제공합니다. 예:

CREATE TABLE git.commits
(
    hash String,
    author LowCardinality(String),
    time DateTime,
    message String,
    files_added UInt32,
    files_deleted UInt32,
    files_renamed UInt32,
    files_modified UInt32,
    lines_added UInt32,
    lines_deleted UInt32,
    hunks_added UInt32,
    hunks_removed UInt32,
    hunks_changed UInt32
) ENGINE = MergeTree ORDER BY time;

이 쿼리들은 어떤 저장소에서도 동작해야 합니다. 자유롭게 탐색하고 결과를 보고해 주세요 실행 시간에 대한 몇 가지 지침(2022년 11월 기준):

Linux - ~/clickhouse git-import - 160 mins

데이터 다운로드 및 삽입 (Downloading and inserting the data)

다음 데이터는 동작 환경을 재현하는 데 사용할 수 있습니다. 또는 이 데이터셋은 play.clickhouse.com에서도 사용할 수 있습니다 - 자세한 내용은 을 참고하세요.

다음 저장소에 대한 생성 파일은 아래에서 찾을 수 있습니다:

ClickHouse (Nov 8th 2022) - https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/commits.tsv.xz - 2.5 MB - https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/file_changes.tsv.xz - 4.5MB - https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/line_changes.tsv.xz - 127.4 MB
Linux (Nov 8th 2022) - https://datasets-documentation.s3.amazonaws.com/github/commits/linux/commits.tsv.xz - 44 MB - https://datasets-documentation.s3.amazonaws.com/github/commits/linux/line_changes.tsv.xz - 1.1G

이 데이터를 삽입하려면 다음 쿼리를 실행해 데이터베이스를 준비하세요:

DROP DATABASE IF EXISTS git;
CREATE DATABASE git;

CREATE TABLE git.commits
(
    hash String,
    author LowCardinality(String),
    time DateTime,
    message String,
    files_added UInt32,
    files_deleted UInt32,
    files_renamed UInt32,
    files_modified UInt32,
    lines_added UInt32,
    lines_deleted UInt32,
    hunks_added UInt32,
    hunks_removed UInt32,
    hunks_changed UInt32
) ENGINE = MergeTree ORDER BY time;

CREATE TABLE git.file_changes
(
    change_type Enum('Add' = 1, 'Delete' = 2, 'Modify' = 3, 'Rename' = 4, 'Copy' = 5, 'Type' = 6),
    path LowCardinality(String),
    old_path LowCardinality(String),
    file_extension LowCardinality(String),
    lines_added UInt32,
    lines_deleted UInt32,
    hunks_added UInt32,
    hunks_removed UInt32,
    hunks_changed UInt32,

    commit_hash String,
    author LowCardinality(String),
    time DateTime,
    commit_message String,
    commit_files_added UInt32,
    commit_files_deleted UInt32,
    commit_files_renamed UInt32,
    commit_files_modified UInt32,
    commit_lines_added UInt32,
    commit_lines_deleted UInt32,
    commit_hunks_added UInt32,
    commit_hunks_removed UInt32,
    commit_hunks_changed UInt32
) ENGINE = MergeTree ORDER BY time;

CREATE TABLE git.line_changes
(
    sign Int8,
    line_number_old UInt32,
    line_number_new UInt32,
    hunk_num UInt32,
    hunk_start_line_number_old UInt32,
    hunk_start_line_number_new UInt32,
    hunk_lines_added UInt32,
    hunk_lines_deleted UInt32,
    hunk_context LowCardinality(String),
    line LowCardinality(String),
    indent UInt8,
    line_type Enum('Empty' = 0, 'Comment' = 1, 'Punct' = 2, 'Code' = 3),

    prev_commit_hash String,
    prev_author LowCardinality(String),
    prev_time DateTime,

    file_change_type Enum('Add' = 1, 'Delete' = 2, 'Modify' = 3, 'Rename' = 4, 'Copy' = 5, 'Type' = 6),
    path LowCardinality(String),
    old_path LowCardinality(String),
    file_extension LowCardinality(String),
    file_lines_added UInt32,
    file_lines_deleted UInt32,
    file_hunks_added UInt32,
    file_hunks_removed UInt32,
    file_hunks_changed UInt32,

    commit_hash String,
    author LowCardinality(String),
    time DateTime,
    commit_message String,
    commit_files_added UInt32,
    commit_files_deleted UInt32,
    commit_files_renamed UInt32,
    commit_files_modified UInt32,
    commit_lines_added UInt32,
    commit_lines_deleted UInt32,
    commit_hunks_added UInt32,
    commit_hunks_removed UInt32,
    commit_hunks_changed UInt32
) ENGINE = MergeTree ORDER BY time;

INSERT INTO SELECT와 s3 함수로 데이터를 삽입합니다. 예를 들어 아래에서 ClickHouse 파일을 각각의 테이블에 삽입합니다:

commits

INSERT INTO git.commits SELECT *
FROM s3('https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/commits.tsv.xz', NOSIGN, 'TSV', 'hash String,author LowCardinality(String), time DateTime, message String, files_added UInt32, files_deleted UInt32, files_renamed UInt32, files_modified UInt32, lines_added UInt32, lines_deleted UInt32, hunks_added UInt32, hunks_removed UInt32, hunks_changed UInt32')

0 rows in set. Elapsed: 1.826 sec. Processed 62.78 thousand rows, 8.50 MB (34.39 thousand rows/s., 4.66 MB/s.)

file_changes

INSERT INTO git.file_changes SELECT *
FROM s3('https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/file_changes.tsv.xz', NOSIGN, 'TSV', 'change_type Enum(\'Add\' = 1, \'Delete\' = 2, \'Modify\' = 3, \'Rename\' = 4, \'Copy\' = 5, \'Type\' = 6), path LowCardinality(String), old_path LowCardinality(String), file_extension LowCardinality(String), lines_added UInt32, lines_deleted UInt32, hunks_added UInt32, hunks_removed UInt32, hunks_changed UInt32, commit_hash String, author LowCardinality(String), time DateTime, commit_message String, commit_files_added UInt32, commit_files_deleted UInt32, commit_files_renamed UInt32, commit_files_modified UInt32, commit_lines_added UInt32, commit_lines_deleted UInt32, commit_hunks_added UInt32, commit_hunks_removed UInt32, commit_hunks_changed UInt32')

0 rows in set. Elapsed: 2.688 sec. Processed 266.05 thousand rows, 48.30 MB (98.97 thousand rows/s., 17.97 MB/s.)

line_changes

INSERT INTO git.line_changes SELECT *
FROM s3('https://datasets-documentation.s3.amazonaws.com/github/commits/clickhouse/line_changes.tsv.xz', NOSIGN, 'TSV', '    sign Int8, line_number_old UInt32, line_number_new UInt32, hunk_num UInt32, hunk_start_line_number_old UInt32, hunk_start_line_number_new UInt32, hunk_lines_added UInt32,\n    hunk_lines_deleted UInt32, hunk_context LowCardinality(String), line LowCardinality(String), indent UInt8, line_type Enum(\'Empty\' = 0, \'Comment\' = 1, \'Punct\' = 2, \'Code\' = 3), prev_commit_hash String, prev_author LowCardinality(String), prev_time DateTime, file_change_type Enum(\'Add\' = 1, \'Delete\' = 2, \'Modify\' = 3, \'Rename\' = 4, \'Copy\' = 5, \'Type\' = 6),\n    path LowCardinality(String), old_path LowCardinality(String), file_extension LowCardinality(String), file_lines_added UInt32, file_lines_deleted UInt32, file_hunks_added UInt32, file_hunks_removed UInt32, file_hunks_changed UInt32, commit_hash String,\n    author LowCardinality(String), time DateTime, commit_message String, commit_files_added UInt32, commit_files_deleted UInt32, commit_files_renamed UInt32, commit_files_modified UInt32, commit_lines_added UInt32, commit_lines_deleted UInt32, commit_hunks_added UInt32, commit_hunks_removed UInt32, commit_hunks_changed UInt32')

0 rows in set. Elapsed: 50.535 sec. Processed 7.54 million rows, 2.09 GB (149.11 thousand rows/s., 41.40 MB/s.)

쿼리 (Queries)

이 도구는 도움말 출력을 통해 여러 쿼리를 제안합니다. 우리는 이에 더해 흥미로운 몇 가지 보충 질문에 답했습니다. 이 쿼리들은 도구의 임의 순서에 비해 대략 증가하는 복잡성 순서입니다.

이 데이터셋은 play.clickhouse.com의 git_clickhouse 데이터베이스에 있습니다. 모든 쿼리에 대해 이 환경 링크를 제공하며 필요에 따라 데이터베이스 이름을 조정합니다. 데이터 수집 시점의 차이로 인해 play의 결과가 여기에 제시된 것과 다를 수 있습니다.

단일 파일의 히스토리 (History of a single file)

가장 간단한 쿼리입니다. 여기서 StorageReplicatedMergeTree.cpp에 대한 모든 커밋 메시지를 살펴봅니다. 이것들이 아마 더 흥미로울 수 있으므로 가장 최근 메시지부터 정렬합니다.

ClickHouse 데이터로 쿼리 작성하기