WikiStat

WikiStat

Wikimedia의 조회수 데이터를 담은 대규모 데이터셋입니다. 총 5천억 개(0.5 trillion)의 레코드를 포함하며, 페이지별 조회 패턴을 분석하는 데 유용합니다. 위키백과를 비롯한 위키미디어 프로젝트의 방대한 트래픽 데이터를 다뤄 볼 수 있어요.

출처: 문서

본문

이 데이터셋은 0.5조(5천억) 개의 레코드를 포함합니다.

FOSDEM 2023 영상을 참고하세요: https://www.youtube.com/watch?v=JlcI2Vfz_uk

그리고 프레젠테이션: https://presentations.clickhouse.com/fosdem2023/

데이터 원본: https://dumps.wikimedia.org/other/pageviews/

링크 목록 가져오기:

for i in {2015..2023}; do
  for j in {01..12}; do
    echo "${i}-${j}" >&2
    curl -sSL "https://dumps.wikimedia.org/other/pageviews/$i/$i-$j/" \
      | grep -oE 'pageviews-[0-9]+-[0-9]+\.gz'
  done
done | sort | uniq | tee links.txt

데이터 다운로드:

sed -r 's!pageviews-([0-9]{4})([0-9]{2})[0-9]{2}-[0-9]+\.gz!https://dumps.wikimedia.org/other/pageviews/\1/\1-\2/\0!' \
  links.txt | xargs -P3 wget --continue

(약 3일 정도 걸립니다)

테이블 생성:

CREATE TABLE wikistat
(
    time DateTime CODEC(Delta, ZSTD(3)),
    project LowCardinality(String),
    subproject LowCardinality(String),
    path String CODEC(ZSTD(3)),
    hits UInt64 CODEC(ZSTD(3))
)
ENGINE = MergeTree
ORDER BY (path, time);

데이터 로딩:

clickhouse-local --query "
  WITH replaceRegexpOne(_path, '^.+pageviews-(\\d{4})(\\d{2})(\\d{2})-(\\d{2})(\\d{2})(\\d{2}).gz$', '\1-\2-\3 \4-\5-\6')::DateTime AS time, 
       extractGroups(line, '^([^ \\.]+)(\\.[^ ]+)? +([^ ]+) +(\\d+) +(\\d+)$') AS values
  SELECT 
    time, 
    values[1] AS project,
    values[2] AS subproject,
    values[3] AS path,
    (values[4])::UInt64 AS hits
  FROM file('pageviews*.gz', LineAsString)
  WHERE length(values) = 5 FORMAT Native
" | clickhouse-client --query "INSERT INTO wikistat FORMAT Native"

또는 정리된 데이터 로딩:

INSERT INTO wikistat WITH
    parseDateTimeBestEffort(extract(_file, '^pageviews-([\\d\\-]+)\\.gz$')) AS time,
    splitByChar(' ', line) AS values,
    splitByChar('.', values[1]) AS projects
SELECT
    time,
    projects[1] AS project,
    projects[2] AS subproject,
    decodeURLComponent(values[2]) AS path,
    CAST(values[3], 'UInt64') AS hits
FROM s3(
    'https://clickhouse-public-datasets.s3.amazonaws.com/wikistat/original/pageviews*.gz',
    LineAsString)
WHERE length(values) >= 3

더 알아보기 (Learn more)