Google Cloud Storage 가져오기

Google Cloud Storage 가져오기 (Google Cloud Storage Import)

DuckDB에서 Google Cloud Storage(GCS)의 데이터를 바로 읽거나 DB에 연결할 수 있습니다. 핵심은 httpfs 확장을 설치하고, HMAC 자격 증명을 CREATE SECRET으로 등록한 뒤 평소처럼 쿼리하는 것입니다.

출처: 공식문서

사전 준비 (Prerequisites)

Google Cloud Storage(GCS)는 httpfs 확장을 통해 사용할 수 있습니다. INSTALL httpfs SQL 명령으로 설치하면 되며, 이 설치는 한 번만 실행하면 됩니다.

자격 증명과 설정 (Credentials and Configuration)

HMAC 키를 생성해서 선언해주어야 합니다.

CREATE SECRET (
    TYPE gcs,
    KEY_ID '«redacted:AKIA…»',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY'
);

쿼리하기 (Querying)

GCS 자격 증명을 설정한 후에는 다음처럼 GCS 데이터를 쿼리할 수 있습니다.

SELECT *
FROM read_parquet('gs://gcs_bucket/file.parquet');

데이터베이스에 연결하기 (Attaching to a Database)

읽기 전용 모드로 데이터베이스 파일에 attach할 수 있습니다.

LOAD httpfs;
ATTACH 'gs://gcs_bucket/file.duckdb' AS duckdb_database (READ_ONLY);

Google Cloud Storage의 데이터베이스는 읽기 전용 모드로만 attach할 수 있습니다.

더 알아보기 (Learn more)