S3 Parquet 내보내기

S3 Parquet 내보내기 (S3 Parquet Export)

Parquet 파일을 S3에 쓰려면 httpfs 확장이 필요해요. INSTALL SQL 명령으로 설치할 수 있는데, 이건 한 번만 실행하면 됩니다.

INSTALL httpfs;

사용을 위해 httpfs 확장을 로드할 땐 LOAD SQL 명령을 씁니다.

LOAD httpfs;

httpfs 확장을 로드한 뒤에는 데이터를 쓰기 위한 자격 증명(credential)을 설정하세요. region 파라미터는 접근하려는 버킷의 리전과 일치해야 합니다.

CREATE SECRET (
    TYPE s3,
    KEY_ID '⟨AKIAIO...MPLE⟩',
    SECRET '⟨wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY⟩',
    REGION '⟨us-east-1⟩'
);

Tip IO 에러(Connection error for HTTP HEAD)가 나면 ENDPOINT 's3.⟨your-region⟩.amazonaws.com'로 엔드포인트를 명시적으로 설정해 보세요.

자격 증명을 자동으로 가져오고 싶다면 — 또는 named profile, SSO, assummed role을 쓰려면 — aws 확장을 참고하세요. 기본 형태는 다음과 같아요.

CREATE SECRET (
    TYPE s3,
    PROVIDER credential_chain
);

httpfs 확장을 설정하고 S3 자격 증명이 제대로 구성됐다면, 다음 명령으로 Parquet 파일을 S3에 쓸 수 있습니다.

COPY ⟨table_name⟩ TO 's3://⟨s3-bucket⟩/⟨filename⟩.parquet';

마찬가지로 Google Cloud Storage(GCS)도 Interoperability API로 지원됩니다. HMAC 키를 만들어 다음과 같이 자격 증명을 제공하세요.

CREATE SECRET (
    TYPE gcs,
    KEY_ID '⟨AKIAIO...MPLE⟩',
    SECRET '⟨wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY⟩'
);

GCS 자격 증명을 설정한 뒤에는 다음과 같이 내보낼 수 있어요.

COPY ⟨table_name⟩ TO 'gs://⟨gcs_bucket⟩/⟨filename⟩.parquet';