icebergCluster
icebergCluster
iceberg 테이블 함수의 확장이에요. 지정된 클러스터의 여러 노드에서 Apache Iceberg 파일을 병렬로 처리할 수 있게 해줘요.
출처: 문서
본문
이 함수는 iceberg 테이블 함수의 확장이에요.
지정된 클러스터의 여러 노드에서 Apache Iceberg 파일을 병렬로 처리할 수 있어요. 이니시에이터(initiator)는 클러스터의 모든 노드에 연결을 만들고 각 파일을 동적으로 분배해요. 워커 노드는 이니시에이터에게 처리할 다음 작업을 물어보고 처리해요. 이 과정은 모든 작업이 끝날 때까지 반복돼요.
문법 (Syntax)
icebergS3Cluster(cluster_name, url [, NOSIGN | access_key_id, secret_access_key, [session_token]] [,format] [,compression_method] [,extra_credentials])
icebergS3Cluster(cluster_name, named_collection[, option=value [,..]])
icebergAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
icebergAzureCluster(cluster_name, named_collection[, option=value [,..]])
icebergHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])
icebergHDFSCluster(cluster_name, named_collection[, option=value [,..]])
인자 (Arguments)
cluster_name— 원격·로컬 서버의 주소 집합과 연결 파라미터를 만드는 데 사용하는 클러스터 이름이에요.- 그 외 모든 인자의 설명은 동등한
iceberg테이블 함수의 인자 설명과 일치해요. - 선택 사항인
extra_credentials파라미터로 ClickHouse Cloud에서 역할 기반 접근을 위한role_arn을 전달할 수 있어요. 구성 단계는 Secure S3를 참고하세요.
반환값 (Returned value)
클러스터에서 지정된 Iceberg 테이블의 데이터를 읽을 수 있는, 지정된 구조를 가진 테이블이에요.
예시 (Examples)
SELECT * FROM icebergS3Cluster('cluster_simple', 'http://test.s3.amazonaws.com/clickhouse-bucket/test_table', 'test', 'test')
가상 컬럼 (Virtual Columns)
_path— 파일의 경로예요. 타입:LowCardinality(String)._file— 파일의 이름이에요. 타입:LowCardinality(String)._size— 바이트 단위의 파일 크기예요. 타입:Nullable(UInt64). 파일 크기를 알 수 없으면 값은NULL이에요._time—