deltaLakeCluster 테이블 함수

deltaLakeCluster 테이블 함수 (deltaLakeCluster)

deltaLake 테이블 함수의 확장이에요. Amazon S3의 Delta Lake 테이블 파일을 지정된 클러스터의 많은 노드에서 병렬로 처리할 수 있게 해줍니다.

이니시에이터는 클러스터의 모든 노드에 연결하고 각 파일을 동적으로 분배합니다. 워커 노드는 이니시에이터에게 처리할 다음 작업을 요청하고 처리합니다. 모든 작업이 끝날 때까지 반복합니다.

출처: 문서

본문

이것은 deltaLake 테이블 함수의 확장입니다. Amazon S3의 Delta Lake 테이블 파일을 지정된 클러스터의 많은 노드에서 병렬로 처리할 수 있게 해줍니다. 이니시에이터에서 클러스터의 모든 노드에 연결하고 각 파일을 동적으로 분배합니다. 워커 노드에서는 처리할 다음 작업을 이니시에이터에게 요청하고 처리합니다. 모든 작업이 끝날 때까지 반복합니다.

구문

deltaLakeCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeCluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeS3Cluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
deltaLakeAzureCluster(cluster_name, named_collection[, option=value [,..]])

deltaLakeS3Cluster는 deltaLakeCluster의 별칭이며, 둘 다 S3용입니다.

인자

  • cluster_name — 원격·로컬 서버에 대한 주소 집합과 연결 파라미터를 만드는 데 사용하는 클러스터 이름.
  • 다른 모든 인자에 대한 설명은 해당 deltaLake 테이블 함수의 인자 설명과 동일합니다.
  • 선택적 extra_credentials 파라미터는 ClickHouse Cloud에서 역할 기반 접근을 위한 role_arn을 전달하는 데 사용할 수 있습니다. 구성 단계는 Secure S3를 참고하세요.

반환 값

S3의 지정된 Delta Lake 테이블에서 클러스터 데이터를 읽기 위한, 지정된 구조의 테이블.

가상 컬럼

  • _path — 파일 경로. 타입: LowCardinality(String).
  • _file — 파일 이름. 타입: LowCardinality(String).
  • _size — 파일 크기(바이트). 타입: Nullable(UInt64). 파일 크기를 알 수 없으면 NULL.
  • _time — 파일의 마지막 수정 시간. 타입: Nullable(DateTime). 시간을 알 수 없으면 NULL.
  • _etag — 파일의 etag. 타입: LowCardinality(String). etag를 알 수 없으면 NULL.

더 알아보기 (Learn more)