ListGCSBucket

ListGCSBucket

GCS 버킷에서 객체 목록을 가져오는 프로세서예요. 나열된 각 객체에 대해 객체를 나타내는 FlowFile을 생성해서 FetchGCSObject와 함께 가져올 수 있어요. 이 프로세서는 클러스터에서 Primary Node에서만 실행되도록 설계됐어요. primary node가 변경되어도 새 Primary Node가 모든 데이터를 중복하지 않고 이전 노드가 중단한 지점부터 이어서 처리해요.

출처: Snowflake 문서

본문

기능 — 일반 제공(Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.

Bundle

org.apache.nifi | nifi-gcp-nar

설명 (Description)

GCS 버킷에서 객체 목록을 가져와요. 나열된 각 객체에 대해 객체를 나타내는 FlowFile을 생성해서 FetchGCSObject와 함께 가져올 수 있어요. 이 프로세서는 클러스터에서 Primary Node에서만 실행되도록 설계됐어요. primary node가 변경되면 새 Primary Node가 모든 데이터를 중복하지 않고 이전 노드가 중단한 지점부터 이어서 처리해요.

태그 (Tags)

gcs, google, google cloud, list, storage

입력 요구사항 (Input Requirement)

FORBIDDEN (금지)

민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)

false

속성 (Properties)

Property Description
Entity Tracking Initial Listing Target 초기 목록을 처리하는 방법을 지정해요. ‘Tracking Entities’ 전략에서 사용돼요.
Entity Tracking State Cache 나열된 엔티티를 지정된 캐시 저장소에 저장해서 이 프로세서가 NiFi 재시작 또는 primary node 변경 시에도 목록을 이어서 처리할 수 있게 해요. ‘Tracking Entities’ 전략은 최근 ‘Tracking Time Window’ 안에 나열된 모든 엔티티의 추적 정보를 요구해요. 많은 수의 엔티티를 지원하기 위해 이 전략은 managed state 대신 DistributedMapCache를 사용해요. Cache key 형식은 ‘ListedEntities::{processorId}(::{nodeId})’예요. 노드별로 나열된 엔티티를 추적한다면 상태를 별도로 관리하기 위해 선택적인 ‘::{nodeId}’ 부분이 추가돼요. 예: cluster wide cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3'. 저장된 cache 내용은 Gzipped JSON string이에요. 대상 목록 구성이 변경되면 cache key가 삭제돼요. ‘Tracking Entities’ 전략에서 사용돼요.
Entity Tracking Time Window 이 프로세서가 이미 나열된 엔티티를 얼마나 오래 추적할지 지정해요. ‘Tracking Entities’ 전략은 지정된 시간 창 안에 있는 타임스탬프의 엔티티를 선택할 수 있어요. 예를 들어 ’30 minutes’로 설정하면 최근 30분 내 타임스탬프를 가진 엔티티가 이 프로세서 실행 시 목록 대상이 돼요. 다음 조건 중 하나가 충족되면 나열된 엔티티는 ‘new/updated’로 간주되고 FlowFile이 생성돼요. 1. 이미 나열된 엔티티에 존재하지 않음, 2. 캐시된 엔티티보다 새 타임스탬프를 가짐, 3. 캐시된 엔티티와 크기가 다름. 캐시된 엔티티의 타임스탬프가 지정된 시간 창보다 오래되면 해당 엔티티는 캐시된 이미 나열된 엔티티에서 제거돼요. ‘Tracking Entities’ 전략에서 사용돼요.
GCP Credentials Provider Service Google Cloud Platform 자격 증명을 얻는 데 사용하는 Controller Service예요.
gcp-project-id Google Cloud Project ID예요.
gcp-retry-count failure 관계로 연결되기 전에 수행할 재시도 횟수예요.
gcs-bucket 객체의 버킷이에요.
gcs-prefix 객체 목록을 필터링하는 데 사용하는 접두사예요. 대부분의 경우 슬래시(‘/’)로 끝나야 해요.
gcs-use-generations 해당하는 경우 GCS Generations을 사용할지 여부를 지정해요. false면 각 객체의 최신 버전만 반환돼요.
listing-strategy new/updated 엔티티를 결정하는 방법을 지정해요. 자세한 내용은 각 전략 설명을 참고하세요.
proxy-configuration-service 네트워크 요청을 프록시할 Proxy Configuration Controller Service를 지정해요.
record-writer 목록을 만드는 데 사용할 Record Writer를 지정해요. 지정하지 않으면 나열된 각 엔티티마다 FlowFile 하나가 생성돼요. 지정하면 모든 엔티티가 개별 FlowFiles에 속성을 추가하는 대신 단일 FlowFile에 기록돼요.
storage-api-url 기본 storage URL을 재정의해요. 대체 Storage API URL을 구성하면 Google의 Private Service Connections 문서에 설명된 대로 요청의 HTTP Host 헤더도 재정의돼요.

상태 관리 (State management)

Scopes Description
CLUSTER 키 목록을 수행한 후 최신 키의 타임스탬프와 함께 같은 타임스탬프를 공유하는 키들이 저장돼요. 이렇게 하면 프로세서가 다음 실행 때 이 날짜 이후에 추가되거나 수정된 키만 나열할 수 있어요. 상태는 클러스터 전체에 저장되므로 이 프로세서를 Primary Node에서만 실행할 수 있고, 새 Primary Node가 선택되면 새 노드가 데이터를 중복하지 않고 이전 노드가 중단한 지점부터 이어서 처리할 수 있어요.

관계 (Relationships)

Name Description
success Google Cloud Storage 작업이 성공한 후 FlowFiles가 이 관계로 연결돼요.

쓰기 속성 (Writes attributes)

Name Description
filename 파일 이름이에요.
gcs.bucket 객체의 버킷이에요.
gcs.key 객체의 이름이에요.
gcs.size 객체의 크기예요.
gcs.cache.control 객체의 데이터 캐시 제어(cache control)예요.
gcs.component.count 객체를 구성하는 구성 요소 수예요.
gcs.content.disposition 객체의 데이터 content disposition이에요.
gcs.content.encoding 객체의 content encoding이에요.
gcs.content.language 객체의 content language예요.
mime.type 객체의 MIME/Content-Type이에요.
gcs.crc32c 객체 데이터의 CRC32C 체크섬으로, big-endian 순서로 base64로 인코딩돼요.
gcs.create.time 객체의 생성 시간(밀리초)이에요.
gcs.update.time 객체의 마지막 수정 시간(밀리초)이에요.
gcs.encryption.algorithm 객체를 암호화하는 데 사용된 알고리즘이에요.
gcs.encryption.sha256 객체를 암호화하는 데 사용된 키의 SHA256 해시예요.
gcs.etag 객체에 대한 HTTP 1.1 Entity tag예요.
gcs.generated.id 객체에 대해 서비스가 생성한 ID예요.
gcs.generation 객체의 데이터 generation이에요.
gcs.md5 객체 데이터의 MD5 해시로, base64로 인코딩돼요.
gcs.media.link 객체에 대한 미디어 다운로드 링크예요.
gcs.metageneration 객체의 metageneration이에요.
gcs.owner 객체의 소유자(업로더)예요.
gcs.owner.type 객체 업로더의 ACL 엔티티 유형이에요.
gcs.acl.owner 객체에 대한 owner 액세스 권한이 있는 ACL 엔티티의 쉼표로 구분된 목록이에요. 엔티티는 이메일 주소, 도메인 또는 프로젝트 ID 중 하나예요.
gcs.acl.writer 객체에 대한 write 액세스 권한이 있는 ACL 엔티티의 쉼표로 구분된 목록이에요. 엔티티는 이메일 주소, 도메인 또는 프로젝트 ID 중 하나예요.
gcs.acl.reader 객체에 대한 read 액세스 권한이 있는 ACL 엔티티의 쉼표로 구분된 목록이에요. 엔티티는 이메일 주소, 도메인 또는 프로젝트 ID 중 하나예요.
gcs.uri 객체의 URI를 문자열로 나타낸 값이에요.

함께 보기 (See also)

  • org.apache.nifi.processors.gcp.storage.DeleteGCSObject
  • org.apache.nifi.processors.gcp.storage.FetchGCSObject
  • org.apache.nifi.processors.gcp.storage.PutGCSObject

더 알아보기 (Learn more)