ListDropbox
ListDropbox
Dropbox에서 파일 목록을 가져오는 프로세서예요(단축 바로가기(shortcut)는 무시돼요). 나열된 각 파일은 하나의 FlowFile이 될 수 있고, 메타데이터는 FlowFile 특성으로 기록돼요. ‘Record Writer’ 속성을 설정하면 전체 결과가 단일 FlowFile에 레코드로 기록돼요. 이 프로세서는 클러스터에서 Primary Node에서만 실행되도록 설계됐어요. Primary node가 변경되어도 새 Primary Node가 데이터를 중복하지 않고 이전 노드에서 중단된 지점부터 이어서 처리해요.
출처: Snowflake 문서
본문
기능 — 일반 제공(Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.
Bundle
org.apache.nifi | nifi-dropbox-processors-nar
설명 (Description)
Dropbox에서 파일 목록을 가져와요(바로가기는 무시돼요). 나열된 각 파일은 하나의 FlowFile이 될 수 있고 메타데이터는 FlowFile 특성으로 기록돼요. ‘Record Writer’ 속성을 설정하면 전체 결과가 레코드로 단일 FlowFile에 기록돼요. 이 프로세서는 클러스터에서 Primary Node에서만 실행되도록 설계됐어요. Primary node가 변경되면 새 Primary Node가 모든 데이터를 중복하지 않고 이전 노드가 중단한 지점부터 이어서 처리해요.
태그 (Tags)
dropbox, storage
입력 요구사항 (Input Requirement)
FORBIDDEN (금지)
민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)
false
속성 (Properties)
| Property | Description |
|---|---|
| Dropbox Credential Service | Dropbox 자격 증명(App Key, App Secret, Access Token, Refresh Token)을 얻는 데 사용하는 Controller Service예요. 자세한 내용은 controller service의 Additional Details를 참고하세요. |
| Entity Tracking Initial Listing Target | 초기 목록을 처리하는 방법을 지정해요. ‘Tracking Entities’ 전략에서 사용돼요. |
| Entity Tracking State Cache | 나열된 엔티티를 지정된 캐시 저장소에 저장해서 NiFi 재시작 또는 primary node 변경 시에도 이 프로세서가 목록을 이어서 처리할 수 있게 해요. ‘Tracking Entities’ 전략은 최근 ‘Tracking Time Window’ 안에 나열된 모든 엔티티의 추적 정보를 요구해요. 많은 수의 엔티티를 지원하기 위해 이 전략은 managed state 대신 DistributedMapCache를 사용해요. Cache key 형식은 ‘ListedEntities::{processorId}(::{nodeId})’예요. 노드별로 나열된 엔티티를 추적한다면 상태를 별도로 관리하기 위해 선택적인 ‘::{nodeId}’ 부분이 추가돼요. 예를 들어 cluster wide cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3'이에요. 저장된 cache 내용은 Gzipped JSON string이에요. 대상 목록 구성이 변경되면 cache key가 삭제돼요. ‘Tracking Entities’ 전략에서 사용돼요. |
| Entity Tracking Time Window | 이 프로세서가 이미 나열된 엔티티를 얼마나 오래 추적할지 지정해요. ‘Tracking Entities’ 전략은 지정된 시간 창 안에 있는 타임스탬프의 엔티티를 선택할 수 있어요. 예를 들어 ’30 minutes’로 설정하면 최근 30분 내 타임스탬프를 가진 엔티티가 이 프로세서 실행 시 목록 대상이 돼요. 다음 조건 중 하나가 충족되면 나열된 엔티티는 ‘new/updated’로 간주되고 FlowFile이 생성돼요. 1. 이미 나열된 엔티티에 존재하지 않음, 2. 캐시된 엔티티보다 새 타임스탬프를 가짐, 3. 캐시된 엔티티와 크기가 다름. 캐시된 엔티티의 타임스탬프가 지정된 시간 창보다 오래되면 해당 엔티티는 캐시된 이미 나열된 엔티티에서 제거돼요. ‘Tracking Entities’ 전략에서 사용돼요. |
| Folder | 파일 목록을 가져올 폴더의 Dropbox 식별자 또는 경로예요. ‘Folder’는 다음 정규식 패턴과 일치해야 해요: `/_ |
| Listing Strategy | new/updated 엔티티를 결정하는 방법을 지정해요. 자세한 내용은 각 전략 설명을 참고하세요. |
| Minimum File Age | 파일이 고려되기 위한 최소 수명이에요. 이보다 최신 파일은 무시돼요. |
| Record Writer | 목록을 만드는 데 사용할 Record Writer를 지정해요. 지정하지 않으면 나열된 각 엔티티마다 FlowFile 하나가 생성돼요. 지정하면 모든 엔티티가 개별 FlowFiles에 속성을 추가하는 대신 단일 FlowFile에 기록돼요. |
| Search Recursively | Dropbox 폴더의 하위 폴더에서도 파일을 나열할지 여부예요. |
| proxy-configuration-service | 네트워크 요청을 프록시할 Proxy Configuration Controller Service를 지정해요. |
상태 관리 (State management)
| Scopes | Description |
|---|---|
| CLUSTER | 이미 나열된 파일을 추적할 수 있도록 필요한 데이터를 저장해요. 정확히 무엇을 저장해야 하는지는 ‘Listing Strategy’에 따라 달라져요. |
관계 (Relationships)
| Name | Description |
|---|---|
| success | 수신된 모든 FlowFile은 success로 연결돼요. |
쓰기 속성 (Writes attributes)
| Name | Description |
|---|---|
| dropbox.id | 파일의 Dropbox 식별자예요. |
| path | 파일이 있는 폴더 경로예요. |
| filename | 파일 이름이에요. |
| dropbox.size | 파일 크기예요. |
| dropbox.timestamp | 파일의 서버 수정 시간이에요. |
| dropbox.revision | 파일의 개정(revision)이에요. |
함께 보기 (See also)
- org.apache.nifi.processors.dropbox.FetchDropbox
- org.apache.nifi.processors.dropbox.PutDropbox