GetS3ObjectMetadata 프로세서
GetS3ObjectMetadata 프로세서
Openflow의 GetS3ObjectMetadata 프로세서는 S3 객체의 존재 여부를 확인하고, 실제로 다운로드하지 않고 메타데이터만 가져오는 프로세서예요. 데이터 처리를 진행하기 전에 S3 객체를 확인해야 하는 워크플로의 라우터로 사용할 수 있습니다.
출처: Snowflake 문서
본문
기능 — 일반 공급 (Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 리전의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용 리전의 모든 계정에서 사용할 수 있습니다.
Bundle
org.apache.nifi | nifi-aws-nar
설명
S3 객체의 존재 여부를 확인하고 실제로 다운로드하지 않고 메타데이터를 가져옵니다. 이 프로세서는 데이터 처리를 진행하기 전에 S3 객체를 확인해야 하는 워크플로의 라우터로 사용할 수 있습니다.
태그
AWS, Amazon, Archive, Exists, S3
입력 요구사항
필수 (REQUIRED)
민감한 동적 속성 지원
false
속성
| 이름 | 설명 |
|---|---|
| AWS Credentials Provider service | AWS 자격 증명 제공자를 얻는 데 사용하는 컨트롤러 서비스입니다. |
| Bucket | 상호 작용할 S3 버킷입니다. |
| Communications Timeout | AWS와 연결을 설정하거나 AWS에서 데이터를 받을 때까지 기다리는 시간입니다. |
| Custom Signer Class Name | 사용자 지정 서명자(signer) 클래스의 정규화된 클래스 이름입니다. 서명자는 com.amazonaws.auth.Signer 인터페이스를 구현해야 합니다. |
| Custom Signer Module Location | 사용자 지정 서명자의 JAR 파일과 해당 의존성(있는 경우)을 포함하는 파일/디렉터리 경로의 쉼표로 구분된 목록입니다. |
| Endpoint Override URL | AWS 기본값 대신 사용할 엔드포인트 URL로, scheme, host, port, path를 포함합니다. AWS 라이브러리는 AWS 리전에 따라 엔드포인트 URL을 선택하지만, 이 속성은 선택된 엔드포인트 URL을 재정의하여 다른 S3 호환 엔드포인트와 함께 사용할 수 있게 합니다. |
| FullControl User List | 객체에 대해 전체 제어(Full Control) 권한을 가질 사람을 지정하는 Amazon 사용자 ID 또는 이메일 주소의 쉼표로 구분된 목록입니다. |
| Metadata Attribute Include Pattern | 객체 메타데이터 항목 중 어떤 것을 FlowFile 속성으로 포함할지 결정하는 정규식 패턴입니다. 이 패턴은 'found' 관계에만 적용되며 'failure' 관계의 오류 속성을 필터링하는 데는 사용되지 않습니다. |
| Metadata Target | 메타데이터를 발견했을 때 어디에 기록할지 결정합니다. |
| Object Key | 사용할 S3 객체 키입니다. 전통적인 파일 시스템의 파일 이름과 유사합니다. |
| Owner | 객체 소유자에 사용할 Amazon ID입니다. |
| Read ACL User List | 객체의 Access Control List를 읽을 권한이 있는 사람을 지정하는 Amazon 사용자 ID 또는 이메일 주소의 쉼표로 구분된 목록입니다. |
| Read Permission User List | 객체에 대해 읽기 액세스 권한이 있는 사람을 지정하는 Amazon 사용자 ID 또는 이메일 주소의 쉼표로 구분된 목록입니다. |
| Region | 연결할 AWS 리전입니다. |
| SSL Context Service | 선택적인 SSL Context Service를 지정합니다. 제공되면 연결 생성에 사용됩니다. |
| Signer Override | AWS S3 라이브러리는 기본적으로 Signature Version 4를 사용하지만, 이 속성을 사용하면 구형 S3 호환 서비스를 지원하기 위해 Version 2 서명자를 지정하거나 자신만의 사용자 지정 서명자 구현을 연결할 수 있습니다. |
| Version | 메타데이터를 조회할 객체의 버전입니다. |
| proxy-configuration-service | 네트워크 요청을 프록시할 Proxy Configuration 컨트롤러 서비스를 지정합니다. |
관계
| 이름 | 설명 |
|---|---|
| failure | 프로세서가 주어진 FlowFile을 처리할 수 없으면 이 관계로 라우팅됩니다. |
| found | 제공된 키의 버킷에서 객체를 찾았습니다. |
| not found | 제공된 키의 버킷에서 객체를 찾지 못했습니다. |
참고 항목
org.apache.nifi.processors.aws.s3.DeleteS3Objectorg.apache.nifi.processors.aws.s3.FetchS3Objectorg.apache.nifi.processors.aws.s3.GetS3ObjectTagsorg.apache.nifi.processors.aws.s3.ListS3org.apache.nifi.processors.aws.s3.PutS3Objectorg.apache.nifi.processors.aws.s3.TagS3Object