ConvertRecord 프로세서
ConvertRecord 프로세서
이 문서는 Snowflake OpenFlow의 ConvertRecord 프로세서에 대한 참조 문서예요. 구성된 Record Reader와 Record Writer Controller Services를 사용해 레코드를 한 데이터 형식에서 다른 형식으로 변환해요.
출처: Snowflake 문서
본문
기능 — 일반 제공 (Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요.
Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.
번들 (Bundle)
| 그룹 | NAR |
|---|---|
| org.apache.nifi | nifi-standard-nar |
설명 (Description)
구성된 Record Reader와 Record Writer Controller Services를 사용해 레코드를 한 데이터 형식에서 다른 형식으로 변환해요. Reader와 Writer는 "일치하는" 스키마로 구성해야 해요. 즉 스키마가 동일한 필드 이름을 가져야 한다는 뜻이에요. 필드 값이 한 유형에서 다른 유형으로 강제 변환될 수 있다면 필드 유형이 같을 필요는 없어요. 예를 들어 입력 스키마에 double 유형의 "balance" 필드가 있으면 출력 스키마에는 string, double 또는 float 유형의 "balance" 필드가 있을 수 있어요. 입력에 있지만 출력에 없는 필드가 있으면 해당 필드는 출력에서 제외돼요. 출력 스키마에 지정됐지만 입력 데이터/스키마에 없는 필드가 있으면 Writer에 따라 해당 필드는 출력에 없거나 null 값을 가져요.
태그 (Tags)
avro, convert, csv, freeform, generic, json, log, logs, record, schema, text
입력 요구사항 (Input Requirement)
REQUIRED
민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)
아니요 (false)
속성 (Properties)
| 속성 | 설명 |
|---|---|
| Include Zero Record FlowFiles | 들어오는 FlowFile을 변환할 때 결과가 데이터가 없으면, 이 속성은 해당 관계로 FlowFile이 전송되는지 여부를 지정해요. |
| Record Reader | 들어오는 데이터를 읽는 데 사용할 Controller Service를 지정해요. |
| Record Writer | 레코드를 기록하는 데 사용할 Controller Service를 지정해요. |
관계 (Relationships)
| 이름 | 설명 |
|---|---|
| failure | FlowFile을 구성된 입력 형식에서 구성된 출력 형식으로 변환할 수 없으면 변경되지 않은 FlowFile이 이 관계로 라우팅돼요. |
| success | 성공적으로 변환된 FlowFiles가 이 관계로 라우팅돼요. |
기록하는 속성 (Writes attributes)
| 이름 | 설명 |
|---|---|
| mime.type | mime.type 속성을 Record Writer가 지정한 MIME Type으로 설정해요. |
| record.count | FlowFile의 레코드 수예요. |
| record.error.message | 이 속성은 실패 시 Reader 또는 Writer가 겪은 오류 메시지를 제공해요. |
사용 사례 (Use cases)
- 데이터를 한 레코드 지향 형식에서 다른 형식으로 변환