ExtractAvroMetadata 2025.10.9.21 — Avro 메타데이터 추출 프로세서
ExtractAvroMetadata 2025.10.9.21 — Avro 메타데이터 추출 프로세서
ExtractAvroMetadata 프로세서는 Avro 데이터 파일의 헤더에서 메타데이터를 추출해요. 추출된 메타데이터는 FlowFile의 속성으로 추가돼요.
출처: Snowflake 문서
본문
기능 — 일반 공개 (Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP의 상용 리전에서 모든 계정에 제공돼요.
Openflow BYOC 배포는 AWS의 상용 리전에서 모든 계정에 제공돼요.
Bundle
org.apache.nifi | nifi-avro-nar
Description
Avro 데이터 파일의 헤더에서 메타데이터를 추출해요.
Tags
avro, metadata, schema
Input Requirement
REQUIRED
Supports Sensitive Dynamic Properties
false
Properties
| Property | Description |
|---|---|
| Count Items | true면 데이터 파일의 항목 수를 세어서 FlowFile 속성 'item.count'에 저장해요. 블록을 읽고 각 블록의 항목 수를 구하는 방식으로 계산하므로 역직렬화를 피할 수 있어요. 세는 항목은 데이터 파일의 최상위 항목이에요. 예를 들어 record 타입의 스키마면 항목이 레코드이고, Array 타입의 스키마면 항목이 배열 자체예요(각 배열 내 항목 수가 아님) |
| Fingerprint Algorithm | 스키마 지문(fingerprint)을 생성하는 데 사용하는 알고리즘이에요. 선택 가능한 항목은 지문 생성을 위한 Avro 권장 관행을 기반으로 해요 |
| Metadata Keys | Avro 파일 헤더에서 추출할 키/값 쌍을 나타내는 쉼표로 구분된 키 목록이에요. 'avro.schema' 키는 JSON 형식의 전체 스키마를, 'avro.codec' 키는 코덱 이름이 있다면 그 이름을 추출하는 데 사용할 수 있어요 |
Relationships
| Name | Description |
|---|---|
| failure | Avro로 파싱할 수 없거나 어떤 이유로든 메타데이터를 추출할 수 없으면 FlowFile이 이 관계로 라우팅돼요 |
| success | 메타데이터 추출 후 FlowFile이 이 관계로 라우팅돼요 |
Writes attributes
| Name | Description |
|---|---|
| schema.type | 스키마의 타입이에요 (예: record, enum 등) |
| schema.name | 타입이 record, enum 또는 fixed일 때는 이름을, 그 외에는 기본(primitive) 타입의 이름을 포함해요 |
| schema.fingerprint | Fingerprint Algorithm의 결과를 Hex 문자열로 나타낸 값이에요 |
| item.count | 데이터 파일의 총 항목 수로, Count Items가 true로 설정된 경우에만 기록돼요 |