AvroRecordSetWriter
AvroRecordSetWriter
RecordSet의 내용을 바이너리 Avro 형식으로 쓰는 OpenFlow 컨트롤러 서비스예요.
출처: 문서
본문
기능 — 일반 공개(Generally Available)
Openflow Snowflake 배포는 AWS, Azure, GCP 상용(Commercial) 지역의 모든 계정에서 사용할 수 있어요. Openflow BYOC 배포는 AWS 상용 지역의 모든 계정에서 사용할 수 있어요.
설명 (Description)
RecordSet의 내용을 바이너리 Avro 형식으로 써요.
태그 (Tags)
avro, record, recordset, result, row, serializer, set, writer
속성 (Properties)
아래 목록에서 필수 속성은 별표(*)로 표시돼요. 그 외 속성은 선택 사항으로 간주돼요. 표에는 기본값과 해당 속성이 NiFi Expression Language를 지원하는지 여부도 함께 표시돼요.
| 표시 이름 (Display Name) | API 이름 (API Name) | 기본값 (Default Value) | 허용 값 (Allowable Values) | 설명 (Description) |
|---|---|---|---|---|
| Schema Access Strategy * | Schema Access Strategy | inherit-record-schema | Inherit Record Schema, Use 'Schema Name' Property, Use 'Schema Text' Property | 데이터를 해석하는 데 사용할 스키마를 얻는 방법을 지정해요. |
| Schema Branch | Schema Branch | 스키마 레지스트리 속성에서 스키마를 조회할 때 사용할 브랜치 이름을 지정해요. 선택한 스키마 레지스트리가 브랜치를 지원하지 않으면 이 값은 무시돼요. | ||
| Schema Cache | Schema Cache | Record Reader가 스키마를 빠르게 조회할 수 있도록 Record Schema를 추가할 Schema Cache를 지정해요. | ||
| Schema Name | Schema Name | ${schema.name} | 스키마 레지스트리 속성에서 조회할 스키마의 이름을 지정해요. | |
| Schema Reference Reader * | Schema Reference Reader | 스키마 참조 식별자(Schema Reference Identifier)를 결정하기 위해 FlowFile 속성이나 콘텐츠를 읽는 역할을 담당하는 서비스 구현이에요. | ||
| Schema Reference Writer * | Schema Reference Writer | 스키마 참조 정보로 FlowFile 속성이나 콘텐츠 헤더를 쓰는 역할을 담당하는 서비스 구현이에요. | ||
| Schema Registry | Schema Registry | 스키마 레지스트리에 사용할 컨트롤러 서비스를 지정해요. | ||
| Schema Text | Schema Text | ${avro.schema} | Avro 형식 스키마의 텍스트예요. | |
| Schema Version | Schema Version | 스키마 레지스트리에서 조회할 스키마의 버전을 지정해요. 지정하지 않으면 최신 버전의 스키마를 가져와요. | ||
| Schema Write Strategy * | Schema Write Strategy | avro-embedded | Embed Avro Schema, Do Not Write Schema, Set 'schema.name' Attribute, Set 'avro.schema' Attribute, Schema Reference Writer | 레코드의 스키마를 데이터에 추가하는 방법을 지정해요. |
| Cache Size * | cache-size | 1000 | 캐시할 스키마의 수를 지정해요. | |
| Compression Format * | compression-format | NONE | BZIP2, DEFLATE, NONE, SNAPPY, LZO | Avro 파일을 쓸 때 사용할 압축 유형이에요. 기본값은 None이에요. |
| Encoder Pool Size * | encoder-pool-size | 32 | Avro Writer는 Encoder를 사용해야 해요. Encoder 생성은 비용이 들지만, 한번 생성되면 재사용할 수 있어요. 이 속성은 풀링되어 재사용할 수 있는 최대 Encoder 수를 제어해요. 이 값을 너무 작게 설정하면 성능이 저하될 수 있고, 너무 크게 설정하면 힙(heap)을 더 많이 사용할 수 있어요. Avro Writer가 'Embed Avro Schema' 스키마 쓰기 전략으로 구성된 경우 이 속성은 무시돼요. |
상태 관리 (State management)
이 컴포넌트는 상태를 저장하지 않아요.
제한 (Restricted)
이 컴포넌트는 제한되지 않아요.
시스템 리소스 고려 사항 (System Resource Considerations)
이 컴포넌트는 시스템 리소스 고려 사항을 지정하지 않아요.