PutBigQuery
PutBigQuery
FlowFile의 내용을 Google BigQuery 테이블에 쓰는 프로세서예요. 레코드 기반이라 사용되는 스키마는 RecordReader가 결정해요.
본문
번들 (Bundle)
org.apache.nifi | nifi-gcp-nar
설명
FlowFile의 내용을 Google BigQuery 테이블에 작성해요. 이 프로세서는 레코드 기반이므로 사용되는 스키마는 RecordReader가 결정해요. 대상 스키마와 일치하지 않는 속성은 건너뛰어요. 정확히 한 번(exactly once) 전달 의미는 스트림 offset을 통해 달성돼요.
태그
bigquery, bq, google, google cloud
입력 요구 사항 (Input Requirement)
REQUIRED — 입력 FlowFile이 필요해요.
민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)
false — 지원하지 않아요.
속성 (Properties)
| 속성 | 설명 |
|---|---|
| GCP Credentials Provider Service | Google Cloud Platform 자격 증명을 얻기 위한 Controller Service예요. |
| bigquery-api-endpoint | 기본 BigQuery 엔드포인트를 재정의하는 데 사용할 수 있어요. 기본값은 bigquerystorage.googleapis.com:443이에요. 형식은 hostname:port여야 해요. |
| bq.append.record.count | 쓰기 스트림에 한 번에 추가할 레코드 수예요. 배치 및 스트림 유형 모두에 적용돼요. |
| bq.dataset | BigQuery 데이터셋 이름이에요(참고: 데이터셋이 GCP에 존재해야 해요). |
| bq.record.reader | 들어오는 데이터를 파싱하는 데 사용할 Controller Service를 지정해요. |
| bq.skip.invalid.rows | 잘못된 행이 있어도 요청의 모든 유효한 행을 삽입할지 설정해요. 설정하지 않으면 잘못된 행이 포함된 경우 전체 삽입 요청이 실패해요. |
| bq.table.name | BigQuery 테이블 이름이에요. |
| bq.transfer.type | 선호하는 전송 유형인 streaming 또는 batching을 정의해요. |
| gcp-project-id | Google Cloud Project ID예요. |
| gcp-retry-count | failure 관계로 라우팅하기 전에 재시도할 횟수예요. |
| proxy-configuration-service | 네트워크 요청을 프록시할 Proxy Configuration Controller Service를 지정해요. |
관계 (Relationships)
| 이름 | 설명 |
|---|---|
failure |
Google BigQuery 연산이 실패하면 FlowFile이 이 관계로 라우팅돼요. |
success |
Google BigQuery 연산 성공 후 FlowFile이 이 관계로 라우팅돼요. |
쓰기 속성 (Writes attributes)
| 이름 | 설명 |
|---|---|
bq.records.count |
성공적으로 삽입된 레코드 수예요. |