external 소스 속성

external 소스 속성

external 속성은 외부 테이블(external table)을 가리키는 소스에 특화된 메타데이터 속성의 확장 가능한 딕셔너리예요. Hive 외부 테이블 스펙과 대략적으로 대응하는 선택적인 내장 속성들이 있어요.

출처: 문서

본문

models/<filename>.yml

sources:
  - name: <source_name>
    tables:
      - name: <table_name>
        external:
          location: <string>
          file_format: <string>
          row_format: <string>
          tbl_properties: <string>      
          partitions:
            - name: <column_name>
              data_type: <string>
              description: <string>
              config:
                meta: {dictionary} # changed to config in v1.10
            - ...
          <additional_property>: <additional_value>

Definition

외부 테이블을 가리키는 소스에 특화된 메타데이터 속성의 확장 가능한 딕셔너리예요. 간단한 타입 검증을 갖춘 선택적인 내장 속성이 있으며, 이 속성들은 Hive 외부 테이블 스펙과 대략적으로 대응해요. 원하는 만큼 추가 속성을 정의해서 사용할 수 있어요. external 속성을 정의하면 다음과 같은 일을 할 수 있어요:

  • graph.sources를 검사하는 매크로를 강화하기
  • 나중에 manifest에서 추출할 수 있는 메타데이터를 정의하기 이 속성이 커스텀 워크플로를 구동하는 데 어떻게 쓰일 수 있는지 예시를 보려면 dbt-external-tables 패키지를 참고해 주세요.

더 알아보기 (Learn more)