로컬 파일시스템 지원
로컬 파일시스템 지원 (Local file system support)
Trino는 Delta Lake, Hive, Hudi, Iceberg 커넥터를 사용하는 카탈로그로 로컬 파일시스템에 접근하는 것을 지원해요. 로컬 파일시스템은 모든 클러스터 노드에서 사용할 수 있는 공유 파일시스템의 로컬 마운트 지점이어야 해요.
출처: 문서
본문
Trino는 Delta Lake, Hive, Hudi, Iceberg 커넥터를 사용하는 카탈로그로 로컬 파일시스템에 접근하는 것을 지원해요. 로컬 파일시스템은 모든 클러스터 노드에서 사용할 수 있는 공유 파일시스템의 로컬 마운트 지점이어야 해요.
로컬 파일시스템 지원은 기본적으로 활성화되어 있지 않지만, 카탈로그 구성 파일에 fs.local.enabled 프로퍼티를 true로 설정해 활성화할 수 있어요.
일반 구성 (General configuration)
로컬 파일시스템 지원의 일반적인 측면을 구성하려면 다음 프로퍼티를 사용해요.
| 프로퍼티 | 설명 |
|---|---|
fs.local.enabled |
로컬 파일시스템 접근 지원을 활성화해요. 기본값은 false. true로 설정하면 로컬 파일시스템을 사용하고 다른 모든 프로퍼티를 활성화해요. |
local.location |
local:// 접두사와 마운트 지점 경로를 사용해 모든 노드의 공유 파일시스템 루트까지의 로컬 경로. |
다음 예시는 Hive 커넥터를 사용하는 etc/catalog/example.properties 카탈로그 구성에서 관련 섹션을 보여 줘요. 코디네이터와 모든 워커 노드에 /storage/datalake에 외부 스토리지가 마운트되어 있어, 위치는 local:///storage/datalake가 돼요.
connector.name=hive
...
fs.local.enabled=true
local.location=local:///storage/datalake
default라는 스키마를 만들면 /storage/datalake/default 경로가 생겨요. 그 스키마 안의 테이블은 /storage/datalake/default/table1처럼 분리된 디렉토리가 돼요.
더 알아보기 (Learn more)
로컬 파일시스템으로 데이터 레이크를 구성할 수 있게 됐어요. 이어서 분산 파일시스템인 HDFS 지원을 살펴보면 좋아요.