S3 파일시스템 지원

S3 파일시스템 지원 (S3 file system support)

Trino는 Delta Lake, Hive, Hudi, Iceberg 커넥터를 사용하는 카탈로그로 Amazon S3와 호환되는 스토리지 시스템에 접근하는 네이티브 구현을 포함해요.

출처: 문서

본문

Trino는 Delta Lake, Hive, Hudi, Iceberg 커넥터를 사용하는 카탈로그로 Amazon S3와 호환되는 스토리지 시스템에 접근하는 네이티브 구현을 포함해요. Trino는 S3 호환 스토리지 시스템을 지원하도록 설계되었지만, 호환성 테스트를 거친 것은 AWS S3와 MinIO뿐이에요. 다른 스토리지 시스템은 직접 테스트하고 공급업체에 문의하세요.

카탈로그 프로퍼티 파일에서 fs.s3.enabled=true로 네이티브 구현을 활성화해요.

일반 구성 (General configuration)

S3 파일시스템 지원의 일반적인 측면을 구성하려면 다음 프로퍼티를 사용해요.

인증 (Authentication)

access·secret 키, STS, 또는 IAM 역할로 S3 인증을 구성하려면 다음 프로퍼티를 사용해요. access key, secret key, STS, external ID 프로퍼티는 DEFAULT와 IAM_ROLE 인증 모드에서만 사용돼요. ANONYMOUS 또는 WEB_IDENTITY에 대해 이 중 하나라도 설정하면 시작 시 실패해요.

• ANONYMOUS: 자격 증명을 보내지 않아 퍼블릭 버킷을 읽을 때 사용.
• DEFAULT(기본): 설정된 경우 정적 access 키를 사용하고, 그렇지 않으면 AWS 기본 자격 증명 체인을 사용. 보안 매핑 역할은 여전히 적용돼요.
• IAM_ROLE: s3.iam-role에 구성된 IAM 역할을 맡아요.
• WEB_IDENTITY: 기본 자격 증명 체인 대신 웹 아이덴티티 토큰 파일 자격 증명 제공자를 사용. Amazon EKS에서 service account용 IAM 역할(IRSA)로 Trino를 실행할 때 유용해요. |

보안 매핑 (Security mapping)

Trino는 S3에 대한 유연한 보안 매핑을 지원해, 특정 사용자나 S3 위치에 대해 별도의 자격 증명 또는 IAM 역할을 사용할 수 있게 해줘요. 특정 쿼리의 IAM 역할은 허용된 역할 목록에서 하나를 선택해 추가 자격 증명(extra credential)으로 제공할 수 있어요.

각 보안 매핑 항목은 하나 이상의 매칭 기준을 지정할 수 있어요. 여러 기준을 지정하면 모든 기준이 일치해야 해요. 사용 가능한 매칭 기준은 다음과 같아요.

• user: 사용자 이름에 매칭되는 정규식. 예: alice|bob
• group: 사용자가 속한 그룹 중 하나에 매칭되는 정규식. 예: finance|sales
• prefix: S3 URL 접두사. 전체 버킷 또는 버킷 안의 경로를 지정할 수 있어요. URL은 s3://로 시작해야 하며 s3a 또는 s3n에도 매칭돼요. 예: s3://bucket-name/abc/xyz/

보안 매핑은 하나 이상의 구성 설정을 제공해야 해요.

• accessKey와 secretKey: AWS access key와 secret key. access key나 인스턴스 자격 증명 같은 전역 구성 자격 증명을 덮어써요.
• iamRole: 사용자가 제공한 역할이 추가 자격 증명으로 지정되지 않았을 때 사용할 IAM 역할. 전역 구성 IAM 역할을 덮어써요. 이 역할은 추가 자격 증명으로 지정될 수 있지만, 명시적으로 지정해도 효과는 없어요.
• roleSessionName: iamRole과 함께 사용할 선택적 역할 세션 이름. iamRole이 지정될 때만 사용할 수 있어요. roleSessionName에 ${USER} 문자열이 포함되면 그 부분이 현재 세션의 사용자 이름으로 대체돼요. 지정하지 않으면 기본값은 trino-session.
• allowedIamRoles: 추가 자격 증명으로 지정될 수 있는 IAM 역할들. 특정 AWS 계정이 많은 역할을 사용할 권한이 있을 수 있지만, 특정 사용자는 그 역할들의 하위 집합만 사용하도록 허용해야 할 때 유용해요.
• kmsKeyId: 클라이언트 측 암호화에 사용할 KMS 관리 키의 ID.
• allowedKmsKeyIds: 추가 자격 증명으로 지정될 수 있는 KMS 관리 키 ID들. 목록에 *가 있으면 추가 자격 증명으로 어떤 키든 지정할 수 있어요.
• sseCustomerKey: 서버 측 암호화를 위한 고객 제공 키(SSE-C).
• allowedSseCustomerKey: 추가 자격 증명으로 지정될 수 있는 SSE-C 키들. 목록에 *가 있으면 추가 자격 증명으로 어떤 키든 지정할 수 있어요.
• endpoint: S3 스토리지 엔드포인트 서버. 버킷별로 S3 엔드포인트를 덮어쓰는 데 사용할 수 있는 선택적 프로퍼티.
• region: 연결할 S3 리전. 버킷별로 S3 리전을 덮어쓰는 데 사용할 수 있는 선택적 프로퍼티.

보안 매핑 항목은 JSON 구성에 나열된 순서대로 처리돼요. 따라서 특정 매핑을 덜 특정한 매핑보다 먼저 지정해야 해요. 예를 들어 매핑 목록에 URL 접두사 s3://abc/xyz/ 다음에 s3://abc/를 두어, 버킷 안의 특정 경로에 대해 버킷 안의 다른 경로와는 다른 구성을 허용할 수 있어요. 목록의 마지막 항목에는 매칭 기준을 포함하지 않아 기본 구성을 지정할 수 있어요.

앞선 규칙 외에 기본 매핑에는 선택적 useClusterDefault boolean 프로퍼티를 true로 설정해 기본 S3 구성을 사용할 수 있어요. 다른 구성 설정과 함께 사용할 수는 없어요.

매칭 항목이 없고 기본도 구성되지 않으면 접근이 거부돼요.

구성 JSON은 s3.security-mapping.config-file로 파일에서, 또는 s3.security-mapping.config-uri로 HTTP 엔드포인트에서 읽어요.

예시 JSON 구성:

{
  "mappings": [
    {
      "prefix": "s3://bucket-name/abc/",
      "iamRole": "arn:aws:iam::123456789101:role/test_path"
    },
    {
      "user": "bob|charlie",
      "iamRole": "arn:aws:iam::123456789101:role/test_default",
      "allowedIamRoles": [
        "arn:aws:iam::123456789101:role/test1",
        "arn:aws:iam::123456789101:role/test2",
        "arn:aws:iam::123456789101:role/test3"
      ]
    },
    {
      "prefix": "s3://special-bucket/",
      "accessKey": "AKIAxxxaccess",
      "secretKey": "iXbXxxxsecret"
    },
    {
      "prefix": "s3://regional-bucket/",
      "iamRole": "arn:aws:iam::123456789101:role/regional-user",
      "endpoint": "https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com",
      "region": "us-east-1"
    },
    {
      "prefix": "s3://encrypted-bucket/",
      "kmsKeyId": "kmsKey_10"
    },
    {
      "user": "test.*",
      "iamRole": "arn:aws:iam::123456789101:role/test_users"
    },
    {
      "group": "finance",
      "iamRole": "arn:aws:iam::123456789101:role/finance_users"
    },
    {
      "iamRole": "arn:aws:iam::123456789101:role/default"
    }
  ]
}

보안 매핑 프로퍼티 (Security mapping properties)

레거시 S3 파일시스템에서 마이그레이션 (Migration from legacy S3 file system)

이전 Trino 릴리스에는 fs.hadoop.enabled와 hive.s3.* 프로퍼티로 구성된 카탈로그가 사용하는 레거시 Amazon S3 파일시스템 구현이 포함돼 있었어요. 그 레거시 지원은 제거됐어요. 네이티브 S3 파일시스템 구현을 사용하세요.

카탈로그가 S3용 네이티브 파일시스템 구현을 사용하도록 마이그레이션하려면 카탈로그 구성에서 다음 편집을 해요.

• fs.s3.enabled=true 카탈로그 구성 프로퍼티를 추가해요.
• 카탈로그가 레거시 S3 접근에만 fs.hadoop.enabled를 활성화했다면 그 프로퍼티를 제거해요.
• 다음 표를 참고해 기존 레거시 카탈로그 구성 프로퍼티를 해당 네이티브 구성 프로퍼티로 이름을 바꿔요. 별도 표기 외에는 지원되는 구성 값이 동일해요.

• 카탈로그 구성에 존재한다면 다음 레거시 구성 프로퍼티를 제거해요.
  • hive.s3.storage-class
  • hive.s3.signer-class
  • hive.s3.staging-directory
  • hive.s3.pin-client-to-current-region
  • hive.s3.ssl.enabled
  • hive.s3.sse.enabled
  • hive.s3.kms-key-id
  • hive.s3.encryption-materials-provider
  • hive.s3.streaming.enabled
  • hive.s3.max-client-retries
  • hive.s3.max-backoff-time
  • hive.s3.max-retry-time
  • hive.s3.multipart.min-file-size
  • hive.s3.multipart.min-part-size
  • hive.s3-file-system-type
  • hive.s3.user-agent-prefix

더 알아보기 (Learn more)

S3 파일시스템 구성을 배웠어요. 이어서 로컬 파일시스템 지원을 살펴보면 좋아요.