Snowflake Open Catalog용 프라이빗 연결 엔드포인트 관리: AWS

Snowflake Open Catalog용 프라이빗 연결 엔드포인트 관리: AWS

Business Critical 기능 — 이 기능은 Business Critical(이상)이 필요해요. 업그레이드 문의는 Snowflake 지원에 문의하세요.

일반적으로 사용 가능(GA) — 정부 리전에서는 사용할 수 없어요.

Snowflake Open Catalog 계정의 카탈로그 데이터가 Amazon Simple Storage Service(Amazon S3) 스토리지 버킷에 저장될 때 다음 단계에 따라 아웃바운드 네트워크 트래픽용 프라이빗 연결을 설정하세요.

일반적으로 Open Catalog 계정에 대해 프라이빗 연결을 활성화하려면 이 주제의 설정 단계를 한 번만 완료하면 돼요. 그 후 Open Catalog 계정의 각 카탈로그에 대해 아웃바운드 프라이빗 연결을 활성화해요.

예를 들어 설정 단계를 완료한 후 나중에 새 catalog1 카탈로그를 만들면 일반적으로 catalog1에 대해 아웃바운드 프라이빗 연결만 활성화하면 돼요. 카탈로그에 대해 프라이빗 연결을 활성화하는 방법은 카탈로그에 대해 아웃바운드 프라이빗 연결 활성화를 참조하세요.

하지만 catalog1이 버킷 정책을 업데이트하지 않은 스토리지 버킷을 사용한다면 해당 버킷의 버킷 정책을 업데이트해야 해요. 버킷 정책을 업데이트하면 버킷의 네트워크 접근이 프라이빗 연결 엔드포인트로 제한돼요.

출처: Manage private connectivity endpoints for Snowflake Open Catalog: AWS

본문

사전 요구 사항

• Open Catalog 계정과 외부 클라우드 스토리지가 둘 다 같은 AWS 리전에 호스팅되어 있어야 함.
• Iceberg 테이블이 저장된 AWS 스토리지 버킷의 버킷 정책을 수정할 수 있는 AWS IAM 권한. 자세한 내용은 AWS 문서의 Amazon S3 버킷 정책을 참조.
• 서드파티 쿼리 엔진 또는 Snowflake 엔진이 AWS PrivateLink 또는 S3 Gateway Endpoint를 통해 스토리지 버킷에 접근해야 함. 자세한 내용은 AWS 문서의 인터페이스 엔드포인트 구성을 참조. 그렇지 않으면 아웃바운드 프라이빗 연결을 활성화하면 엔진이 버킷에 저장된 테이블을 읽거나 쓸 수 없고, Open Catalog만 버킷에 메타데이터를 읽거나 쓸 수 있어요.

계정에 대해 프라이빗 연결 설정

Open Catalog 계정에 대해 프라이빗 연결을 설정하려면 다음 단계를 따르세요.

1단계: Open Catalog용 Snowflake CLI 연결 만들기

Open Catalog에서 프라이빗 연결을 설정하려면 Open Catalog용 Snowflake CLI 연결이 필요해요. 이 연결을 만들려면 다음 단계를 따르세요. 아직 Snowflake CLI가 설치되지 않았다면 Snowflake CLI 설치를 참조하세요.

시작하기 전에

Open Catalog용 Snowflake CLI 연결을 만들려면 전체 Open Catalog 계정 식별자가 필요해요. 계정 식별자에는 Snowflake 조직 이름과 Open Catalog 계정 이름이 포함돼요. 예: <orgname>.<my-snowflake-open-catalog-account-name>.

• Snowflake 조직 이름(<orgname>)을 찾으려면 계정의 조직 및 계정 이름 찾기를 참조하세요.
• Snowflake Open Catalog 계정 이름(<my-snowflake-open-catalog-account-name>)을 찾으려면 Snowflake Open Catalog 계정의 계정 이름 찾기를 참조하세요.

이 연결을 만들려면 서비스 관리자 권한이 있는 Open Catalog 사용자여야 해요. 서비스 관리자 권한에 대한 정보는 서비스 관리자 역할을 참조하세요.

Snowflake Open Catalog용 Snowflake CLI 연결 추가

프라이빗 연결을 활성화하려는 Snowflake Open Catalog 계정에 대한 연결을 추가하세요.

• 다음 값으로 연결 추가를 수행하세요. 다른 모든 매개변수는 Enter를 눌러 값을 지정하지 않고 건너뛰세요.

연결 구성 매개변수	값
Name for this connection	연결의 이름을 지정. 예: myopencatalogconnection.
Account name	<orgname>-<my-snowflake-open-catalog-account-name> 형식으로 Snowflake 조직 이름 다음에 Open Catalog 계정 이름을 지정. 예: ABCDEFG-MYACCOUNT1. 이 이름을 찾으려면 시작하기 전에를 참조.
Username	Open Catalog 사용자 이름을 지정. 예: jsmith.
Password [optional]	Open Catalog용 연결을 만들 때 이 매개변수는 선택이 아닙니다. Open Catalog 비밀번호를 입력. 예: MyPassword123456789.
Role for the connection [optional]	Open Catalog용 연결을 만들 때 이 매개변수는 선택이 아닙니다. POLARIS_ACCOUNT_ADMIN을 입력해야 해요.

Snowflake CLI 연결 테스트

• CLI 연결을 테스트하려면 myopencatalogconnection의 연결을 테스트하는 다음 예제를 따르세요:

  snow connection test -c myopencatalogconnection
  

Snowflake Open Catalog용 Snowflake CLI 연결을 기본값으로 설정

사용 중인 연결에 항상 필요한 POLARIS_ACCOUNT_ADMIN 역할이 부여되도록 보장하려면 Open Catalog용으로 만든 Snowflake CLI 연결을 기본 연결로 설정할 수 있어요. 기본 연결에 대한 자세한 내용은 label-cli_set_default_connection을 참조하세요.

1. myopencatalogconnection 연결을 기본값으로 설정하는 다음 예제를 따르세요:

   snow connection set-default myopencatalogconnection
   

2. 올바른 사용자와 역할을 사용 중인지 확인하려면 다음을 실행하세요:

   snow sql -q "Select current_user(); select current_role();"
   

   응답은 Open Catalog 사용자 이름을 반환해야 하며 CURRENT ROLE은 POLARIS_ACCOUNT_ADMIN이어야 해요.

+----------------+
| CURRENT_USER() |
|----------------|
| JSMITH        |
+----------------+
select current_role();
+-----------------------+
| CURRENT_ROLE()        |
|-----------------------|
| POLARIS_ACCOUNT_ADMIN |
+-----------------------+

2단계: 프라이빗 연결 엔드포인트 프로비저닝

Open Catalog용 Snowflake CLI 연결을 사용해 다음 시스템 함수를 호출하세요:

1. 스토리지 버킷용 프라이빗 연결 엔드포인트를 프로비저닝하려면 SYSTEM$PROVISION_PRIVATELINK_ENDPOINT 시스템 함수를 호출하세요.
2. 프라이빗 연결 엔드포인트를 사용할 준비가 됐는지 확인하려면 SYSTEM$GET_PRIVATELINK_ENDPOINTS_INFO 시스템 함수를 호출하세요.

지침은 Snowflake 문서의 프라이빗 연결 엔드포인트 프로비저닝을 참조하세요. 지침이 Snowflake Open Catalog 계정이 아닌 Snowflake 계정을 가리키지만 Open Catalog에서도 과정은 동일해요.

• 지침에 언급된 ACCOUNTADMIN 역할 대신 POLARIS_ACCOUNT_ADMIN 역할을 사용해야 해요.
• 기본값으로 설정한 Snowflake CLI 연결에 POLARIS_ACCOUNT_ADMIN 역할이 부여되지 않았다면 명령에 다음 문을 포함해야 해요: USE ROLE POLARIS_ACCOUNT_ADMIN;
• 명령에서 $ 바로 앞에 슬래시 /를 삽입해 이스케이프해야 해요. 예: snow sql -q "SELECT SYSTEM\$GET_PRIVATELINK_CONFIG();".

이 프라이빗 연결 엔드포인트를 사용해 Open Catalog 계정이 호스팅된 것과 같은 AWS 리전에 있는 모든 스토리지 버킷에 접근 권한을 부여할 수 있어요. 다른 리전에 있는 버킷에 접근을 부여하는 데는 사용할 수 없어요.

예제: 프라이빗 연결 엔드포인트 프로비저닝

다음 예제는 us-west-2 리전의 엔드포인트를 구성하기 위해 Amazon S3에 대한 외부 접근이 있는 PrivateLink를 만들어요:

SELECT SYSTEM$PROVISION_PRIVATELINK_ENDPOINT(
  'com.amazonaws.us-west-2.s3',
  '*.s3.us-west-2.amazonaws.com'
);

3단계: 버킷 정책 업데이트

스토리지 버킷의 네트워크 접근을 이전 단계에서 만든 프라이빗 연결 엔드포인트로 제한하려면 AWS에서 스토리지 버킷의 버킷 정책을 업데이트하세요. 지침은 AWS 문서의 특정 VPC 엔드포인트에 대한 접근 제한을 참조하세요. 버킷 정책의 <vpce-id>에는 이전 단계에서 만든 프라이빗 연결 엔드포인트의 ID를 지정하세요.

필요하면 Open Catalog에 연결하려는 추가 버킷에 대해 이 단계를 반복하세요.

버킷 정책이 추가한 후 브라우저에서 버킷과 버킷 정책에 접근할 수 있는 권한을 포함하는지 확인하세요. 그렇지 않으면 버킷 정책을 업데이트한 후 브라우저에서 버킷이나 버킷 정책에 접근할 수 없게 돼요.

이 예제 버킷 정책은 브라우저에서 버킷과 버킷 정책에 접근할 수 있게 해요:

{
    "Version": "2012-10-17",
    "Id": "Policy1234567890123",
    "Statement": [
        {
            "Sid": "Deny public access",
            "Effect": "Deny",
            "Principal": "*",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:DeleteObjectVersion",
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket",
                "arn:aws:s3:::my-bucket/*"
            ],
            "Condition": {
                "StringNotLike": {
                    "aws:SourceVpc": "vpc-*"
                }
            }
        },
        {
            "Sid": "Access-to-specific-VPCE-only",
            "Effect": "Deny",
            "Principal": "*",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:DeleteObjectVersion",
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket",
                "arn:aws:s3:::my-bucket/*"
            ],
            "Condition": {
                "StringNotEquals": {
                    "aws:SourceVpce": "vpce-xxxxxxxxxxx"
                }
            }
        }
    ]
}

카탈로그에 대해 아웃바운드 프라이빗 연결 활성화

이 섹션은 Open Catalog 계정에서 카탈로그에 대해 아웃바운드 프라이빗 연결을 활성화하는 방법을 설명해요.

1단계: 프라이빗 연결 활성화

새 카탈로그 또는 기존 카탈로그에 대해 프라이빗 연결을 활성화할 수 있어요:

• 새 카탈로그에 대해 프라이빗 연결 활성화
• 기존 카탈로그에 대해 프라이빗 연결 활성화

새 카탈로그에 대해 프라이빗 연결 활성화

Amazon Simple Storage Service(Amazon S3)를 사용해 카탈로그 만들기의 지침을 따르세요. 카탈로그에 대해 Private Link 토글이 Enabled인지 확인하세요.

카탈로그의 테이블이 저장된 버킷에 대한 버킷 정책을 업데이트하지 않았다면 버킷 정책 업데이트를 참조하세요. 버킷 정책을 업데이트하면 스토리지 버킷의 네트워크 접근이 프라이빗 연결 엔드포인트로 제한돼요.

기존 카탈로그에 대해 프라이빗 연결 활성화

1. Open Catalog에 로그인하세요.
2. 탐색 메뉴에서 Catalogs를 선택하세요.
3. 카탈로그 목록에서 프라이빗 연결을 활성화할 카탈로그를 선택하세요.
4. Catalog Details 탭에서 PrivateLink 토글을 Enabled로 설정하세요.

2단계: 쿼리 엔진으로 테이블 만들기

쿼리 엔진이 AWS PrivateLink를 통해 카탈로그에 연결됐는지 확인하려면 쿼리 엔진을 사용해 테이블을 만들고 데이터를 삽입하세요. 테이블에 데이터를 삽입할 수 없다면 쿼리 엔진에 대해 AWS PrivateLink를 구성하지 않았을 수 있어요.

문제 해결

이 섹션은 네트워크 트래픽의 아웃바운드 프라이빗 연결 문제에 대한 문제 해결을 제공해요.

Open Catalog에서 테이블의 스키마를 볼 수 없음

증상

Open Catalog에서 카탈로그(예: catalog1)의 테이블을 선택하지만 "No permissions to access this resource." 오류 메시지를 받아요.

원인

AWS에서 VPC 엔드포인트를 통해 네트워크 트래픽을 라우팅하도록 버킷 정책을 성공적으로 업데이트했어요. 하지만 Open Catalog에서 이 카탈로그에 대해 프라이빗 연결을 활성화하지 않아 Open Catalog가 버킷에 접근할 수 없어요.

해결 방법

카탈로그(예: catalog1)에 대해 프라이빗 연결을 활성화하세요. 자세한 내용은 카탈로그에 대해 프라이빗 연결 활성화를 참조하세요.

SYSTEM$PROVISION_PRIVATELINK_ENDPOINT 명령 실행 시 'Business Critical' 오류

증상

Snowflake CLI 연결에서 SYSTEM\$PROVISION_PRIVATELINK_ENDPOINT 명령을 실행하지만 "Business Critical or higher edition is required for this operation. Please upgrade to the valid edition and then retry." 오류 메시지와 함께 실패해요.

원인

Open Catalog 계정의 에디션이 Business Critical이 아니에요. 프라이빗 연결 엔드포인트 프로비저닝을 포함한 아웃바운드 네트워크 트래픽용 프라이빗 연결을 활성화하려면 Snowflake Open Catalog 계정의 에디션이 Business Critical이어야 해요.

해결 방법

Open Catalog 계정을 Business Critical로 업그레이드하는 도움을 받으려면 Snowflake 지원에 문의하세요.

더 알아보기

• Snowflake Open Catalog의 아웃바운드 네트워크 트래픽용 프라이빗 연결
• Snowflake Open Catalog 개요
• 카탈로그용 외부 클라우드 스토리지 만들기