Google Sheets용 Openflow 커넥터 설정

Google Sheets용 Openflow 커넥터 설정

이 주제는 Openflow Connector for Google Sheets를 설정하는 단계를 설명해요.

출처: Snowflake 문서

본문

참고: 이 커넥터는 Snowflake Connector Terms가 적용돼요.

이 주제는 Openflow Connector for Google Sheets를 설정하는 단계를 설명해요.

전제 조건(Prerequisites)

1. About Openflow Connector for Google Sheets을 검토했는지 확인해요.
2. Set up Openflow - Snowflake Deployments 또는 Set up Openflow - BYOC를 설정했는지 확인해요.
3. Openflow - Snowflake Deployments를 사용한다면 configuring required domains을 검토하고, Google Sheets 커넥터에 필요한 도메인에 대한 액세스를 부여했는지 확인해요.

Google Cloud 자격 증명을 가져오고 Google Cloud 프로젝트 설정하기

Google Cloud 관리자로서 다음 작업을 수행해요:

1. 다음을 갖추고 있는지 확인해요:
   • Super Admin 권한(https://support.google.com/a/answer/2405986?hl)이 있는 Google 사용자
   • 다음 역할이 있는 Google Cloud 프로젝트:
     • Organization Policy Administrator
     • Organization Administrator
2. 서비스 계정 키 생성을 활성화해요. Google은 기본적으로 서비스 계정 키 생성을 비활성화해요. Snowflake Openflow가 서비스 계정 JSON을 사용하려면 이 키 생성 정책을 꺼야 해요. 서비스 계정 키 생성을 활성화하려면:
   • Organizational Policy Admin 역할이 있는 슈퍼 관리자 계정으로 Google Cloud Console에 로그인해요.
   • 조직과 연결된 프로젝트에 있는지 확인해요(조직 안의 프로젝트가 아니라).
   • Organization Policies를 선택해요.
   • Disable service account key creation 정책을 선택해요.
   • Manage Policy를 선택하고 강제 적용(enforcement)을 꺼요.
   • Set Policy를 선택해요.
3. 서비스 계정과 키를 만들어요.
4. Google Sheets 스프레드시트를 서비스 계정 이메일 주소와 공유해요. 이메일 주소는 서비스 계정 JSON 파일의 client_email 필드에서 찾을 수 있어요. 공유 권한을 Viewer로 설정해요.
5. Google Cloud 프로젝트에 대해 Google Sheets API를 활성화해요. 자세한 내용은 Enable the Google Sheets API를 참고해요.

Snowflake 계정 설정하기

Openflow 관리자로서 Snowflake 계정을 설정하려면 다음 작업을 수행해요. 기본 SNOWFLAKE_MANAGED 인증 전략을 사용하면 런타임의 execute-as 역할이 커넥터가 Snowflake에 접근할 때 사용하는 신원이 되므로, 그 역할에 다음 권한을 부여해요.

참고: Openflow - BYOC Deployments에 커넥터를 배포하고 권장하는 SNOWFLAKE_MANAGED 대신 KEY_PAIR 인증 전략을 사용한다면, 런타임의 관리 토큰에 의존하는 대신 이 같은 execute-as 역할을 서비스 사용자에게 부여해요. 서비스 사용자를 만들려면 Set up key-pair authentication for Openflow - BYOC Deployments을 참고해요.

데이터베이스, 스키마, 웨어하우스 만들기

1. 대상 데이터베이스를 만들어요:

   USE ROLE OPENFLOW_ADMIN;
   CREATE DATABASE IF NOT EXISTS <destination_database>;
   

2. 대상 스키마를 만들어요:

   CREATE SCHEMA IF NOT EXISTS <destination_database>.<destination_schema>;
   

3. 런타임의 execute-as 역할에 필요한 권한을 부여해요:

   GRANT USAGE ON DATABASE <destination_database> TO ROLE OPENFLOW_<RUNTIME_NAME>_EXECUTE_AS_RL;
   GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE OPENFLOW_<RUNTIME_NAME>_EXECUTE_AS_RL;
   GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE OPENFLOW_<RUNTIME_NAME>_EXECUTE_AS_RL;
   

4. 웨어하우스를 만들거나(기존 것을 사용하거나) 사용 권한을 부여해요:

   CREATE WAREHOUSE IF NOT EXISTS <openflow_warehouse>
     WITH
     WAREHOUSE_SIZE = 'XSMALL'
     AUTO_SUSPEND = 300
     AUTO_RESUME = TRUE;
   
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE OPENFLOW_<RUNTIME_NAME>_EXECUTE_AS_RL;
   

5. 커넥터가 수집한 테이블에 액세스가 필요한 다른 Snowflake 사용자가 있다면(예: Snowflake에서 커스텀 처리), 그 사용자에게 execute-as 역할을 부여해요.

커넥터 설정하기

데이터 엔지니어로서 커넥터를 설치하고 구성하려면 다음 작업을 수행해요:

커넥터 설치하기

데이터 엔지니어로서 커넥터를 설치하려면:

1. Openflow의 Connector library 탭으로 이동해요.
2. Openflow 커넥터 페이지에서 커넥터를 찾고 Install을 선택해요.
3. Select runtime 대화상자에서 Available runtimes 드롭다운 목록에서 런타임을 선택하고 Install을 클릭해요.

참고: 커넥터를 설치하기 전에, 수집된 데이터를 저장할 Snowflake에 데이터베이스와 스키마를 만들었는지 확인해요.

1. Snowflake 계정 자격 증명으로 배포에 인증하고, 런타임 애플리케이션이 Snowflake 계정에 접근하는 것을 허용하라는 프롬프트가 나오면 Allow를 선택해요. 커넥터 설치 과정은 완료되는 데 몇 분이 걸려요.
2. Snowflake 계정 자격 증명으로 런타임에 인증해요. Openflow 캔버스에 커넥터 프로세스 그룹이 추가된 상태로 나타나요.

커넥터 구성하기

1. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Parameters를 선택해요.
2. Flow parameters에 설명된 대로 필수 파라미터 값을 채워요.

Flow parameters

커넥터 정의의 구성은 세 개의 파라미터 컨텍스트로 나뉘어요:

• Google Sheets Source Parameters: Google Sheets와의 연결을 설정하는 데 사용
• Google Sheets Destination Parameters: Snowflake와의 연결을 설정하는 데 사용
• Google Sheets Ingestion Parameters: Google Sheets에서 다운로드한 데이터의 구성을 정의하는 데 사용

참고: Google Sheets Ingestion Parameters 파라미터 컨텍스트에는 스프레드시트별 세부 정보가 포함되므로, 각 새 스프레드시트와 프로세스 그룹마다 새 파라미터 컨텍스트를 만들어야 해요. 새 파라미터 컨텍스트를 만들려면 Openflow Canvas 메뉴로 가서 Parameter Contexts를 선택하고 새 파라미터 컨텍스트를 추가해요. 이 컨텍스트는 Google Sheets Destination Parameters와 Google Sheets Source Parameters 파라미터 컨텍스트 모두에서 파라미터를 상속받아요.

다음 표들은 파라미터 컨텍스트에 따라 구성할 수 있는 플로우 파라미터를 설명해요:

Google Sheets Destination Parameters

Google Sheets Source Parameters

Google Sheets Ingestion Parameters

다음 표는 다른 파라미터 컨텍스트에서 상속되지 않은 파라미터만 나열해요.

참고: 대상 테이블 식별자는 대상 테이블 접두사와 범위 이름의 조합이며 고유해야 해요. 여러 스프레드시트나 단일 시트에서 데이터를 다운로드하고 범위 이름이 고유하지 않다면, 각 플로우에 대해 고유한 대상 테이블 접두사를 지정해야 해요. 대상 테이블 이름이 고유하지 않으면 커넥터가 실패하거나 기존 대상 테이블을 덮어쓸 수 있어요.

플로우 실행하기

1. 평면(plane)을 마우스 오른쪽 버튼으로 클릭하고 Enable all Controller Services를 선택해요.
2. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Start를 선택해요. 커넥터가 데이터 수집을 시작해요.

참고: 가져온 .xlsx 파일은 Google Sheets 형식이어야 해요. 파일을 가져온다면 플로우를 실행하기 전에 파일이 Google Sheets 형식으로 변환되었는지 확인해요. Google Sheets가 아닌 다른 형식의 스프레드시트는 읽을 수 없어요. 자세한 내용은 Convert files to Google Sheets format을 참고해요.

더 알아보기 (Learn more)

• Google Sheets용 Openflow 커넥터 정보
• Snowflake Connector Terms