HubSpot용 Openflow 커넥터 정보
HubSpot용 Openflow 커넥터 정보
이 주제는 Openflow Connector for HubSpot의 기본 개념, 워크플로우, 제한 사항을 설명해요. 이 커넥터는 HubSpot 데이터를 Snowflake로 수집하며, HubSpot API를 사용해 데이터를 검색한 후 Snowflake 테이블에 저장해요.
출처: Snowflake 문서
본문
참고: 이 커넥터는 Snowflake Connector Terms가 적용돼요.
이 주제는 Openflow Connector for HubSpot의 기본 개념, 워크플로우, 제한 사항을 설명해요. Openflow Connector for HubSpot은 HubSpot 데이터를 Snowflake로 수집해요. HubSpot API를 사용해 데이터를 검색한 후 Snowflake 테이블에 저장해요.
데이터 수집은 다음 두 단계로 진행돼요:
- 초기 로드(Initial load) — 첫 API 호출에서 모든 데이터를 검색해요.
- 증분 로드(Incremental load) — 업데이트와 새 데이터를 대상 테이블에 병합하고, 이전 호출의 타임스탬프를 사용해 마지막 데이터 로드 이후 업데이트된 항목으로 결과를 제한해요.
HubSpot private apps에 대한 자세한 내용은 Private apps을 참고해요. 보고, 분석, 인사이트를 위해 HubSpot CRM 데이터를 Snowflake로 가져오려면 이 커넥터를 사용해요.
워크플로우(Workflow)
- HubSpot 관리자는 다음 작업을 수행해요:
- 만들려는 API 요청에 필요한 스코프를 갖춘 API 토큰을 HubSpot 인스턴스 안에서 생성해요. 이 토큰은 커넥터가 인증에 사용해요.
Object Types와Updated After (optional)같은 필드로 객체를 검색할 기준을 정의해요.
- Snowflake 계정 관리자는 다음 작업을 수행해요:
- 커넥터를 설치해요.
- 커넥터 파라미터를 구성해요:
- HubSpot private app API 토큰을 제공해요.
- 필터를 제공해 수집되는 객체의 기준을 정의해요.
- Snowflake 안에서 원하는 데이터베이스와 스키마 이름을 설정해요.
- 커넥터 플로우를 실행해요. 실행 시 커넥터는 다음을 수행해요:
- 구성된 HubSpot 인스턴스에서 객체를 가져오는 API 호출을 만들어요.
- 관련 데이터를 추출해요.
- API 호출이 최소한 하나의 결과를 반환하면 구성된 Snowflake 데이터베이스에 대상 테이블을 만들어요.
- 지정된 Snowflake 테이블에 원시 데이터를 로드하고, 원시 데이터 위에 처리된 뷰(processed view)를 만들어요.
제한 사항(Limitations)
- 여러 객체 타입을 정의하면 'Updated After' 필터링이 파라미터 컨텍스트에서 정의된 모든 객체 타입에 적용돼요.
- 현재 커넥터는 HubSpot private app과 API 토큰을 사용한 기본 인증을 지원해요. 즉 커넥터는 API 토큰 소유자가 접근할 수 있는 데이터만 수집할 수 있어요.
- 프로세서는 단일 스레드로 기본 노드에서만 동작하도록 설계돼 있어요.
- private app이 만들 수 있는 호출 수는 계정 구독에 따라 달라져요. HubSpot private app 한도에 대한 자세한 내용은 Private app limits을 참고해요.