클라우드 메시징으로 연속 데이터 로드 자동화
클라우드 메시징으로 연속 데이터 로드 자동화
자동 데이터 로드는 클라우드 스토리지의 이벤트 알림을 활용해 Snowpipe에 로드할 새 데이터 파일의 도착을 알려줘요. Snowpipe는 파일을 큐에 복사하고, 이 큐에서 지정된 파이프 객체에 정의된 매개 변수에 따라 연속적이고 서버리스 방식으로 대상 테이블에 로드해요.
출처: Documentation
본문
참고
- 자동 Snowpipe는 이벤트 알림을 사용해 클라우드 스토리지의 모니터링되는 외부 스테이지에 새 파일이 도착해 로드할 준비가 된 때를 판단해요. 알림은 클라우드 스토리지 이벤트를 식별하고 파일 이름 목록을 포함해요. 파일의 실제 데이터는 포함하지 않아요.
- 파이프가 일시 중지되면 파이프에 대해 수신된 이벤트 메시지는 제한된 보존 기간에 들어가요. 기간은 기본적으로 14일이에요. 파이프가 14일보다 길게 일시 중지되면 스테일(stale)로 간주돼요.
- 파이프가 일시 중지된 동안 수신된 이벤트 알림은 제한된 기간(14일) 동안만 보존돼요. 각 알림이 이 기간의 끝에 도달하면 Snowflake는 내부 메타데이터에서 삭제하도록 예약해요. 파이프가 나중에 재개되면 Snowpipe는 14일보다 오래된 알림을 최선의 노력(best effort)으로 처리할 수 있어요. Snowflake는 이렇게 오래된 알림이 처리된다고 보장할 수 없어요.
스테일 파이프 재개에 대한 자세한 내용은 Snowpipe 관리를 참고해요.
다음 표는 계정을 호스팅하는 클라우드 플랫폼에 따라 클라우드 스토리지 이벤트 알림을 사용해 외부 스테이지의 데이터를 Snowflake 계정으로 자동 로드하는 데 지원되는 클라우드 스토리지 서비스를 보여줘요.
| Snowflake 계정 호스트 | Amazon S3 | Google Cloud Storage | Microsoft Azure Blob Storage | Microsoft Data Lake Storage Gen2 | Microsoft Azure General-purpose v2 |
|---|---|---|---|---|---|
| Amazon Web Services | ✔ | ✔ | ✔ | ✔ | ✔ |
| Google Cloud | ✔ | ✔ | ✔ | ✔ | ✔ |
| Microsoft Azure | ✔ | ✔ | ✔ | ✔ | ✔ |
중요 — Snowflake는 비용, 이벤트 노이즈, 지연 시간을 줄이기 위해 Snowpipe용 클라우드 이벤트 필터링을 활성화할 것을 권장해요. 각 클라우드 제공업체의 이벤트 필터링 구성에 대한 자세한 내용은 다음 페이지를 참고해요.